येथे Tokenizer च्या १ आवृत्ती आहेत, २९ डिसेंबर, २०२५ पासून सध्याच्या 1.3.3 पर्यंत. प्रत्येक आवृत्तीची लिंक प्रकाशकाच्या स्वतःच्या इन्स्टॉलर फाइल्सकडे जाते.
| आवृत्ती | तारीख | आकार | फाइल्स |
|---|---|---|---|
| 1.3.3नवीनतम | २९ डिसेंबर, २०२५ | — | 64-बिट ZIP |
Tokenizer च्या जुन्या आवृत्त्या डाउनलोड करा
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- लायसन्सओपन सोर्स
- आवृत्ती1.3.3
- आवश्यक सिस्टमWindows 10, 11
- रिलीज२९ डिसेंबर, २०२५
- GitHub स्टार★ २१२
AI असिस्टंट आणि LLM मध्ये सर्वाधिक लोकप्रिय
सर्व पाहा-
Claude CodeAI असिस्टंट आणि LLM · Anthropic PBC -
Codex CLIAI असिस्टंट आणि LLM · OpenAI, Inc. -
ChatGPTAI असिस्टंट आणि LLM · lencx -
GPT4AllAI असिस्टंट आणि LLM · Nomic -
JanAI असिस्टंट आणि LLM · Jan -
WSL ManagerAI असिस्टंट आणि LLM · Bostrot -
oh-my-piAI असिस्टंट आणि LLM · Can Bölük -
T3 CodeAI असिस्टंट आणि LLM · T3 Tools -
CC SwitchAI असिस्टंट आणि LLM · farion1231 -
LobeHubAI असिस्टंट आणि LLM · LobeHub
Microsoft Corporation कडील इतर ॲप्स
सर्व पाहा
PowerShellटर्मिनल आणि CLI टूल्स · Microsoft Corporation
PowerToysकस्टमायझेशन · Microsoft Corporation
NuGetपॅकेज मॅनेजर आणि अपडेटर · Microsoft Corporation
Microsoft Azure CLIटर्मिनल आणि CLI टूल्स · Microsoft Corporation
OpenSSH PreviewFTP आणि फाइल ट्रान्सफर · Microsoft Corporation
Bicep CLIप्रोग्रामिंग भाषा आणि SDK · Microsoft Corporation