यहाँ Tokenizer का १ संस्करण छन्, २०२५ डिसेम्बर २९ देखि हालको 1.3.3 सम्म। हरेक संस्करणको लिङ्क प्रकाशकका आफ्नै इन्स्टलर फाइलहरूमा जान्छ।
| संस्करण | मिति | साइज | फाइलहरू |
|---|---|---|---|
| 1.3.3पछिल्लो | २०२५ डिसेम्बर २९ | — | ६४-बिट ZIP |
Tokenizer का पुराना संस्करणहरू डाउनलोड गर्नुहोस्
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- लाइसेन्सओपन सोर्स
- संस्करण1.3.3
- आवश्यक सिस्टमWindows 10, 11
- रिलिज२०२५ डिसेम्बर २९
- GitHub स्टार★ २१२
AI सहायक र LLM मा सबैभन्दा लोकप्रिय
सबै हेर्नुहोस्-
Claude CodeAI सहायक र LLM · Anthropic PBC -
Codex CLIAI सहायक र LLM · OpenAI, Inc. -
ChatGPTAI सहायक र LLM · lencx -
GPT4AllAI सहायक र LLM · Nomic -
JanAI सहायक र LLM · Jan -
WSL ManagerAI सहायक र LLM · Bostrot -
oh-my-piAI सहायक र LLM · Can Bölük -
T3 CodeAI सहायक र LLM · T3 Tools -
CC SwitchAI सहायक र LLM · farion1231 -
LobeHubAI सहायक र LLM · LobeHub
Microsoft Corporation का अन्य एपहरू
सबै हेर्नुहोस्
PowerShellटर्मिनल र CLI टुल · Microsoft Corporation
PowerToysकस्टमाइजेसन · Microsoft Corporation
NuGetप्याकेज म्यानेजर र अपडेटर · Microsoft Corporation
Microsoft Azure CLIटर्मिनल र CLI टुल · Microsoft Corporation
OpenSSH PreviewFTP र फाइल ट्रान्सफर · Microsoft Corporation
Bicep CLIप्रोग्रामिङ भाषा र SDK · Microsoft Corporation