यहाँ Tokenizer के 1 संस्करण हैं, 29 दिसंबर 2025 से लेकर मौजूदा 1.3.3 तक। हर संस्करण का लिंक प्रकाशक की अपनी इंस्टॉलर फ़ाइलों पर जाता है।
| संस्करण | तारीख़ | साइज़ | फ़ाइलें |
|---|---|---|---|
| 1.3.3नवीनतम | 29 दिसंबर 2025 | — | 64-बिट ZIP |
Tokenizer के पुराने संस्करण डाउनलोड करें
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- लाइसेंसओपन सोर्स
- संस्करण1.3.3
- ज़रूरी सिस्टमWindows 10, 11
- रिलीज़29 दिसंबर 2025
- GitHub स्टार★ 212
AI असिस्टेंट और LLM में सबसे लोकप्रिय
सभी देखें-
Claude CodeAI असिस्टेंट और LLM · Anthropic PBC -
Codex CLIAI असिस्टेंट और LLM · OpenAI, Inc. -
ChatGPTAI असिस्टेंट और LLM · lencx -
GPT4AllAI असिस्टेंट और LLM · Nomic -
JanAI असिस्टेंट और LLM · Jan -
WSL ManagerAI असिस्टेंट और LLM · Bostrot -
oh-my-piAI असिस्टेंट और LLM · Can Bölük -
T3 CodeAI असिस्टेंट और LLM · T3 Tools -
CC SwitchAI असिस्टेंट और LLM · farion1231 -
LobeHubAI असिस्टेंट और LLM · LobeHub
Microsoft Corporation के और ऐप
सभी देखें
PowerShellटर्मिनल और CLI टूल · Microsoft Corporation
PowerToysकस्टमाइज़ेशन · Microsoft Corporation
NuGetपैकेज मैनेजर और अपडेटर · Microsoft Corporation
Microsoft Azure CLIटर्मिनल और CLI टूल · Microsoft Corporation
OpenSSH PreviewFTP और फ़ाइल ट्रांसफ़र · Microsoft Corporation
Bicep CLIप्रोग्रामिंग भाषाएँ और SDK · Microsoft Corporation