ਇੱਥੇ Tokenizer ਦੇ 1 ਵਰਜ਼ਨ ਹਨ, 29 ਦਸੰਬਰ 2025 ਤੋਂ ਲੈ ਕੇ ਮੌਜੂਦਾ 1.3.3 ਤੱਕ। ਹਰ ਵਰਜ਼ਨ ਦਾ ਲਿੰਕ ਪ੍ਰਕਾਸ਼ਕ ਦੀਆਂ ਆਪਣੀਆਂ ਇੰਸਟਾਲਰ ਫ਼ਾਈਲਾਂ ਉੱਤੇ ਜਾਂਦਾ ਹੈ।
| ਵਰਜ਼ਨ | ਤਾਰੀਖ਼ | ਆਕਾਰ | ਫ਼ਾਈਲਾਂ |
|---|---|---|---|
| 1.3.3ਨਵਾਂ ਵਰਜ਼ਨ | 29 ਦਸੰਬਰ 2025 | — | 64-ਬਿੱਟ ZIP |
Tokenizer ਦੇ ਪੁਰਾਣੇ ਵਰਜ਼ਨ ਡਾਊਨਲੋਡ ਕਰੋ
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- ਲਾਇਸੈਂਸਓਪਨ ਸੋਰਸ
- ਵਰਜ਼ਨ1.3.3
- ਲੋੜੀਂਦਾ ਸਿਸਟਮWindows 10, 11
- ਰਿਲੀਜ਼29 ਦਸੰਬਰ 2025
- GitHub ਸਟਾਰ★ 212
AI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM ਵਿੱਚ ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ
ਸਾਰੀਆਂ ਦੇਖੋ-
Claude CodeAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · Anthropic PBC -
Codex CLIAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · OpenAI, Inc. -
ChatGPTAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · lencx -
GPT4AllAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · Nomic -
JanAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · Jan -
WSL ManagerAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · Bostrot -
oh-my-piAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · Can Bölük -
T3 CodeAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · T3 Tools -
CC SwitchAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · farion1231 -
LobeHubAI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM · LobeHub
Microsoft Corporation ਦੀਆਂ ਹੋਰ ਐਪਾਂ
ਸਾਰੀਆਂ ਦੇਖੋ
PowerShellਟਰਮੀਨਲ ਅਤੇ CLI ਟੂਲ · Microsoft Corporation
PowerToysਕਸਟਮਾਈਜ਼ੇਸ਼ਨ · Microsoft Corporation
NuGetਪੈਕੇਜ ਮੈਨੇਜਰ ਅਤੇ ਅੱਪਡੇਟਰ · Microsoft Corporation
Microsoft Azure CLIਟਰਮੀਨਲ ਅਤੇ CLI ਟੂਲ · Microsoft Corporation
OpenSSH PreviewFTP ਅਤੇ ਫ਼ਾਈਲ ਟ੍ਰਾਂਸਫ਼ਰ · Microsoft Corporation
Bicep CLIਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਅਤੇ SDK · Microsoft Corporation