Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
ਪ੍ਰਕਾਸ਼ਕ ਦਾ ਵੇਰਵਾ (ਅੰਗਰੇਜ਼ੀ)
Tokenizer ਕੀ ਹੈ?
Tokenizer Windows ਲਈ Microsoft Corporation ਦਾ ਇੱਕ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਗਰਾਮ ਹੈ, ਜੋ “AI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM” ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਆਉਂਦਾ ਹੈ। ਇਹ C# ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ।
ਇੰਸਟਾਲੇਸ਼ਨ ਅਤੇ ਸਿਸਟਮ ਲੋੜਾਂ
64-ਬਿੱਟ ਲਈ ਅਧਿਕਾਰਤ ਇੰਸਟਾਲਰ ਮੌਜੂਦ ਹਨ (ਪੋਰਟੇਬਲ)। ਇਸ ਨੂੰ ਇੰਸਟਾਲ ਕੀਤੇ ਬਿਨਾਂ ਚਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ (ਪੋਰਟੇਬਲ)।
ਮਸ਼ਹੂਰੀ ਅਤੇ ਫ਼ਾਈਲ ਕਿਸਮਾਂ
GitHub ਉੱਤੇ ਇਸ ਦੇ ਸੋਰਸ ਕੋਡ (microsoft/Tokenizer) ਨੂੰ 212 ਸਟਾਰ ਮਿਲੇ ਹਨ। ਇਸੇ ਤਰ੍ਹਾਂ ਦੇ ਪ੍ਰੋਗਰਾਮ: Codex CLI, Claude Code ਅਤੇ ChatGPT।
GitHub ਉੱਤੇ ਪ੍ਰੋਜੈਕਟ ਦਾ ਵੇਰਵਾ: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
ਖ਼ੂਬੀਆਂ / ਕਮੀਆਂ
ਖ਼ੂਬੀਆਂ
- ਓਪਨ ਸੋਰਸ: ਕੋਈ ਵੀ ਇਸ ਦਾ ਕੋਡ ਦੇਖ ਅਤੇ ਬਿਲਡ ਕਰ ਸਕਦਾ ਹੈ
- ਪੋਰਟੇਬਲ: ਇੰਸਟਾਲ ਕੀਤੇ ਬਿਨਾਂ ਚੱਲਦਾ ਹੈ
ਕਮੀਆਂ
- ਨੇਟਿਵ ARM64 ਬਿਲਡ ਨਹੀਂ ਹੈ
ਸੰਖੇਪ ਵਿੱਚ: Tokenizer 64-ਬਿੱਟ PC ਲਈ ਇੱਕ ਓਪਨ ਸੋਰਸ Windows ਟੂਲ ਹੈ (ਸ਼੍ਰੇਣੀ: AI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM)।
ਕੀ Tokenizer ਡਾਊਨਲੋਡ ਕਰਨਾ ਸੁਰੱਖਿਅਤ ਹੈ?
- ਫ਼ਾਈਲ github.com ਤੋਂ ਆਉਂਦੀ ਹੈ, ਜੋ ਪ੍ਰਕਾਸ਼ਕ ਦਾ ਆਪਣਾ ਡੋਮੇਨ ਹੈ
- ਡਾਊਨਲੋਡ ਲਿੰਕ HTTPS ਵਰਤਦਾ ਹੈ
- SHA256 ਹੈਸ਼ ਪ੍ਰਕਾਸ਼ਿਤ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਫ਼ਾਈਲ ਦੀ ਜਾਂਚ ਕਰ ਸਕਦੇ ਹੋ:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· ਇਸ ਹੈਸ਼ ਦੀ VirusTotal ਰਿਪੋਰਟ ਖੋਲ੍ਹੋ - ਲਿੰਕ ਅਜੇ ਜਾਂਚਿਆ ਨਹੀਂ ਗਿਆ
- ਸੋਰਸ ਕੋਡ ਜਨਤਕ ਹੈ
- ExeAtlas ਇੰਸਟਾਲਰ ਨੂੰ ਨਾ ਹੋਸਟ ਕਰਦਾ ਹੈ, ਨਾ ਰੈਪ ਕਰਦਾ ਹੈ, ਨਾ ਬਦਲਦਾ ਹੈ
ਸੰਬੰਧਿਤ ਗਾਈਡ: Windows ਉੱਤੇ ਫ਼ਾਈਲ ਦਾ SHA256 ਹੈਸ਼ ਕਿਵੇਂ ਚੈੱਕ ਕਰੀਏ
ਹਾਲੀਆ ਵਰਜ਼ਨ
ਸਾਰੇ 1 ਵਰਜ਼ਨ ›| ਵਰਜ਼ਨ | ਤਾਰੀਖ਼ | ਆਕਾਰ | ਫ਼ਾਈਲਾਂ |
|---|---|---|---|
| 1.3.3ਨਵਾਂ ਵਰਜ਼ਨ | 29 ਦਸੰਬਰ 2025 | — | 64-ਬਿੱਟ ZIP |
ਕਮਾਂਡ ਲਾਈਨ ਤੋਂ ਇੰਸਟਾਲ ਕਰੋ
ਸਾਈਲੈਂਟ ਇੰਸਟਾਲ ›winget install --id Microsoft.Tokenizer -eਸੰਬੰਧਿਤ ਗਾਈਡ: winget ਕਿਵੇਂ ਵਰਤੀਏ: ਐਪਾਂ ਇੰਸਟਾਲ ਅਤੇ ਅੱਪਡੇਟ ਕਰੋ
ਜਾਣਕਾਰੀ
- ਪ੍ਰਕਾਸ਼ਕ
- Microsoft Corporation
- ਸ਼੍ਰੇਣੀ
- AI ਅਸਿਸਟੈਂਟ ਅਤੇ LLM
- ਲਾਇਸੈਂਸ
- MIT
- ਕੀਮਤ
- ਮੁਫ਼ਤ
- ਸੋਰਸ ਕੋਡ
- github.com/microsoft/Tokenizer
- ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ
- C#
- ਲੋੜੀਂਦਾ ਸਿਸਟਮ
- Windows 11 / 10
- ਆਰਕੀਟੈਕਚਰ
- 64-ਬਿੱਟ
- ਇੰਸਟਾਲਰ
- ਪੋਰਟੇਬਲ
- ਵਰਜ਼ਨ
- 1.3.3
- ਰਿਲੀਜ਼
- 29 ਦਸੰਬਰ 2025
- ਕੈਟਾਲਾਗ ਵਿੱਚ ਜੋੜੀ ਗਈ
- 29 ਦਸੰਬਰ 2025
- ਦਰਜ ਵਰਜ਼ਨ
- 1
- GitHub ਸਟਾਰ
- 212
- GitHub ਫ਼ੋਰਕ
- 36
- ਵੈੱਬਸਾਈਟ
- github.com
- winget ID
- Microsoft.Tokenizer
ਰੇਟਿੰਗ ਅਤੇ ਰਿਵਿਊ
ਅਜੇ ਕੋਈ ਰਿਵਿਊ ਨਹੀਂ ਹੈ। ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਰੇਟਿੰਗ ਦਿਓ।
Tokenizer ਦੇ ਬਦਲ
ਸਾਰੀਆਂ ਦੇਖੋ ›-
ਓਪਨ ਸੋਰਸ16.6 ਹਜ਼ਾਰ ↓ -
ਮਲਕੀਅਤੀ (ਪ੍ਰੋਪਰਾਇਟਰੀ)67.1 ਹਜ਼ਾਰ ↓ -
ਓਪਨ ਸੋਰਸ17.1 ਹਜ਼ਾਰ ↓ -
ਓਪਨ ਸੋਰਸ8.7 ਹਜ਼ਾਰ ↓ -
ਓਪਨ ਸੋਰਸ3.3 ਹਜ਼ਾਰ ↓ -
ਓਪਨ ਸੋਰਸ654 ↓ -
ਓਪਨ ਸੋਰਸ1.9 ਹਜ਼ਾਰ ↓ -
ਓਪਨ ਸੋਰਸ14 ਹਜ਼ਾਰ ↓
ਅਕਸਰ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲ
ਕੀ Tokenizer ਮੁਫ਼ਤ ਹੈ?
ਹਾਂ। Tokenizer ਓਪਨ ਸੋਰਸ ਸਾਫ਼ਟਵੇਅਰ ਹੈ (MIT ਲਾਇਸੈਂਸ)।
ਕੀ Tokenizer ਡਾਊਨਲੋਡ ਕਰਨਾ ਸੁਰੱਖਿਅਤ ਹੈ?
ਫ਼ਾਈਲ github.com ਤੋਂ ਡਾਊਨਲੋਡ ਹੁੰਦੀ ਹੈ, ਜੋ ਪ੍ਰਕਾਸ਼ਕ ਦਾ ਆਪਣਾ ਹੈ; ExeAtlas ਫ਼ਾਈਲ ਨੂੰ ਨਾ ਹੋਸਟ ਕਰਦਾ ਹੈ, ਨਾ ਬਦਲਦਾ ਹੈ। ਡਾਊਨਲੋਡ ਕੀਤੀ ਫ਼ਾਈਲ ਦਾ SHA256 ਹੈਸ਼ ਇੱਥੇ ਦਿਖਾਏ ਹੈਸ਼ ਨਾਲ ਮਿਲਾਓ, ਜਾਂ ਉਸ ਹੈਸ਼ ਦੀ VirusTotal ਰਿਪੋਰਟ ਖੋਲ੍ਹੋ।
winget ਨਾਲ Tokenizer ਕਿਵੇਂ ਇੰਸਟਾਲ ਕਰੀਏ?
PowerShell ਜਾਂ Windows Terminal ਖੋਲ੍ਹੋ ਅਤੇ ਇਸ ਪੰਨੇ ਉੱਤੇ ਦਿੱਤੀ winget ਕਮਾਂਡ ਚਲਾਓ। winget ਅਧਿਕਾਰਤ ਇੰਸਟਾਲਰ ਡਾਊਨਲੋਡ ਕਰਦਾ ਹੈ ਅਤੇ ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਉਸ ਦਾ SHA256 ਹੈਸ਼ ਜਾਂਚਦਾ ਹੈ।
ਕੀ Tokenizer ARM (Windows on Arm) ਉੱਤੇ ਚੱਲਦਾ ਹੈ?
ARM64 ਬਿਲਡ ਨਹੀਂ ਹੈ; Windows 11 on Arm ਉੱਤੇ 64-ਬਿੱਟ ਵਰਜ਼ਨ ਇਮੂਲੇਸ਼ਨ ਰਾਹੀਂ ਚੱਲ ਸਕਦਾ ਹੈ।
ਕੀ Tokenizer ਨੂੰ ਐਡਮਿਨਿਸਟ੍ਰੇਟਰ ਅਧਿਕਾਰਾਂ ਤੋਂ ਬਿਨਾਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ?
ਹਾਂ, ਇਹ ਪੋਰਟੇਬਲ ਹੈ: ਫ਼ਾਈਲ ਅਨਪੈਕ ਕਰੋ ਅਤੇ ਚਲਾਓ।
Tokenizer ਦੇ ਬਦਲ ਕਿਹੜੇ ਹਨ?
Codex CLI, Claude Code, ChatGPT, GPT4All ਅਤੇ Jan। ਬਦਲਾਂ ਵਾਲੇ ਪੰਨੇ ਉੱਤੇ ਇਹਨਾਂ ਦੀ ਤੁਲਨਾ ਦਿੱਤੀ ਗਈ ਹੈ।
