Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
வெளியீட்டாளரின் விளக்கம் (ஆங்கிலம்)
Tokenizer என்றால் என்ன?
Tokenizer என்பது Microsoft Corporation வெளியிடும் ஓப்பன் சோர்ஸ் Windows மென்பொருள் (AI உதவியாளர்கள் மற்றும் LLM பிரிவு). இது C# மொழியில் எழுதப்பட்டுள்ளது.
நிறுவலும் தேவைகளும்
64-பிட் கணினிகளுக்கான அதிகாரப்பூர்வ நிறுவிகள் உள்ளன (போர்ட்டபிள்). இதை நிறுவாமலேயே இயக்கலாம் (போர்ட்டபிள்).
பிரபலமும் கோப்பு வகைகளும்
GitHub-இல் உள்ள இதன் மூலக் குறியீட்டுக்கு (microsoft/Tokenizer) 212 ஸ்டார்கள் உள்ளன. இதைப் போன்ற மென்பொருள்கள்: Codex CLI, Claude Code மற்றும் ChatGPT.
GitHub-இல் உள்ள திட்ட விளக்கம்: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
நிறைகள் / குறைகள்
நிறைகள்
- ஓப்பன் சோர்ஸ்: குறியீட்டை யார் வேண்டுமானாலும் பார்க்கலாம், பில்ட் செய்யலாம்
- போர்ட்டபிள்: நிறுவல் தேவையில்லை
குறைகள்
- நேட்டிவ் ARM64 பதிப்பு இல்லை
சுருக்கமாக: Tokenizer ஒரு 64-பிட் கணினிகளுக்கான ஓப்பன் சோர்ஸ் AI உதவியாளர்கள் மற்றும் LLM பிரிவுக் கருவி.
Tokenizer பதிவிறக்கம் பாதுகாப்பானதா?
- கோப்பை வழங்குவது github.com, இது வெளியீட்டாளரின் சொந்த டொமைன்
- பதிவிறக்க இணைப்பு HTTPS பயன்படுத்துகிறது
- SHA256 ஹாஷ் வெளியிடப்பட்டுள்ளது, எனவே கோப்பைச் சரிபார்க்கலாம்:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· இந்த ஹாஷுக்கான VirusTotal அறிக்கையைத் திறக்கவும் - இணைப்பு இன்னும் சரிபார்க்கப்படவில்லை
- மூலக் குறியீடு பொதுவில் கிடைக்கிறது
- ExeAtlas நிறுவிகளைச் சேமிப்பதோ, சுற்றிக் கட்டுவதோ, மாற்றுவதோ இல்லை
தொடர்புடைய வழிகாட்டி: Windows-இல் கோப்பின் SHA256 ஹாஷைச் சரிபார்ப்பது எப்படி
அண்மைப் பதிப்புகள்
அனைத்து 1 பதிப்புகளும் ›| பதிப்பு | தேதி | அளவு | கோப்புகள் |
|---|---|---|---|
| 1.3.3சமீபத்தியது | 29 டிசம்பர், 2025 | — | 64-பிட் ZIP |
கமாண்ட் லைன் மூலம் நிறுவுதல்
சைலண்ட் இன்ஸ்டால் ›winget install --id Microsoft.Tokenizer -eதொடர்புடைய வழிகாட்டி: winget பயன்படுத்துவது எப்படி: நிறுவல், புதுப்பிப்பு
தகவல்
- வெளியீட்டாளர்
- Microsoft Corporation
- பிரிவு
- AI உதவியாளர்கள் மற்றும் LLM
- உரிமம்
- MIT
- விலை
- இலவசம்
- மூலக் குறியீடு
- github.com/microsoft/Tokenizer
- நிரலாக்க மொழி
- C#
- தேவை
- Windows 11 / 10
- கட்டமைப்பு
- 64-பிட்
- நிறுவி வகை
- போர்ட்டபிள்
- பதிப்பு
- 1.3.3
- வெளியான தேதி
- 29 டிசம்பர், 2025
- பட்டியலில் சேர்க்கப்பட்டது
- 29 டிசம்பர், 2025
- பட்டியலில் உள்ள பதிப்புகள்
- 1
- GitHub ஸ்டார்கள்
- 212
- GitHub ஃபோர்க்குகள்
- 36
- இணையதளம்
- github.com
- winget ID
- Microsoft.Tokenizer
மதிப்பீடுகளும் விமர்சனங்களும்
இன்னும் விமர்சனங்கள் இல்லை. முதலில் மதிப்பிடுபவராக நீங்கள் இருங்கள்.
Tokenizer மாற்று மென்பொருள்கள்
அனைத்தையும் பார்க்க ›-
ஓப்பன் சோர்ஸ்16.6ஆ ↓ -
தனியுரிம மென்பொருள்67.1ஆ ↓ -
ஓப்பன் சோர்ஸ்17.1ஆ ↓ -
ஓப்பன் சோர்ஸ்8.7ஆ ↓ -
ஓப்பன் சோர்ஸ்3.3ஆ ↓ -
ஓப்பன் சோர்ஸ்654 ↓ -
ஓப்பன் சோர்ஸ்1.9ஆ ↓ -
ஓப்பன் சோர்ஸ்14ஆ ↓
அடிக்கடி கேட்கப்படும் கேள்விகள்
Tokenizer இலவசமா?
ஆம். Tokenizer ஒரு ஓப்பன் சோர்ஸ் மென்பொருள் (MIT உரிமம்).
Tokenizer பதிவிறக்கம் பாதுகாப்பானதா?
கோப்பு github.com தளத்திலிருந்து வருகிறது; அந்தத் தளம் வெளியீட்டாளருக்குச் சொந்தமானது. ExeAtlas கோப்பைச் சேமிப்பதோ மாற்றுவதோ இல்லை. இங்கே காட்டப்பட்டுள்ள SHA256 ஹாஷுடன் அதை ஒப்பிடுங்கள், அல்லது அந்த ஹாஷுக்கான VirusTotal அறிக்கையைத் திறந்து பாருங்கள்.
winget மூலம் Tokenizer மென்பொருளை எப்படி நிறுவுவது?
PowerShell அல்லது Windows Terminal-ஐத் திறந்து, இந்தப் பக்கத்தில் உள்ள winget கட்டளையை இயக்குங்கள். winget அதிகாரப்பூர்வ நிறுவியைப் பதிவிறக்கி, இயக்கும் முன் அதன் SHA256 ஹாஷைச் சரிபார்க்கும்.
Tokenizer ARM (Windows on Arm) கணினிகளில் இயங்குமா?
ARM64 பதிப்பு இல்லை; Windows 11 on Arm எமுலேஷன் மூலம் 64-பிட் பதிப்பை இயக்க முடியும்.
நிர்வாகி உரிமைகள் இல்லாமல் Tokenizer பயன்படுத்த முடியுமா?
ஆம், இது போர்ட்டபிள்: பிரித்தெடுத்து (unzip) நேரடியாக இயக்கலாம்.
Tokenizer மென்பொருளுக்கு மாற்றுகள் என்ன?
Codex CLI, Claude Code, ChatGPT, GPT4All மற்றும் Jan. மாற்றுகள் பக்கத்தில் இவை ஒப்பிடப்பட்டுள்ளன.
