Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
ప్రచురణకర్త ఇచ్చిన వివరణ (ఇంగ్లీష్)
Tokenizer అంటే ఏమిటి?
Tokenizer, Windows కోసం Microsoft Corporation అందించే ఒక ఓపెన్ సోర్స్ ప్రోగ్రామ్; ఇది “AI అసిస్టెంట్లు మరియు LLM” వర్గంలోకి వస్తుంది. దీన్ని C#లో రాశారు.
ఇన్‌స్టాలేషన్ మరియు సిస్టమ్ అవసరాలు
64-బిట్ కోసం అధికారిక ఇన్‌స్టాలర్లు అందుబాటులో ఉన్నాయి (పోర్టబుల్). దీన్ని ఇన్‌స్టాల్ చేయకుండానే రన్ చేయవచ్చు (పోర్టబుల్).
జనాదరణ మరియు ఫైల్ రకాలు
GitHubలో దీని సోర్స్ కోడ్ (microsoft/Tokenizer)కు 212 స్టార్‌లు ఉన్నాయి. ఇలాంటి ప్రోగ్రామ్‌లు: Codex CLI, Claude Code మరియు ChatGPT.
GitHubలో ప్రాజెక్ట్ వివరణ: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
అనుకూలతలు / లోపాలు
అనుకూలతలు
- ఓపెన్ సోర్స్: ఎవరైనా దీని కోడ్ చూడవచ్చు, బిల్డ్ చేయవచ్చు
- పోర్టబుల్: ఇన్‌స్టాల్ లేకుండానే రన్ అవుతుంది
లోపాలు
- నేటివ్ ARM64 బిల్డ్ లేదు
సారాంశం: Tokenizer 64-బిట్ PCల కోసం ఒక ఓపెన్ సోర్స్ Windows టూల్ (వర్గం: AI అసిస్టెంట్లు మరియు LLM).
Tokenizer డౌన్‌లోడ్ చేయడం సురక్షితమేనా?
- ఫైల్ github.com నుంచి వస్తుంది, అది ప్రచురణకర్త సొంత డొమైన్
- డౌన్‌లోడ్ లింక్ HTTPS వాడుతుంది
- SHA256 హ్యాష్ ప్రచురించబడింది, కాబట్టి మీరు ఫైల్‌ను తనిఖీ చేయవచ్చు:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· ఈ హ్యాష్ VirusTotal రిపోర్ట్ తెరవండి - లింక్ ఇంకా తనిఖీ చేయలేదు
- సోర్స్ కోడ్ పబ్లిక్‌గా అందుబాటులో ఉంది
- ExeAtlas ఇన్‌స్టాలర్‌ను హోస్ట్ చేయదు, రాప్ చేయదు, మార్చదు
సంబంధిత గైడ్: Windowsలో ఫైల్ SHA256 హ్యాష్ ఎలా చెక్ చేయాలి
ఇటీవలి వెర్షన్లు
మొత్తం 1 వెర్షన్లు ›| వెర్షన్ | తేదీ | సైజ్ | ఫైల్‌లు |
|---|---|---|---|
| 1.3.3తాజా | 29 డిసెంబర్, 2025 | — | 64-బిట్ ZIP |
కమాండ్ లైన్ ద్వారా ఇన్‌స్టాల్
సైలెంట్ ఇన్‌స్టాల్ ›winget install --id Microsoft.Tokenizer -eసంబంధిత గైడ్: winget ఎలా వాడాలి: యాప్‌లు ఇన్‌స్టాల్, అప్‌డేట్
సమాచారం
- ప్రచురణకర్త
- Microsoft Corporation
- వర్గం
- AI అసిస్టెంట్లు మరియు LLM
- లైసెన్స్
- MIT
- ధర
- ఉచితం
- సోర్స్ కోడ్
- github.com/microsoft/Tokenizer
- ప్రోగ్రామింగ్ భాష
- C#
- అవసరమైన సిస్టమ్
- Windows 11 / 10
- ఆర్కిటెక్చర్
- 64-బిట్
- ఇన్‌స్టాలర్
- పోర్టబుల్
- వెర్షన్
- 1.3.3
- విడుదల
- 29 డిసెంబర్, 2025
- కేటలాగ్‌లో చేర్చినది
- 29 డిసెంబర్, 2025
- నమోదైన వెర్షన్లు
- 1
- GitHub స్టార్‌లు
- 212
- GitHub ఫోర్క్‌లు
- 36
- వెబ్‌సైట్
- github.com
- winget ID
- Microsoft.Tokenizer
రేటింగ్‌లు మరియు రివ్యూలు
ఇంకా రివ్యూలు లేవు. మొదట రేటింగ్ ఇచ్చేది మీరే అవ్వండి.
Tokenizer ప్రత్యామ్నాయాలు
అన్నీ చూడండి ›-
ఓపెన్ సోర్స్16.6వే ↓ -
ప్రొప్రైటరీ67.1వే ↓ -
ఓపెన్ సోర్స్17.1వే ↓ -
ఓపెన్ సోర్స్8.7వే ↓ -
ఓపెన్ సోర్స్3.3వే ↓ -
ఓపెన్ సోర్స్654 ↓ -
ఓపెన్ సోర్స్1.9వే ↓ -
ఓపెన్ సోర్స్14వే ↓
తరచుగా అడిగే ప్రశ్నలు
Tokenizer ఉచితమేనా?
అవును. Tokenizer ఓపెన్ సోర్స్ సాఫ్ట్‌వేర్ (MIT లైసెన్స్).
Tokenizer డౌన్‌లోడ్ చేయడం సురక్షితమేనా?
ఫైల్ github.com నుంచి డౌన్‌లోడ్ అవుతుంది, అది ప్రచురణకర్త సొంతం; ExeAtlas ఫైల్‌ను హోస్ట్ చేయదు, మార్చదు. డౌన్‌లోడ్ చేసిన ఫైల్ SHA256 హ్యాష్‌ను ఇక్కడ చూపిన హ్యాష్‌తో సరిపోల్చండి, లేదా ఆ హ్యాష్ VirusTotal రిపోర్ట్ తెరవండి.
winget తో Tokenizer ఎలా ఇన్‌స్టాల్ చేయాలి?
PowerShell లేదా Windows Terminal తెరిచి, ఈ పేజీలో ఉన్న winget కమాండ్ రన్ చేయండి. winget అధికారిక ఇన్‌స్టాలర్‌ను డౌన్‌లోడ్ చేసి, రన్ చేసే ముందు దాని SHA256 హ్యాష్ తనిఖీ చేస్తుంది.
Tokenizer ARM (Windows on Arm)లో పనిచేస్తుందా?
ARM64 బిల్డ్ లేదు; Windows 11 on Armలో 64-బిట్ వెర్షన్ ఎమ్యులేషన్ ద్వారా రన్ కావచ్చు.
అడ్మినిస్ట్రేటర్ హక్కులు లేకుండా Tokenizer వాడవచ్చా?
అవును, ఇది పోర్టబుల్: ఫైల్‌ను అన్‌ప్యాక్ చేసి రన్ చేయండి.
Tokenizerకు ప్రత్యామ్నాయాలు ఏవి?
Codex CLI, Claude Code, ChatGPT, GPT4All మరియు Jan. ప్రత్యామ్నాయాల పేజీలో వీటి పోలిక ఉంది.
