Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Lýsing útgefanda (enska)
Hvað er Tokenizer?
Forritið Tokenizer er opinn hugbúnaður fyrir Windows í flokknum Gervigreindaraðstoð og mállíkön. Útgefandi: Microsoft Corporation. Forritunarmál: C#.
Uppsetning og kröfur
Opinber uppsetningarforrit eru til fyrir 64 bita á sniðinu Ferðaútgáfa. Það keyrir án uppsetningar (ferðaútgáfa).
Vinsældir og skráargerðir
Grunnkóðinn á GitHub (microsoft/Tokenizer) hefur fengið 212 stjörnur. Sambærileg forrit eru meðal annars Codex CLI, Claude Code og ChatGPT.
Lýsing verkefnisins á GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Kostir / Gallar
Kostir
- Opinn hugbúnaður: hver sem er getur skoðað kóðann og byggt hann
- Ferðaútgáfa: keyrir án uppsetningar
Gallar
- Engin sérstök ARM64-útgáfa
Í stuttu máli: Forritið Tokenizer er opinn hugbúnaður í flokknum Gervigreindaraðstoð og mállíkön fyrir Windows (64 bita).
Er óhætt að sækja forritið Tokenizer?
- Skráin kemur frá github.com, léni útgefandans sjálfs
- Niðurhalstengillinn notar HTTPS
- SHA256-gildi er birt, svo hægt er að sannreyna skrána:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Opna skýrslu VirusTotal fyrir þetta gildi - Tengillinn hefur ekki verið prófaður enn
- Grunnkóðinn er opinn
- ExeAtlas hýsir hvorki, pakkar inn né breytir uppsetningarforritum
Tengdar leiðbeiningar: Hvernig á að athuga SHA256-gildi skráar í Windows
Nýlegar útgáfur
Allar 1 útgáfurnar ›| Útgáfa | Dagsetning | Stærð | Skrár |
|---|---|---|---|
| 1.3.3Nýjast | 29. desember 2025 | — | 64 bita ZIP |
Uppsetning af skipanalínu
Hljóðlát uppsetning ›winget install --id Microsoft.Tokenizer -eTengdar leiðbeiningar: Hvernig á að nota winget: setja upp og uppfæra forrit
Upplýsingar
- Útgefandi
- Microsoft Corporation
- Flokkur
- Gervigreindaraðstoð og mállíkön
- Leyfi
- MIT
- Verð
- Ókeypis
- Grunnkóði
- github.com/microsoft/Tokenizer
- Forritunarmál
- C#
- Kröfur
- Windows 11 / 10
- Högun
- 64 bita
- Uppsetningarforrit
- Ferðaútgáfa
- Útgáfa
- 1.3.3
- Gefið út
- 29. desember 2025
- Bætt í skrána
- 29. desember 2025
- Skráðar útgáfur
- 1
- Stjörnur á GitHub
- 212
- Kvíslar á GitHub
- 36
- Vefsíða
- github.com
- winget-auðkenni
- Microsoft.Tokenizer
Einkunnir og umsagnir
Engar umsagnir enn. Gefðu fyrstu einkunnina.
Valkostir í stað forritsins Tokenizer
Sjá allt ›-
Opinn hugbúnaður16,6 þ. ↓ -
Séreignarhugbúnaður67,1 þ. ↓ -
Opinn hugbúnaður17,1 þ. ↓ -
Opinn hugbúnaður8,7 þ. ↓ -
Opinn hugbúnaður3,3 þ. ↓ -
Opinn hugbúnaður654 ↓ -
Opinn hugbúnaður1,9 þ. ↓ -
Opinn hugbúnaður14 þ. ↓
Algengar spurningar
Er Tokenizer ókeypis?
Já. Forritið Tokenizer er opinn hugbúnaður með leyfinu MIT.
Er óhætt að sækja forritið Tokenizer?
Niðurhalið kemur frá github.com, sem er í eigu útgefandans; ExeAtlas hýsir hvorki né breytir skránni. Berið SHA256-gildi hennar saman við gildið sem hér er sýnt, eða opnið skýrslu VirusTotal fyrir það gildi.
Hvernig er Tokenizer sett upp með winget?
Opnið PowerShell eða Windows Terminal og keyrið winget-skipunina á þessari síðu. winget sækir opinbera uppsetningarforritið og athugar SHA256-gildi þess áður en það er keyrt.
Keyrir Tokenizer á ARM (Windows on Arm)?
Engin ARM64-útgáfa er til; Windows 11 on Arm getur keyrt 64 bita útgáfuna með hermun.
Er hægt að nota Tokenizer án stjórnandaréttinda?
Já, það er ferðaútgáfa: afþjappið og keyrið.
Hvaða forrit koma í stað forritsins Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All og Jan. Síðan um valkosti ber þau saman.
