Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Beskrywing deur die uitgewer (Engels)
Wat is Tokenizer?
Tokenizer is ’n oopbronprogram vir Windows in die kategorie KI-assistente en LLM’s, uitgegee deur Microsoft Corporation. Programmeertaal: C#.
Installasie en vereistes
Daar is amptelike installeerders vir 64-bis in die vorm van Draagbaar. Dit werk sonder installasie (draagbaar).
Gewildheid en lêertipes
Die bronkode op GitHub (microsoft/Tokenizer) het 212 sterre. Soortgelyke programme sluit Codex CLI, Claude Code en ChatGPT in.
Projekbeskrywing op GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Voordele / Nadele
Voordele
- Oopbron: enigeen kan die kode nagaan en self bou
- Draagbaar: werk sonder installasie
Nadele
- Geen inheemse ARM64-weergawe nie
Kortliks: Tokenizer is ’n oopbronprogram in die kategorie KI-assistente en LLM’s vir 64-bis rekenaars.
Is dit veilig om Tokenizer af te laai?
- Die lêer word bedien deur github.com, die uitgewer se eie domein
- Die aflaaiskakel gebruik HTTPS
- ’n SHA256-hashwaarde is gepubliseer, sodat die lêer nagegaan kan word:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Maak die VirusTotal-verslag vir hierdie hashwaarde oop - Die skakel is nog nie nagegaan nie
- Die bronkode is openbaar
- ExeAtlas huisves, omvou of verander geen installeerders nie
Verwante gids: Hoe om ’n lêer se SHA256-hashwaarde op Windows na te gaan
Onlangse weergawes
Al 1 weergawes ›| Weergawe | Datum | Grootte | Lêers |
|---|---|---|---|
| 1.3.3Nuutste | 29 Desember 2025 | — | 64-bis ZIP |
Installeer vanaf die opdragreël
Stil installasie ›winget install --id Microsoft.Tokenizer -eVerwante gids: Hoe om winget te gebruik: programme installeer en bywerk
Inligting
- Uitgewer
- Microsoft Corporation
- Kategorie
- KI-assistente en LLM’s
- Lisensie
- MIT
- Prys
- Gratis
- Bronkode
- github.com/microsoft/Tokenizer
- Geskryf in
- C#
- Vereis
- Windows 11 / 10
- Argitektuur
- 64-bis
- Installeerder
- Draagbaar
- Weergawe
- 1.3.3
- Vrygestel
- 29 Desember 2025
- By die katalogus gevoeg
- 29 Desember 2025
- Weergawes gelys
- 1
- GitHub-sterre
- 212
- GitHub-vurke
- 36
- Webwerf
- github.com
- winget-ID
- Microsoft.Tokenizer
Graderings en resensies
Nog geen resensies nie. Wees die eerste om dit te gradeer.
Alternatiewe vir Tokenizer
Sien alles ›-
Oopbron16,6 k ↓ -
Eiendomsagteware67,1 k ↓ -
Oopbron17,1 k ↓ -
Oopbron8,7 k ↓ -
Oopbron3,3 k ↓ -
Oopbron654 ↓ -
Oopbron1,9 k ↓ -
Oopbron14 k ↓
Algemene vrae
Is Tokenizer gratis?
Ja. Tokenizer is oopbronsagteware onder die MIT-lisensie.
Is dit veilig om Tokenizer af te laai?
Die aflaai kom van github.com, wat aan die uitgewer behoort; ExeAtlas huisves of verander nie die lêer nie. Vergelyk die SHA256-hashwaarde daarvan met die een wat hier gewys word, of maak die VirusTotal-verslag vir daardie hashwaarde oop.
Hoe installeer ek Tokenizer met winget?
Maak PowerShell of Windows Terminal oop en voer die winget-opdrag op hierdie bladsy uit. winget laai die amptelike installeerder af en gaan die SHA256-hashwaarde na voordat dit uitgevoer word.
Werk Tokenizer op ARM (Windows on Arm)?
Daar is geen ARM64-weergawe nie; Windows 11 on Arm kan die 64-bis-weergawe via emulasie laat loop.
Kan Tokenizer sonder administrateurregte gebruik word?
Ja, dit is draagbaar: pak dit uit en laat dit loop.
Wat is alternatiewe vir Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All en Jan. Die bladsy met alternatiewe vergelyk hulle.
