Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Utgivarens beskrivning (engelska)
Vad är Tokenizer?
Tokenizer är ett Windowsprogram med öppen källkod från Microsoft Corporation i kategorin AI-assistenter och LLM. Programmeringsspråk: C#.
Installation och systemkrav
Det finns officiella installationsfiler för 64-bitars i formatet Portabel. Programmet körs utan installation (portabelt).
Popularitet och filtyper
Källkoden på GitHub (microsoft/Tokenizer) har 212 stjärnor. Liknande program är till exempel Codex CLI, Claude Code och ChatGPT.
Projektbeskrivning på GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Fördelar / Nackdelar
Fördelar
- Öppen källkod: vem som helst kan granska och kompilera koden
- Portabelt: körs utan installation
Nackdelar
- Ingen inbyggd ARM64-version
Kort sagt: Tokenizer är ett verktyg med öppen källkod i kategorin AI-assistenter och LLM för datorer med 64-bitars.
Är det säkert att ladda ner Tokenizer?
- Filen levereras av github.com, utgivarens egen domän
- Nedladdningslänken använder HTTPS
- En SHA256-hash är publicerad, så att du kan kontrollera filen:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Öppna VirusTotal-rapporten för den här hashen - Länken har inte kontrollerats än
- Källkoden är offentlig
- ExeAtlas varken lagrar, kapslar in eller ändrar installationsfiler
Relaterad guide: Kontrollera en fils SHA256-hash i Windows
Senaste versionerna
Alla 1 versioner ›| Version | Datum | Storlek | Filer |
|---|---|---|---|
| 1.3.3Senaste | 29 december 2025 | — | 64-bitars ZIP |
Installera från kommandoraden
Tyst installation ›winget install --id Microsoft.Tokenizer -eRelaterad guide: Så använder du winget: installera och uppdatera
Information
- Utgivare
- Microsoft Corporation
- Kategori
- AI-assistenter och LLM
- Licens
- MIT
- Pris
- Gratis
- Källkod
- github.com/microsoft/Tokenizer
- Programmeringsspråk
- C#
- Kräver
- Windows 11 / 10
- Arkitektur
- 64-bitars
- Installationsfil
- Portabel
- Version
- 1.3.3
- Släppt
- 29 december 2025
- I katalogen sedan
- 29 december 2025
- Listade versioner
- 1
- GitHub-stjärnor
- 212
- GitHub-forkar
- 36
- Webbplats
- github.com
- winget-ID
- Microsoft.Tokenizer
Betyg och recensioner
Inga recensioner än. Bli först med att betygsätta programmet.
Alternativ till Tokenizer
Visa alla ›-
Öppen källkod16,6 tn ↓ -
Proprietär67,1 tn ↓ -
Öppen källkod17,1 tn ↓ -
Öppen källkod8,7 tn ↓ -
Öppen källkod3,3 tn ↓ -
Öppen källkod654 ↓ -
Öppen källkod1,9 tn ↓ -
Öppen källkod14 tn ↓
Vanliga frågor
Är Tokenizer gratis?
Ja. Tokenizer är programvara med öppen källkod under licensen MIT.
Är det säkert att ladda ner Tokenizer?
Filen kommer från github.com, som tillhör utgivaren; ExeAtlas varken lagrar eller ändrar den. Jämför filens SHA256-hash med den som visas här, eller öppna VirusTotal-rapporten för hashen.
Hur installerar jag Tokenizer med winget?
Öppna PowerShell eller Windows Terminal och kör winget-kommandot som visas på den här sidan. winget laddar ner den officiella installationsfilen och kontrollerar SHA256-hashen innan den körs.
Fungerar Tokenizer på ARM (Windows on Arm)?
Det finns ingen ARM64-version; Windows 11 on Arm kan köra versionen för 64-bitars via emulering.
Kan jag använda Tokenizer utan administratörsbehörighet?
Ja, programmet är portabelt: packa upp och starta.
Vilka alternativ finns till Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All och Jan. Sidan med alternativ jämför dem.
