Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Beschrijving van de uitgever (Engels)
Wat is Tokenizer?
Tokenizer is een opensource Windows-programma in de categorie AI-assistenten & LLM’s van Microsoft Corporation. Programmeertaal: C#.
Installatie en systeemeisen
Er zijn officiële installatiebestanden voor 64-bits in de vorm van Portable. Het programma werkt zonder installatie (portable).
Populariteit en bestandstypen
De broncode op GitHub (microsoft/Tokenizer) heeft 212 sterren. Vergelijkbare programma’s zijn onder meer Codex CLI, Claude Code en ChatGPT.
Projectbeschrijving op GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Voordelen / Nadelen
Voordelen
- Open source: iedereen kan de code inzien en zelf compileren
- Portable: werkt zonder installatie
Nadelen
- Geen native ARM64-versie
Kort gezegd: Tokenizer is een opensource tool uit de categorie AI-assistenten & LLM’s voor pc’s met 64-bits.
Is Tokenizer veilig om te downloaden?
- Het bestand komt van github.com, een domein van de uitgever zelf
- De downloadlink gebruikt HTTPS
- Er is een SHA256-hash gepubliceerd, dus het bestand is te controleren:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Open het VirusTotal-rapport voor deze hash - De link is nog niet gecontroleerd
- De broncode is openbaar
- ExeAtlas host, verpakt of wijzigt geen installers
Gerelateerde handleiding: SHA256-hash van een bestand controleren in Windows
Recente versies
Alle 1 versies ›| Versie | Datum | Grootte | Bestanden |
|---|---|---|---|
| 1.3.3Nieuwste | 29 december 2025 | — | 64-bits ZIP |
Installeren via de opdrachtregel
Stille installatie ›winget install --id Microsoft.Tokenizer -eGerelateerde handleiding: winget gebruiken: programma’s installeren en updaten
Informatie
- Uitgever
- Microsoft Corporation
- Categorie
- AI-assistenten & LLM’s
- Licentie
- MIT
- Prijs
- Gratis
- Broncode
- github.com/microsoft/Tokenizer
- Programmeertaal
- C#
- Vereist
- Windows 11 / 10
- Architectuur
- 64-bits
- Installer
- Portable
- Versie
- 1.3.3
- Uitgebracht
- 29 december 2025
- Toegevoegd aan de catalogus
- 29 december 2025
- Versies in de lijst
- 1
- GitHub-sterren
- 212
- GitHub-forks
- 36
- Website
- github.com
- winget-ID
- Microsoft.Tokenizer
Beoordelingen en reviews
Nog geen reviews. Geef als eerste een beoordeling.
Alternatieven voor Tokenizer
Alles bekijken ›-
Open source16,6K ↓ -
Propriëtair67,1K ↓ -
Open source17,1K ↓ -
Open source8,7K ↓ -
Open source3,3K ↓ -
Open source654 ↓ -
Open source1,9K ↓ -
Open source14K ↓
Veelgestelde vragen
Is Tokenizer gratis?
Ja. Tokenizer is opensourcesoftware onder de licentie MIT.
Is Tokenizer veilig om te downloaden?
Het bestand komt van github.com, een domein van de uitgever zelf; ExeAtlas host of wijzigt het niet. Vergelijk de SHA256-hash van het gedownloade bestand met de hash op deze pagina, of open het VirusTotal-rapport voor die hash.
Hoe wordt Tokenizer met winget geïnstalleerd?
Open PowerShell of Windows Terminal en voer het winget-commando van deze pagina uit. winget downloadt de officiële installer en controleert de SHA256-hash voordat die wordt gestart.
Werkt Tokenizer op ARM (Windows on Arm)?
Er is geen ARM64-versie; Windows 11 on Arm kan de versie voor 64-bits via emulatie draaien.
Werkt Tokenizer zonder beheerdersrechten?
Ja, het programma is portable: uitpakken en starten.
Wat zijn alternatieven voor Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All en Jan. De pagina met alternatieven vergelijkt ze.
