Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Beschreibung des Herstellers (Englisch)
Was ist Tokenizer?
Tokenizer ist ein quelloffenes Windows-Programm aus der Kategorie „KI-Assistenten & LLMs“ von Microsoft Corporation. Programmiersprache: C#.
Installation und Systemvoraussetzungen
Offizielle Installationsdateien gibt es für 64-Bit im Format Portabel. Das Programm läuft ohne Installation (portabel).
Verbreitung und Dateitypen
Der Quellcode auf GitHub (microsoft/Tokenizer) hat 212 Sterne. Vergleichbare Programme sind etwa Codex CLI, Claude Code und ChatGPT.
Projektbeschreibung auf GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Vorteile / Nachteile
Vorteile
- Open Source: Der Quellcode ist einsehbar und lässt sich selbst kompilieren
- Portabel: läuft ohne Installation
Nachteile
- Keine native ARM64-Version
Kurz gesagt: Tokenizer ist ein quelloffenes Tool aus der Kategorie „KI-Assistenten & LLMs“ für PCs mit 64-Bit.
Ist der Download von Tokenizer sicher?
- Die Datei kommt von github.com, einer Domain des Herstellers
- Der Download-Link verwendet HTTPS
- Ein SHA256-Hash ist veröffentlicht, die Datei lässt sich also prüfen:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· VirusTotal-Bericht zu diesem Hash öffnen - Der Link wurde noch nicht geprüft
- Der Quellcode ist öffentlich
- ExeAtlas hostet, verpackt oder verändert keine Installer
Passende Anleitung: SHA256-Hash einer Datei unter Windows prüfen
Neueste Versionen
Alle 1 Versionen ›| Version | Datum | Größe | Dateien |
|---|---|---|---|
| 1.3.3Aktuell | 29. Dezember 2025 | — | 64-Bit ZIP |
Installation per Kommandozeile
Silent Install ›winget install --id Microsoft.Tokenizer -ePassende Anleitung: winget-Anleitung: Programme installieren und updaten
Informationen
- Hersteller
- Microsoft Corporation
- Kategorie
- KI-Assistenten & LLMs
- Lizenz
- MIT
- Preis
- Kostenlos
- Quellcode
- github.com/microsoft/Tokenizer
- Programmiersprache
- C#
- Voraussetzung
- Windows 11 / 10
- Architektur
- 64-Bit
- Installer
- Portabel
- Version
- 1.3.3
- Veröffentlicht
- 29. Dezember 2025
- Im Katalog seit
- 29. Dezember 2025
- Erfasste Versionen
- 1
- GitHub-Sterne
- 212
- GitHub-Forks
- 36
- Website
- github.com
- winget-ID
- Microsoft.Tokenizer
Bewertungen und Rezensionen
Noch keine Rezensionen. Geben Sie die erste Bewertung ab.
Alternativen zu Tokenizer
Alle anzeigen ›-
Open Source16.554 ↓ -
Proprietär67.109 ↓ -
Open Source17.053 ↓ -
Open Source8664 ↓ -
Open Source3288 ↓ -
Open Source654 ↓ -
Open Source1885 ↓ -
Open Source14.024 ↓
Häufige Fragen
Ist Tokenizer kostenlos?
Ja. Tokenizer ist Open-Source-Software unter der Lizenz MIT.
Ist der Download von Tokenizer sicher?
Die Datei kommt von github.com, einer Domain des Herstellers; ExeAtlas hostet oder verändert sie nicht. Vergleichen Sie den SHA256-Hash der heruntergeladenen Datei mit dem hier angezeigten oder öffnen Sie den VirusTotal-Bericht zu diesem Hash.
Wie installiere ich Tokenizer mit winget?
Öffnen Sie PowerShell oder Windows Terminal und führen Sie den winget-Befehl auf dieser Seite aus. winget lädt das offizielle Setup herunter und prüft vor dem Start den SHA256-Hash.
Läuft Tokenizer auf ARM (Windows on Arm)?
Eine ARM64-Version gibt es nicht; Windows 11 on Arm kann die Version für 64-Bit per Emulation ausführen.
Kann ich Tokenizer ohne Administratorrechte nutzen?
Ja, das Programm ist portabel: entpacken und starten.
Welche Alternativen zu Tokenizer gibt es?
Codex CLI, Claude Code, ChatGPT, GPT4All und Jan. Die Seite mit den Alternativen vergleicht sie.
