Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Udgiverens beskrivelse (engelsk)
Hvad er Tokenizer?
Tokenizer er et Windows-program med åben kildekode fra Microsoft Corporation i kategorien AI-assistenter og LLM. Programmeringssprog: C#.
Installation og systemkrav
Der findes officielle installationsfiler til 64-bit i formatet Portabel. Programmet kører uden installation (portabelt).
Popularitet og filtyper
Kildekoden på GitHub (microsoft/Tokenizer) har 212 stjerner. Lignende programmer er for eksempel Codex CLI, Claude Code og ChatGPT.
Projektbeskrivelse på GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Fordele / Ulemper
Fordele
- Open source: alle kan gennemse og kompilere koden
- Portabelt: kører uden installation
Ulemper
- Ingen indbygget ARM64-version
Kort sagt: Tokenizer er et værktøj med åben kildekode i kategorien AI-assistenter og LLM til pc’er med 64-bit.
Er det sikkert at downloade Tokenizer?
- Filen leveres af github.com, udgiverens eget domæne
- Downloadlinket bruger HTTPS
- Der er offentliggjort en SHA256-hash, så du kan kontrollere filen:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Åbn VirusTotal-rapporten for denne hash - Linket er ikke kontrolleret endnu
- Kildekoden er offentlig
- ExeAtlas hoster, indpakker eller ændrer ikke installationsfiler
Relateret vejledning: Sådan tjekker du en fils SHA256-hash i Windows
Nyeste versioner
Alle 1 versioner ›| Version | Dato | Størrelse | Filer |
|---|---|---|---|
| 1.3.3Nyeste | 29. december 2025 | — | 64-bit ZIP |
Installér fra kommandolinjen
Lydløs installation ›winget install --id Microsoft.Tokenizer -eRelateret vejledning: winget: installer og opdater programmer i Windows
Information
- Udgiver
- Microsoft Corporation
- Kategori
- AI-assistenter og LLM
- Licens
- MIT
- Pris
- Gratis
- Kildekode
- github.com/microsoft/Tokenizer
- Programmeringssprog
- C#
- Kræver
- Windows 11 / 10
- Arkitektur
- 64-bit
- Installationsfil
- Portabel
- Version
- 1.3.3
- Udgivet
- 29. december 2025
- I kataloget siden
- 29. december 2025
- Registrerede versioner
- 1
- GitHub-stjerner
- 212
- GitHub-forks
- 36
- Websted
- github.com
- winget-id
- Microsoft.Tokenizer
Bedømmelser og anmeldelser
Ingen anmeldelser endnu. Vær den første til at bedømme programmet.
Alternativer til Tokenizer
Se alle ›-
Open source16,6 t ↓ -
Proprietær67,1 t ↓ -
Open source17,1 t ↓ -
Open source8,7 t ↓ -
Open source3,3 t ↓ -
Open source654 ↓ -
Open source1,9 t ↓ -
Open source14 t ↓
Ofte stillede spørgsmål
Er Tokenizer gratis?
Ja. Tokenizer er open source-software under licensen MIT.
Er det sikkert at downloade Tokenizer?
Filen kommer fra github.com, som tilhører udgiveren; ExeAtlas hoster eller ændrer den ikke. Sammenlign filens SHA256-hash med den, der vises her, eller åbn VirusTotal-rapporten for hashen.
Hvordan installerer jeg Tokenizer med winget?
Åbn PowerShell eller Windows Terminal, og kør winget-kommandoen, der vises på denne side. winget downloader den officielle installationsfil og kontrollerer SHA256-hashen, før den køres.
Kører Tokenizer på ARM (Windows on Arm)?
Der findes ingen ARM64-version; Windows 11 on Arm kan køre versionen til 64-bit via emulering.
Kan jeg bruge Tokenizer uden administratorrettigheder?
Ja, programmet er portabelt: pak det ud, og start det.
Hvilke alternativer findes der til Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All og Jan. Siden med alternativer sammenligner dem.
