Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Utgiverens beskrivelse (engelsk)
Hva er Tokenizer?
Tokenizer er et program med åpen kildekode for Windows i kategorien KI-assistenter og språkmodeller, utgitt av Microsoft Corporation. Programmeringsspråk: C#.
Installasjon og systemkrav
Det finnes offisielle installasjonsfiler for 64-bit i formatet Portabel. Programmet kjører uten installasjon (portabelt).
Popularitet og filtyper
Kildekoden på GitHub (microsoft/Tokenizer) har 212 stjerner. Lignende programmer er blant annet Codex CLI, Claude Code og ChatGPT.
Prosjektbeskrivelse på GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Fordeler / Ulemper
Fordeler
- Åpen kildekode: hvem som helst kan se gjennom og bygge koden
- Portabelt: kjører uten installasjon
Ulemper
- Ingen egen ARM64-versjon
Kort sagt: Tokenizer er et verktøy med åpen kildekode i kategorien KI-assistenter og språkmodeller for PC-er med 64-bit.
Er det trygt å laste ned Tokenizer?
- Filen leveres av github.com, utgiverens eget domene
- Nedlastingslenken bruker HTTPS
- En SHA256-sum er publisert, så du kan kontrollere filen:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Åpne VirusTotal-rapporten for denne sjekksummen - Lenken er ikke sjekket ennå
- Kildekoden er offentlig
- ExeAtlas lagrer, pakker inn eller endrer aldri installasjonsfiler
Relatert veiledning: Slik sjekker du SHA256-summen til en fil i Windows
Nyeste versjoner
Alle 1 versjon ›| Versjon | Dato | Størrelse | Filer |
|---|---|---|---|
| 1.3.3Nyeste | 29. desember 2025 | — | 64-bit ZIP |
Installer fra kommandolinjen
Stille installasjon ›winget install --id Microsoft.Tokenizer -eRelatert veiledning: winget: installer og oppdater programmer i Windows
Informasjon
- Utgiver
- Microsoft Corporation
- Kategori
- KI-assistenter og språkmodeller
- Lisens
- MIT
- Pris
- Gratis
- Kildekode
- github.com/microsoft/Tokenizer
- Programmeringsspråk
- C#
- Krav
- Windows 11 / 10
- Arkitektur
- 64-bit
- Installasjonsfil
- Portabel
- Versjon
- 1.3.3
- Utgitt
- 29. desember 2025
- Lagt til i katalogen
- 29. desember 2025
- Registrerte versjoner
- 1
- GitHub-stjerner
- 212
- GitHub-forker
- 36
- Nettsted
- github.com
- winget-ID
- Microsoft.Tokenizer
Vurderinger og anmeldelser
Ingen anmeldelser ennå. Bli den første til å gi en vurdering.
Alternativer til Tokenizer
Se alle ›-
Åpen kildekode16,6k ↓ -
Proprietær67,1k ↓ -
Åpen kildekode17,1k ↓ -
Åpen kildekode8,7k ↓ -
Åpen kildekode3,3k ↓ -
Åpen kildekode654 ↓ -
Åpen kildekode1,9k ↓ -
Åpen kildekode14k ↓
Ofte stilte spørsmål
Er Tokenizer gratis?
Ja. Tokenizer er programvare med åpen kildekode under lisensen MIT.
Er det trygt å laste ned Tokenizer?
Filen lastes ned fra github.com, som tilhører utgiveren; ExeAtlas verken lagrer eller endrer den. Sammenlign SHA256-summen for filen med den som vises her, eller åpne VirusTotal-rapporten for sjekksummen.
Hvordan installerer jeg Tokenizer med winget?
Åpne PowerShell eller Windows Terminal og kjør winget-kommandoen som vises på denne siden. winget laster ned den offisielle installasjonsfilen og kontrollerer SHA256-summen før den kjøres.
Kjører Tokenizer på ARM (Windows on Arm)?
Det finnes ingen ARM64-versjon; Windows 11 on Arm kan kjøre versjonen for 64-bit gjennom emulering.
Kan jeg bruke Tokenizer uten administratorrettigheter?
Ja, programmet er portabelt: pakk ut og kjør.
Hvilke alternativer finnes til Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All og Jan. Siden med alternativer sammenligner dem.
