Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Julkaisijan kuvaus (englanti)
Mikä on Tokenizer?
Tokenizer on avoimen lähdekoodin Windows-ohjelma kategoriasta Tekoälyavustajat ja kielimallit. Sen julkaisija on Microsoft Corporation. Ohjelmointikieli: C#.
Asennus ja järjestelmävaatimukset
Viralliset asennusohjelmat ovat saatavilla seuraaville: 64-bittinen, muodossa Portable. Ohjelma toimii ilman asennusta (portable).
Suosio ja tiedostotyypit
Lähdekoodilla GitHubissa (microsoft/Tokenizer) on 212 tähteä. Samankaltaisia ohjelmia ovat esimerkiksi Codex CLI, Claude Code ja ChatGPT.
Projektin kuvaus GitHubissa: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Plussat / Miinukset
Plussat
- Avoin lähdekoodi: kuka tahansa voi tarkastella koodia ja kääntää sen itse
- Portable: toimii ilman asennusta
Miinukset
- Ei natiivia ARM64-versiota
Lyhyesti: Tokenizer on avoimen lähdekoodin työkalu kategoriasta Tekoälyavustajat ja kielimallit (64-bittinen).
Onko Tokenizer-ohjelman lataaminen turvallista?
- Tiedoston jakelee github.com, joka on julkaisijan oma verkkotunnus
- Latauslinkki käyttää HTTPS-yhteyttä
- SHA256-tiiviste on julkaistu, joten tiedoston voi tarkistaa:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Avaa tämän tiivisteen VirusTotal-raportti - Linkkiä ei ole vielä tarkistettu
- Lähdekoodi on julkinen
- ExeAtlas ei säilytä, kääri eikä muokkaa asennusohjelmia
Aiheeseen liittyvä opas: Näin tarkistat tiedoston SHA256-tiivisteen Windowsissa
Viimeisimmät versiot
Kaikki versiot (1) ›| Versio | Päivämäärä | Koko | Tiedostot |
|---|---|---|---|
| 1.3.3Uusin | 29. joulukuuta 2025 | — | 64-bittinen ZIP |
Asennus komentoriviltä
Hiljainen asennus ›winget install --id Microsoft.Tokenizer -eAiheeseen liittyvä opas: winget-opas: ohjelmien asennus ja päivitys
Tiedot
- Julkaisija
- Microsoft Corporation
- Kategoria
- Tekoälyavustajat ja kielimallit
- Lisenssi
- MIT
- Hinta
- Ilmainen
- Lähdekoodi
- github.com/microsoft/Tokenizer
- Ohjelmointikieli
- C#
- Vaatimukset
- Windows 11 / 10
- Arkkitehtuuri
- 64-bittinen
- Asennusohjelma
- Portable
- Versio
- 1.3.3
- Julkaistu
- 29. joulukuuta 2025
- Lisätty luetteloon
- 29. joulukuuta 2025
- Versioita luettelossa
- 1
- GitHub-tähdet
- 212
- GitHub-haarat
- 36
- Verkkosivusto
- github.com
- winget-tunnus
- Microsoft.Tokenizer
Arviot ja arvostelut
Ei vielä arvosteluja. Anna ensimmäinen arvio.
Vaihtoehtoja Tokenizer-ohjelmalle
Näytä kaikki ›-
Avoin lähdekoodi16,6 t. ↓ -
Suljettu67,1 t. ↓ -
Avoin lähdekoodi17,1 t. ↓ -
Avoin lähdekoodi8,7 t. ↓ -
Avoin lähdekoodi3,3 t. ↓ -
Avoin lähdekoodi654 ↓ -
Avoin lähdekoodi1,9 t. ↓ -
Avoin lähdekoodi14 t. ↓
Usein kysytyt kysymykset
Onko Tokenizer ilmainen?
Kyllä. Tokenizer on avoimen lähdekoodin ohjelmisto, lisenssi MIT.
Onko Tokenizer-ohjelman lataaminen turvallista?
Tiedosto ladataan osoitteesta github.com, joka kuuluu julkaisijalle; ExeAtlas ei säilytä eikä muuta tiedostoa. Vertaa ladatun tiedoston SHA256-tiivistettä tällä sivulla näkyvään tai avaa tiivisteen VirusTotal-raportti.
Miten Tokenizer asennetaan wingetillä?
Avaa PowerShell tai Windows Terminal ja suorita tällä sivulla näkyvä winget-komento. winget lataa virallisen asennusohjelman ja tarkistaa sen SHA256-tiivisteen ennen suorittamista.
Toimiiko Tokenizer ARM-koneissa (Windows on Arm)?
ARM64-versiota ei ole; Windows 11 on Arm voi ajaa saatavilla olevan version (64-bittinen) emuloituna.
Voiko Tokenizer-ohjelmaa käyttää ilman järjestelmänvalvojan oikeuksia?
Kyllä, ohjelma on portable: pura ja käynnistä.
Mitä vaihtoehtoja Tokenizer-ohjelmalle on?
Codex CLI, Claude Code, ChatGPT, GPT4All ja Jan. Vaihtoehtosivu vertailee niitä.
