Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
A kiadó leírása (angol)
Mi a Tokenizer?
Tokenizer: nyílt forráskódú Windows-program, kategória: „MI-asszisztensek és LLM-ek”. Kiadó: Microsoft Corporation. Programozási nyelv: C#.
Telepítés és rendszerigény
Hivatalos telepítő ezekhez az architektúrákhoz érhető el: 64 bites; formátum: Hordozható. Telepítés nélkül is futtatható (hordozható változat).
Népszerűség és fájltípusok
A GitHubon található forráskód (microsoft/Tokenizer) 212 csillagot kapott. Hasonló programok: Codex CLI, Claude Code és ChatGPT.
A projekt leírása a GitHubon: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Előnyök / Hátrányok
Előnyök
- Nyílt forráskód: bárki átnézheti és lefordíthatja
- Hordozható: telepítés nélkül fut
Hátrányok
- Nincs natív ARM64-változat
Összegzés: Tokenizer: nyílt forráskódú program az „MI-asszisztensek és LLM-ek” kategóriából, 64 bites gépekre.
Biztonságos a Tokenizer letöltése?
- A fájlt a github.com szolgálja ki, amely a kiadó saját domainje
- A letöltési hivatkozás HTTPS-t használ
- SHA256 ellenőrzőösszeg elérhető, így a fájl ellenőrizhető:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· A VirusTotal-jelentés megnyitása ehhez az ellenőrzőösszeghez - A hivatkozást még nem ellenőriztük
- A forráskód nyilvános
- Az ExeAtlas nem tárol, nem csomagol be és nem módosít telepítőket
Kapcsolódó útmutató: Fájl SHA256 kivonatának ellenőrzése Windowson
Legutóbbi verziók
Mind az 1 verzió ›| Verzió | Dátum | Méret | Fájlok |
|---|---|---|---|
| 1.3.3Legújabb | 2025. december 29. | — | 64 bites ZIP |
Telepítés parancssorból
Csendes telepítés ›winget install --id Microsoft.Tokenizer -eKapcsolódó útmutató: A winget használata: programok telepítése, frissítése
Információk
- Kiadó
- Microsoft Corporation
- Kategória
- MI-asszisztensek és LLM-ek
- Licenc
- MIT
- Ár
- Ingyenes
- Forráskód
- github.com/microsoft/Tokenizer
- Programozási nyelv
- C#
- Rendszerigény
- Windows 11 / 10
- Architektúra
- 64 bites
- Telepítő
- Hordozható
- Verzió
- 1.3.3
- Megjelenés
- 2025. december 29.
- Katalógusba került
- 2025. december 29.
- Listázott verziók
- 1
- GitHub-csillagok
- 212
- GitHub-forkok
- 36
- Weboldal
- github.com
- winget-azonosító
- Microsoft.Tokenizer
Értékelések és vélemények
Még nincs vélemény. Az első értékelés lehet az Öné.
Tokenizer – alternatívák
Összes ›-
Nyílt forráskódú16,6 E ↓ -
Zárt forráskódú67,1 E ↓ -
Nyílt forráskódú17,1 E ↓ -
Nyílt forráskódú8,7 E ↓ -
Nyílt forráskódú3,3 E ↓ -
Nyílt forráskódú654 ↓ -
Nyílt forráskódú1,9 E ↓ -
Nyílt forráskódú14 E ↓
Gyakori kérdések
Ingyenes a Tokenizer program?
Igen. A Tokenizer program nyílt forráskódú szoftver (licenc: MIT), ingyenesen letölthető és használható.
Biztonságos a Tokenizer letöltése?
A fájl a github.com szerveréről érkezik, amely a kiadóé; az ExeAtlas nem tárolja és nem módosítja. A letöltött fájl SHA256 ellenőrzőösszege összevethető az itt látható értékkel, és megnyitható hozzá a VirusTotal-jelentés is.
Hogyan telepíthető a Tokenizer program wingettel?
Nyissa meg a PowerShellt vagy a Windows Terminált, és futtassa az ezen az oldalon látható winget parancsot. A winget letölti a hivatalos telepítőt, és futtatás előtt ellenőrzi az SHA256 ellenőrzőösszegét.
Fut a Tokenizer program ARM processzoron (Windows on Arm)?
Nincs ARM64-változat; a Windows 11 on Arm emulációval futtathatja a következő változatot: 64 bites.
Használható a Tokenizer program rendszergazdai jog nélkül?
Igen, hordozható: elég kicsomagolni és elindítani.
Milyen alternatívák vannak a Tokenizer helyett?
Codex CLI, Claude Code, ChatGPT, GPT4All és Jan. Az alternatívák oldala össze is hasonlítja őket.
