Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Izdevēja apraksts (angļu)
Kas ir Tokenizer?
Tokenizer ir atvērtā pirmkoda Windows programma kategorijā „MI asistenti un LLM”, ko izdod Microsoft Corporation. Programmēšanas valoda: C#.
Instalēšana un prasības
Oficiālie instalētāji ir pieejami 64 bitu sistēmām (Portatīvā). Tā darbojas bez instalēšanas (portatīvā versija).
Popularitāte un failu tipi
Pirmkods atrodas GitHub (microsoft/Tokenizer); zvaigžņu skaits: 212. Līdzīgas programmas: Codex CLI, Claude Code un ChatGPT.
Projekta apraksts GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Plusi / Mīnusi
Plusi
- Atvērtais pirmkods: kodu var pārbaudīt un kompilēt ikviens
- Portatīvā: darbojas bez instalēšanas
Mīnusi
- Nav vietējās ARM64 versijas
Īsumā: Tokenizer ir atvērtā pirmkoda rīks kategorijā „MI asistenti un LLM” datoriem ar 64 bitu arhitektūru.
Vai programmu Tokenizer ir droši lejupielādēt?
- Failu nodrošina github.com – paša izdevēja domēns
- Lejupielādes saite izmanto HTTPS
- Ir publicēta SHA256 kontrolsumma, tāpēc failu var pārbaudīt:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Atvērt VirusTotal pārskatu par šo kontrolsummu - Saite vēl nav pārbaudīta
- Pirmkods ir publisks
- ExeAtlas instalētājus neglabā, neietin un nemaina
Saistītā pamācība: Kā pārbaudīt faila SHA256 kontrolsummu Windows
Jaunākās versijas
Visas versijas (1) ›| Versija | Datums | Lielums | Faili |
|---|---|---|---|
| 1.3.3Jaunākā | 2025. gada 29. decembris | — | 64 bitu ZIP |
Instalēšana no komandrindas
Klusā instalēšana ›winget install --id Microsoft.Tokenizer -eSaistītā pamācība: Kā lietot winget: programmu instalēšana un atjaunināšana
Informācija
- Izdevējs
- Microsoft Corporation
- Kategorija
- MI asistenti un LLM
- Licence
- MIT
- Cena
- Bez maksas
- Pirmkods
- github.com/microsoft/Tokenizer
- Programmēšanas valoda
- C#
- Prasības
- Windows 11 / 10
- Arhitektūra
- 64 bitu
- Instalētājs
- Portatīvā
- Versija
- 1.3.3
- Izlaista
- 2025. gada 29. decembris
- Pievienots katalogam
- 2025. gada 29. decembris
- Versijas sarakstā
- 1
- GitHub zvaigznes
- 212
- GitHub atzarojumi
- 36
- Tīmekļa vietne
- github.com
- winget ID
- Microsoft.Tokenizer
Vērtējumi un atsauksmes
Atsauksmju vēl nav. Novērtējiet pirmais.
Programmas Tokenizer alternatīvas
Skatīt visu ›-
Atvērtā pirmkoda16,6 tūkst. ↓ -
Slēgtā pirmkoda67,1 tūkst. ↓ -
Atvērtā pirmkoda17,1 tūkst. ↓ -
Atvērtā pirmkoda8,7 tūkst. ↓ -
Atvērtā pirmkoda3,3 tūkst. ↓ -
Atvērtā pirmkoda654 ↓ -
Atvērtā pirmkoda1,9 tūkst. ↓ -
Atvērtā pirmkoda14 tūkst. ↓
Bieži uzdotie jautājumi
Vai Tokenizer ir bez maksas?
Jā. Tokenizer ir atvērtā pirmkoda programmatūra ar licenci MIT.
Vai programmu Tokenizer ir droši lejupielādēt?
Fails tiek lejupielādēts no github.com, kas pieder izdevējam; ExeAtlas to neglabā un nemaina. Salīdziniet tā SHA256 kontrolsummu ar šeit norādīto vai atveriet VirusTotal pārskatu par šo kontrolsummu.
Kā instalēt programmu Tokenizer ar winget?
Atveriet PowerShell vai Windows Terminal un palaidiet šajā lapā norādīto winget komandu. winget lejupielādē oficiālo instalētāju un pirms palaišanas pārbauda tā SHA256 kontrolsummu.
Vai Tokenizer darbojas ar ARM (Windows on Arm)?
ARM64 versijas nav; Windows 11 on Arm var palaist 64 bitu versiju emulācijas režīmā.
Vai programmu Tokenizer var lietot bez administratora tiesībām?
Jā, tā ir portatīva: izpakojiet un palaidiet.
Kādas ir programmas Tokenizer alternatīvas?
Codex CLI, Claude Code, ChatGPT, GPT4All un Jan. Alternatīvu lapā tās ir salīdzinātas.
