Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Leidėjo aprašymas (anglų)
Kas yra Tokenizer?
Tokenizer – atvirojo kodo programa, skirta Windows, iš kategorijos „DI asistentai ir LLM“. Leidėjas – Microsoft Corporation. Programavimo kalba: C#.
Diegimas ir sistemos reikalavimai
Oficialūs diegimo failai yra skirti 64 bitų sistemoms, formatai: Nešiojamoji versija. Programa veikia be diegimo (nešiojamoji versija).
Populiarumas ir failų tipai
Pirminis kodas „GitHub“ (microsoft/Tokenizer) turi 212 žvaigždučių. Panašios programos: Codex CLI, Claude Code ir ChatGPT.
Projekto aprašymas „GitHub“: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Privalumai / Trūkumai
Privalumai
- Atvirasis kodas: bet kas gali jį peržiūrėti ir sukompiliuoti
- Nešiojamoji versija: veikia be diegimo
Trūkumai
- Nėra natūralios ARM64 versijos
Trumpai: Tokenizer – atvirojo kodo programa, skirta Windows (kategorija „DI asistentai ir LLM“), prieinama 64 bitų sistemoms.
Ar saugu atsisiųsti programą Tokenizer?
- Failas atsisiunčiamas iš leidėjo domeno (github.com)
- Atsisiuntimo nuoroda naudoja HTTPS
- Paskelbta SHA256 maišos reikšmė, todėl failą galima patikrinti:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Atidaryti šios maišos reikšmės VirusTotal ataskaitą - Nuoroda dar nepatikrinta
- Pirminis kodas viešas
- ExeAtlas diegimo failų nelaiko, neįpakuoja ir nekeičia
Susijusi instrukcija: Kaip patikrinti failo SHA256 maišos reikšmę Windows
Naujausios versijos
Visos versijos (1) ›| Versija | Data | Dydis | Failai |
|---|---|---|---|
| 1.3.3Naujausia | 2025 m. gruodžio 29 d. | — | 64 bitų ZIP |
Diegimas iš komandų eilutės
Tylusis diegimas ›winget install --id Microsoft.Tokenizer -eSusijusi instrukcija: Kaip naudoti winget: programų diegimas ir naujinimas
Informacija
- Leidėjas
- Microsoft Corporation
- Kategorija
- DI asistentai ir LLM
- Licencija
- MIT
- Kaina
- Nemokama
- Pirminis kodas
- github.com/microsoft/Tokenizer
- Programavimo kalba
- C#
- Reikalavimai
- Windows 11 / 10
- Architektūra
- 64 bitų
- Diegimo failas
- Nešiojamoji versija
- Versija
- 1.3.3
- Išleista
- 2025 m. gruodžio 29 d.
- Įtraukta į katalogą
- 2025 m. gruodžio 29 d.
- Versijų skaičius
- 1
- Žvaigždutės „GitHub“
- 212
- Atšakos „GitHub“
- 36
- Svetainė
- github.com
- winget ID
- Microsoft.Tokenizer
Įvertinimai ir atsiliepimai
Atsiliepimų dar nėra. Galite įvertinti pirmas.
Programos Tokenizer alternatyvos
Rodyti viską ›-
Atvirasis kodas16,6 tūkst. ↓ -
Nuosavybinė licencija67,1 tūkst. ↓ -
Atvirasis kodas17,1 tūkst. ↓ -
Atvirasis kodas8,7 tūkst. ↓ -
Atvirasis kodas3,3 tūkst. ↓ -
Atvirasis kodas654 ↓ -
Atvirasis kodas1,9 tūkst. ↓ -
Atvirasis kodas14 tūkst. ↓
Dažniausi klausimai
Ar programa Tokenizer nemokama?
Taip. Tokenizer – atvirojo kodo programa (licencija MIT), kurią galima nemokamai atsisiųsti ir naudoti.
Ar saugu atsisiųsti programą Tokenizer?
Failas atsisiunčiamas iš domeno github.com, kuris priklauso leidėjui; ExeAtlas failo nelaiko ir nekeičia. Palyginkite atsisiųsto failo SHA256 maišos reikšmę su nurodyta šiame puslapyje arba atidarykite tos reikšmės VirusTotal ataskaitą.
Kaip įdiegti Tokenizer su winget?
Atidarykite PowerShell arba Windows Terminal ir paleiskite šiame puslapyje pateiktą winget komandą. winget atsisiunčia oficialų diegimo failą ir prieš paleisdamas patikrina jo SHA256 maišos reikšmę.
Ar Tokenizer veikia ARM procesoriuose (Windows on Arm)?
ARM64 versijos nėra; Windows 11 on Arm gali paleisti 64 bitų versiją emuliuodama.
Ar programą Tokenizer galima naudoti be administratoriaus teisių?
Taip, tai nešiojamoji versija: pakanka išskleisti archyvą ir paleisti programą.
Kokios yra programos Tokenizer alternatyvos?
Codex CLI, Claude Code, ChatGPT, GPT4All ir Jan. Jos palygintos alternatyvų puslapyje.
