Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Opis producenta (angielski)
Czym jest Tokenizer?
Tokenizer to program na Windows o otwartym kodzie źródłowym z kategorii „Asystenci AI i LLM”. Producent: Microsoft Corporation. Język programowania: C#.
Instalacja i wymagania
Oficjalne instalatory są dostępne dla architektur: 64-bit; typ instalatora: Wersja przenośna. Program działa bez instalacji (wersja przenośna).
Popularność i typy plików
Kod źródłowy na GitHubie (microsoft/Tokenizer) ma 212 gwiazdek. Podobne programy: Codex CLI, Claude Code i ChatGPT.
Opis projektu na GitHubie: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Zalety / Wady
Zalety
- Otwarty kod źródłowy: każdy może go przejrzeć i skompilować
- Wersja przenośna: działa bez instalacji
Wady
- Brak natywnej wersji ARM64
W skrócie: Tokenizer to program na Windows o otwartym kodzie źródłowym z kategorii „Asystenci AI i LLM”; wersje: 64-bit.
Czy pobieranie programu Tokenizer jest bezpieczne?
- Plik jest pobierany z domeny producenta (github.com)
- Link do pobrania używa HTTPS
- Opublikowano sumę SHA256, więc plik można zweryfikować:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Otwórz raport VirusTotal dla tej sumy - Link nie był jeszcze sprawdzany
- Kod źródłowy jest publiczny
- ExeAtlas nie przechowuje, nie opakowuje i nie modyfikuje instalatorów
Powiązany poradnik: Jak sprawdzić sumę SHA256 pliku w Windows
Najnowsze wersje
Wszystkie wersje (1) ›| Wersja | Data | Rozmiar | Pliki |
|---|---|---|---|
| 1.3.3Najnowsza | 29 grudnia 2025 | — | 64-bit ZIP |
Instalacja z wiersza poleceń
Cicha instalacja ›winget install --id Microsoft.Tokenizer -ePowiązany poradnik: Winget – jak instalować i aktualizować programy
Informacje
- Producent
- Microsoft Corporation
- Kategoria
- Asystenci AI i LLM
- Licencja
- MIT
- Cena
- Za darmo
- Kod źródłowy
- github.com/microsoft/Tokenizer
- Język programowania
- C#
- Wymagania
- Windows 11 / 10
- Architektura
- 64-bit
- Instalator
- Wersja przenośna
- Wersja
- 1.3.3
- Data wydania
- 29 grudnia 2025
- Dodano do katalogu
- 29 grudnia 2025
- Wersje w katalogu
- 1
- Gwiazdki GitHub
- 212
- Forki na GitHubie
- 36
- Strona WWW
- github.com
- ID winget
- Microsoft.Tokenizer
Oceny i opinie
Brak opinii. Można dodać pierwszą ocenę.
Alternatywy dla programu Tokenizer
Zobacz wszystkie ›-
Open source16,6 tys. ↓ -
Licencja zamknięta67,1 tys. ↓ -
Open source17,1 tys. ↓ -
Open source8,7 tys. ↓ -
Open source3,3 tys. ↓ -
Open source654 ↓ -
Open source1,9 tys. ↓ -
Open source14 tys. ↓
Najczęstsze pytania
Czy program Tokenizer jest darmowy?
Tak. Tokenizer to oprogramowanie open source na licencji MIT; można je pobrać i używać za darmo.
Czy pobieranie programu Tokenizer jest bezpieczne?
Plik jest pobierany z serwera github.com, który należy do producenta; ExeAtlas nie przechowuje ani nie modyfikuje pliku. Sumę SHA256 pobranego pliku można porównać z podaną na tej stronie albo otworzyć raport VirusTotal dla tej sumy.
Jak zainstalować program Tokenizer przez winget?
Wystarczy otworzyć PowerShell lub Terminal Windows i uruchomić polecenie winget podane na tej stronie. winget pobiera oficjalny instalator i przed uruchomieniem sprawdza jego sumę SHA256.
Czy Tokenizer działa na procesorach ARM (Windows on Arm)?
Brak wersji ARM64; Windows 11 on Arm może uruchomić wersję 64-bit w emulacji.
Czy z programu Tokenizer można korzystać bez uprawnień administratora?
Tak, to wersja przenośna: wystarczy rozpakować archiwum i uruchomić program.
Jakie są alternatywy dla programu Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All i Jan. Strona alternatyw zawiera ich porównanie.
