Lista obejmuje 1 wersję programu Tokenizer, od 29 grudnia 2025 do bieżącej wersji 1.3.3. Każda prowadzi do instalatorów na serwerze producenta.
| Wersja | Data | Rozmiar | Pliki |
|---|---|---|---|
| 1.3.3Najnowsza | 29 grudnia 2025 | — | 64-bit ZIP |
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Lista obejmuje 1 wersję programu Tokenizer, od 29 grudnia 2025 do bieżącej wersji 1.3.3. Każda prowadzi do instalatorów na serwerze producenta.
| Wersja | Data | Rozmiar | Pliki |
|---|---|---|---|
| 1.3.3Najnowsza | 29 grudnia 2025 | — | 64-bit ZIP |