Qui sono elencate 1 versione di Tokenizer, dalla prima (29 dicembre 2025) fino all’attuale 1.3.3. Ognuna rimanda ai file di installazione del produttore.
| Versione | Data | Dimensione | File |
|---|---|---|---|
| 1.3.3Ultima versione | 29 dicembre 2025 | — | 64 bit ZIP |
Tokenizer: versioni precedenti da scaricare
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicenzaOpen source
- Versione1.3.3
- RequisitiWindows 10, 11
- Data di rilascio29 dicembre 2025
- Stelle su GitHub★ 212
Il più popolare in Assistenti IA e LLM
Vedi tutti-
Claude CodeAssistenti IA e LLM · Anthropic PBC -
Codex CLIAssistenti IA e LLM · OpenAI, Inc. -
ChatGPTAssistenti IA e LLM · lencx -
GPT4AllAssistenti IA e LLM · Nomic -
JanAssistenti IA e LLM · Jan -
WSL ManagerAssistenti IA e LLM · Bostrot -
oh-my-piAssistenti IA e LLM · Can Bölük -
T3 CodeAssistenti IA e LLM · T3 Tools -
CC SwitchAssistenti IA e LLM · farion1231 -
LobeHubAssistenti IA e LLM · LobeHub
Altri programmi di Microsoft Corporation
Vedi tutti
PowerShellTerminali e riga di comando · Microsoft Corporation
PowerToysPersonalizzazione · Microsoft Corporation
NuGetGestori di pacchetti e aggiornamenti · Microsoft Corporation
Microsoft Azure CLITerminali e riga di comando · Microsoft Corporation
OpenSSH PreviewFTP e trasferimento file · Microsoft Corporation
Bicep CLILinguaggi e SDK · Microsoft Corporation