Tokenizer-ohjelmasta on luettelossa 1 versio, ensimmäinen 29. joulukuuta 2025 ja uusin 1.3.3. Jokainen versio linkittää julkaisijan omiin asennustiedostoihin.
| Versio | Päivämäärä | Koko | Tiedostot |
|---|---|---|---|
| 1.3.3Uusin | 29. joulukuuta 2025 | — | 64-bittinen ZIP |
Tokenizer: vanhemmat versiot ja versiohistoria
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LisenssiAvoin lähdekoodi
- Versio1.3.3
- VaatimuksetWindows 10, 11
- Julkaistu29. joulukuuta 2025
- GitHub-tähdet★ 212
Suosituin kategoriassa Tekoälyavustajat ja kielimallit
Näytä kaikki-
Claude CodeTekoälyavustajat ja kielimallit · Anthropic PBC -
Codex CLITekoälyavustajat ja kielimallit · OpenAI, Inc. -
ChatGPTTekoälyavustajat ja kielimallit · lencx -
GPT4AllTekoälyavustajat ja kielimallit · Nomic -
JanTekoälyavustajat ja kielimallit · Jan -
WSL ManagerTekoälyavustajat ja kielimallit · Bostrot -
oh-my-piTekoälyavustajat ja kielimallit · Can Bölük -
T3 CodeTekoälyavustajat ja kielimallit · T3 Tools -
CC SwitchTekoälyavustajat ja kielimallit · farion1231 -
LobeHubTekoälyavustajat ja kielimallit · LobeHub
Lisää julkaisijalta Microsoft Corporation
Näytä kaikki
PowerShellPäätteet ja komentorivi · Microsoft Corporation
PowerToysMukauttaminen · Microsoft Corporation
NuGetPaketinhallinta ja päivittäjät · Microsoft Corporation
Microsoft Azure CLIPäätteet ja komentorivi · Microsoft Corporation
OpenSSH PreviewFTP ja tiedostonsiirto · Microsoft Corporation
Bicep CLIOhjelmointikielet ja SDK:t · Microsoft Corporation