Këtu janë renditur 1 version të Tokenizer, nga 29 dhjetor 2025 deri te versioni aktual 1.3.3. Secili të çon te skedarët e instalimit të vetë botuesit.
| Versioni | Data | Madhësia | Skedarët |
|---|---|---|---|
| 1.3.3I fundit | 29 dhjetor 2025 | — | 64-bit ZIP |
Tokenizer: versionet e vjetra dhe historiku
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- LicencaMe burim të hapur
- Versioni1.3.3
- KërkonWindows 10, 11
- Publikuar29 dhjetor 2025
- Yje në GitHub★ 212
Më të njohurat në „Asistentë IA dhe LLM”
Shiko të gjitha-
Claude CodeAsistentë IA dhe LLM · Anthropic PBC -
Codex CLIAsistentë IA dhe LLM · OpenAI, Inc. -
ChatGPTAsistentë IA dhe LLM · lencx -
GPT4AllAsistentë IA dhe LLM · Nomic -
JanAsistentë IA dhe LLM · Jan -
WSL ManagerAsistentë IA dhe LLM · Bostrot -
oh-my-piAsistentë IA dhe LLM · Can Bölük -
T3 CodeAsistentë IA dhe LLM · T3 Tools -
CC SwitchAsistentë IA dhe LLM · farion1231 -
LobeHubAsistentë IA dhe LLM · LobeHub
Të tjera nga Microsoft Corporation
Shiko të gjitha
PowerShellTerminale dhe mjete CLI · Microsoft Corporation
PowerToysPersonalizim · Microsoft Corporation
NuGetMenaxherë paketash dhe përditësues · Microsoft Corporation
Microsoft Azure CLITerminale dhe mjete CLI · Microsoft Corporation
OpenSSH PreviewFTP dhe transferim skedarësh · Microsoft Corporation
Bicep CLIGjuhë dhe SDK · Microsoft Corporation