Preuzmi Tokenizer 1.3.3 za Windows

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Microsoft Corporation AI asistenti i LLM

LicencaOtvoreni kod
Verzija1.3.3
ZahteviWindows 10, 11
Objavljeno29. decembar 2025.
Zvezdice na GitHubu★ 212

Ovo je najnovija verzija. · Objavljeno: 29. decembar 2025.

Instalacioni fajlovi 1.3.3

Arhitektura	Tip	Za koga	Veličina fajla	Preuzmi	SHA256
64-bit	ZIP → Portabl verzija	—	—	github.com	VirusTotal

Link i SHA256 potiču iz manifesta zajednice Windows Package Manager. Pre pokretanja uporedite heš preuzetog fajla.

Najpopularnije u kategoriji „AI asistenti i LLM“

Prikaži sve

Claude CodeAI asistenti i LLM · Anthropic PBC
Codex CLIAI asistenti i LLM · OpenAI, Inc.
ChatGPT by lencxAI asistenti i LLM · lencx
GPT4AllAI asistenti i LLM · Nomic
JanAI asistenti i LLM · Jan
oh-my-piAI asistenti i LLM · Can Bölük
T3 CodeAI asistenti i LLM · T3 Tools
WSL ManagerAI asistenti i LLM · Bostrot
CC SwitchAI asistenti i LLM · farion1231
LobeHubAI asistenti i LLM · LobeHub

Još programa izdavača Microsoft Corporation

Prikaži sve

PowerShellTerminali i CLI alati · Microsoft Corporation
PowerToysPrilagođavanje · Microsoft Corporation
NuGetMenadžeri paketa i ažuriranje · Microsoft Corporation
Microsoft Azure CLITerminali i CLI alati · Microsoft Corporation
OpenSSH PreviewFTP i prenos fajlova · Microsoft Corporation
Bicep CLIJezici i SDK · Microsoft Corporation

Preuzmi Tokenizer 1.3.3 za Windows

Instalacioni fajlovi 1.3.3

Najpopularnije u kategoriji „AI asistenti i LLM“

Još programa izdavača Microsoft Corporation

Oznake

Podeli