這裡收錄Tokenizer從2025年12月29日到目前1.3.3的1個版本，每個版本都連到開發商的官方安裝檔。
Tokenizer舊版本下載（所有版本）
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- 授權開放原始碼
- 版本1.3.3
- 系統需求Windows 10, 11
- 發行日期2025年12月29日
- GitHub星星數★ 212
AI助理與大型語言模型熱門排行
查看全部-
Claude CodeAI助理與大型語言模型 · Anthropic PBC -
Codex CLIAI助理與大型語言模型 · OpenAI, Inc. -
ChatGPTAI助理與大型語言模型 · lencx -
GPT4AllAI助理與大型語言模型 · Nomic -
JanAI助理與大型語言模型 · Jan -
WSL ManagerAI助理與大型語言模型 · Bostrot -
oh-my-piAI助理與大型語言模型 · Can Bölük -
T3 CodeAI助理與大型語言模型 · T3 Tools -
CC SwitchAI助理與大型語言模型 · farion1231 -
LobeHubAI助理與大型語言模型 · LobeHub
Microsoft Corporation的其他軟體
查看全部
PowerShell終端機與命令列 · Microsoft Corporation
PowerToys系統美化 · Microsoft Corporation
NuGet套件管理與軟體更新 · Microsoft Corporation
Microsoft Azure CLI終端機與命令列 · Microsoft Corporation
OpenSSH PreviewFTP與檔案傳輸 · Microsoft Corporation
Bicep CLI程式語言與SDK · Microsoft Corporation