Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
發行商的介紹（英文）
Tokenizer是什麼軟體？
Tokenizer是Microsoft Corporation推出的一款開放原始碼的Windows軟體，屬於「AI助理與大型語言模型」類。主要以C#開發。
安裝與系統需求
官方提供適用於64位元系統的安裝檔，格式為免安裝版。不需安裝即可執行（免安裝版）。
熱門程度與檔案關聯
GitHub上的原始碼儲存庫（microsoft/Tokenizer）有212顆星。同類軟體還有Codex CLI、Claude Code和ChatGPT。
GitHub專案說明: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
優點 / 缺點
優點
- 開放原始碼：任何人都能檢視和自行編譯原始碼
- 免安裝版，不需安裝即可執行
缺點
- 沒有原生ARM64版本
總結: Tokenizer是一款適用於64位元電腦的開放原始碼Windows軟體，歸在「AI助理與大型語言模型」類。
Tokenizer下載安全嗎？
- 檔案由開發商自己的網域github.com提供
- 下載連結使用HTTPS
- 已公布SHA256值，可驗證檔案完整性:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· 查看這個雜湊值的VirusTotal報告 - 連結尚未檢查
- 原始碼公開
- ExeAtlas不存放、不綑綁、也不修改安裝檔
相關教學: Windows如何驗證檔案的SHA256雜湊值
近期版本
全部1個版本 ›用指令安裝
靜默安裝 ›winget install --id Microsoft.Tokenizer -e相關教學: winget教學：用指令安裝與更新軟體
軟體資訊
- 發行商
- Microsoft Corporation
- 分類
- AI助理與大型語言模型
- 授權
- MIT
- 價格
- 免費
- 原始碼
- github.com/microsoft/Tokenizer
- 程式語言
- C#
- 系統需求
- Windows 11 / 10
- 架構
- 64位元
- 安裝檔類型
- 免安裝版
- 版本
- 1.3.3
- 發行日期
- 2025年12月29日
- 收錄日期
- 2025年12月29日
- 收錄版本數
- 1
- GitHub星星數
- 212
- GitHub分支數（Fork）
- 36
- 官方網站
- github.com
- winget ID
- Microsoft.Tokenizer
評分與評論
目前還沒有評論，歡迎成為第一個評分的人。
Tokenizer替代軟體
查看全部 ›-
開放原始碼1.7萬 ↓ -
商業軟體6.7萬 ↓ -
開放原始碼1.7萬 ↓ -
開放原始碼8664 ↓ -
開放原始碼3288 ↓ -
開放原始碼654 ↓ -
開放原始碼1885 ↓ -
開放原始碼1.4萬 ↓
常見問題
Tokenizer是免費的嗎？
是的。Tokenizer是開放原始碼軟體，採用MIT授權。
Tokenizer下載安全嗎？
安裝檔來自github.com，這個網域屬於開發商本身；ExeAtlas不存放也不修改檔案。可以把下載檔案的SHA256值和本頁顯示的值比對，或查看這個雜湊值的VirusTotal報告。
如何用winget安裝Tokenizer？
開啟PowerShell或Windows終端機，執行本頁提供的winget指令即可。winget會下載官方安裝檔，並在執行前驗證它的SHA256值。
Tokenizer能在ARM電腦（Windows on Arm）上執行嗎？
沒有ARM64版本；Windows 11 on Arm可以透過模擬執行64位元版本。
沒有系統管理員權限可以用Tokenizer嗎？
可以，它是免安裝版，解壓縮後直接執行。
Tokenizer有哪些替代軟體？
Codex CLI、Claude Code、ChatGPT、GPT4All和Jan。替代軟體頁面對它們做了比較。
