Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
厂商介绍（英语）
Tokenizer是什么软件？
Tokenizer是Microsoft Corporation推出的一款开源的Windows软件，属于「AI助手与大模型」类。主要使用C#开发。
安装与系统要求
官方提供适用于64位系统的安装包，格式为绿色版。无需安装即可运行（绿色版）。
热度与文件关联
GitHub上的源代码仓库（microsoft/Tokenizer）获得了212个星标。同类软件还有Codex CLI、Claude Code和ChatGPT。
GitHub项目简介: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
优点 / 不足
优点
- 开源：任何人都可以查看和编译源代码
- 绿色版，无需安装
不足
- 没有原生ARM64版本
总结: Tokenizer是一款适用于64位电脑的开源Windows软件，归入「AI助手与大模型」类。
Tokenizer下载安全吗？
- 文件由厂商自己的域名github.com提供
- 下载链接使用HTTPS
- 已公布SHA256值，可校验文件完整性:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· 查看该哈希值的VirusTotal报告 - 链接尚未检测
- 源代码公开
- ExeAtlas不托管、不捆绑、不修改安装包
相关教程: Windows下如何校验文件的SHA256哈希值
最近版本
全部1个版本 ›命令行安装
静默安装 ›winget install --id Microsoft.Tokenizer -e相关教程: winget使用教程：安装和更新软件
软件信息
- 厂商
- Microsoft Corporation
- 分类
- AI助手与大模型
- 许可
- MIT
- 价格
- 免费
- 源代码
- github.com/microsoft/Tokenizer
- 开发语言
- C#
- 系统要求
- Windows 11 / 10
- 架构
- 64位
- 安装包类型
- 绿色版
- 版本
- 1.3.3
- 发布日期
- 2025年12月29日
- 收录日期
- 2025年12月29日
- 收录版本数
- 1
- GitHub星标
- 212
- GitHub分叉数
- 36
- 官网
- github.com
- winget ID
- Microsoft.Tokenizer
评分与评价
暂无评价，欢迎第一个评分。
Tokenizer替代软件
查看全部 ›-
开源1.7万 ↓ -
商业软件6.7万 ↓ -
开源1.7万 ↓ -
开源8664 ↓ -
开源3288 ↓ -
开源654 ↓ -
开源1885 ↓ -
开源1.4万 ↓
常见问题
Tokenizer是免费的吗？
是的。Tokenizer是开源软件，采用MIT许可证。
Tokenizer下载安全吗？
安装包来自github.com，该域名属于厂商本身；ExeAtlas不托管也不修改文件。可以将下载文件的SHA256值与本页显示的值比对，或查看该哈希值的VirusTotal报告。
如何用winget安装Tokenizer？
打开PowerShell或Windows终端，运行本页提供的winget命令即可。winget会下载官方安装包，并在运行前校验其SHA256值。
Tokenizer能在ARM电脑（Windows on Arm）上运行吗？
没有ARM64版本；Windows 11 on Arm可以通过模拟运行64位版本。
没有管理员权限能用Tokenizer吗？
可以，它是绿色版，解压后直接运行。
Tokenizer有哪些替代软件？
Codex CLI、Claude Code、ChatGPT、GPT4All和Jan。替代软件页面对它们做了对比。
