Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
提供元による説明（英語）
Tokenizerとは
Tokenizerは、Microsoft Corporationが公開しているオープンソースのWindows向けソフトです（カテゴリ：AIアシスタント・LLM）。開発言語はC#です。
インストールと動作環境
公式インストーラーは64ビット向けにポータブル形式で用意されています。インストールせずにそのまま実行できます（ポータブル版）。
人気と対応ファイル形式
GitHubで公開されているソースコード（microsoft/Tokenizer）のスター数は212です。似たソフトにはCodex CLI、Claude Code、ChatGPTなどがあります。
GitHubのプロジェクト説明: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
メリット / デメリット
メリット
- オープンソースで、誰でもコードを確認・ビルドできる
- ポータブル版でインストール不要
デメリット
- ネイティブのARM64版がない
まとめ: Tokenizerは、「AIアシスタント・LLM」に分類されるオープンソースのWindowsソフトです。64ビットのPCで使えます。
Tokenizerのダウンロードは安全ですか？
- ファイルは提供元のドメイン（github.com）から配信されています
- ダウンロードリンクはHTTPSを使用しています
- SHA256ハッシュが公開されているため、ファイルを検証できます:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· このハッシュのVirusTotalレポートを開く - リンクはまだ確認されていません
- ソースコードは公開されています
- ExeAtlasはインストーラーのホスト、ラップ、改変を行っていません
関連ガイド: SHA256ハッシュの確認方法（Windows）
最近のバージョン
全1バージョン ›コマンドラインでインストール
サイレントインストール ›winget install --id Microsoft.Tokenizer -e関連ガイド: wingetの使い方：アプリのインストールと更新
情報
- 提供元
- Microsoft Corporation
- カテゴリ
- AIアシスタント・LLM
- ライセンス
- MIT
- 価格
- 無料
- ソースコード
- github.com/microsoft/Tokenizer
- 開発言語
- C#
- 動作環境
- Windows 11 / 10
- アーキテクチャ
- 64ビット
- インストーラー
- ポータブル
- バージョン
- 1.3.3
- リリース日
- 2025年12月29日
- カタログ追加日
- 2025年12月29日
- 掲載バージョン数
- 1
- GitHubスター
- 212
- GitHubフォーク
- 36
- 公式サイト
- github.com
- winget ID
- Microsoft.Tokenizer
評価とレビュー
まだレビューはありません。最初の評価を投稿してください。
Tokenizerの代替ソフト
すべて表示 ›-
オープンソース1.7万 ↓ -
プロプライエタリ6.7万 ↓ -
オープンソース1.7万 ↓ -
オープンソース8664 ↓ -
オープンソース3288 ↓ -
オープンソース654 ↓ -
オープンソース1885 ↓ -
オープンソース1.4万 ↓
よくある質問
Tokenizerは無料ですか？
はい。Tokenizerはオープンソースのソフトです（MITライセンス）。
Tokenizerのダウンロードは安全ですか？
ファイルはgithub.comから配信されます。github.comは提供元のドメインです。ExeAtlasはファイルをホストしておらず、改変もしていません。ダウンロードしたファイルのSHA256をこのページに記載の値と照合するか、そのハッシュのVirusTotalレポートを確認してください。
Tokenizerをwingetでインストールするには？
PowerShellかWindowsターミナルを開き、このページに記載のwingetコマンドを実行します。wingetは公式インストーラーをダウンロードし、実行前にSHA256ハッシュを検証します。
TokenizerはARM版Windows（Windows on Arm）で動きますか？
ARM64版はありません。Windows 11 on Armでは、エミュレーションによって64ビット版を実行できます。
Tokenizerは管理者権限なしで使えますか？
はい。ポータブル版なので、展開してそのまま実行できます。
Tokenizerの代わりになるソフトは？
Codex CLI、Claude Code、ChatGPT、GPT4All、Janなどがあります。代替ソフトのページで比較できます。
