Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Mô tả của nhà phát hành (Tiếng Anh)
Tokenizer là gì?
Tokenizer là phần mềm mã nguồn mở dành cho Windows do Microsoft Corporation phát hành, thuộc nhóm trợ lý AI và LLM. Ngôn ngữ lập trình: C#.
Cài đặt và yêu cầu hệ thống
Bộ cài chính thức có sẵn cho Windows 64-bit ở định dạng Portable. Phần mềm chạy được mà không cần cài đặt (bản portable).
Mức độ phổ biến và loại file
Mã nguồn trên GitHub (microsoft/Tokenizer) có 212 sao. Các phần mềm tương tự gồm Codex CLI, Claude Code và ChatGPT.
Mô tả dự án trên GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Ưu điểm / Nhược điểm
Ưu điểm
- Mã nguồn mở: ai cũng có thể xem và tự biên dịch
- Bản portable: chạy không cần cài đặt
Nhược điểm
- Chưa có bản ARM64 gốc
Tóm lại: Tokenizer là phần mềm Windows mã nguồn mở dành cho máy tính 64-bit, thuộc nhóm trợ lý AI và LLM.
Tải Tokenizer có an toàn không?
- Tệp được cung cấp từ github.com, tên miền của chính nhà phát hành
- Liên kết tải về dùng HTTPS
- Có công bố mã SHA256 để kiểm tra tệp:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Mở báo cáo VirusTotal cho mã băm này - Liên kết chưa được kiểm tra
- Mã nguồn được công khai
- ExeAtlas không lưu trữ, không đóng gói kèm và không chỉnh sửa bộ cài
Hướng dẫn liên quan: Cách kiểm tra mã SHA256 của file trên Windows
Phiên bản gần đây
Tất cả 1 phiên bản ›| Phiên bản | Ngày | Dung lượng | Tệp |
|---|---|---|---|
| 1.3.3Mới nhất | 29 tháng 12, 2025 | — | 64-bit ZIP |
Cài đặt bằng dòng lệnh
Cài đặt im lặng ›winget install --id Microsoft.Tokenizer -eHướng dẫn liên quan: Cách dùng winget để cài đặt và cập nhật phần mềm
Thông tin
- Nhà phát hành
- Microsoft Corporation
- Danh mục
- Trợ lý AI và LLM
- Giấy phép
- MIT
- Giá
- Miễn phí
- Mã nguồn
- github.com/microsoft/Tokenizer
- Ngôn ngữ lập trình
- C#
- Yêu cầu
- Windows 11 / 10
- Kiến trúc
- 64-bit
- Loại bộ cài
- Portable
- Phiên bản
- 1.3.3
- Ngày phát hành
- 29 tháng 12, 2025
- Ngày thêm vào danh mục
- 29 tháng 12, 2025
- Số phiên bản
- 1
- Sao GitHub
- 212
- Fork trên GitHub
- 36
- Trang chủ
- github.com
- winget ID
- Microsoft.Tokenizer
Đánh giá và nhận xét
Chưa có nhận xét nào. Hãy là người đầu tiên đánh giá.
Phần mềm thay thế Tokenizer
Xem tất cả ›-
Mã nguồn mở16,6 N ↓ -
Độc quyền67,1 N ↓ -
Mã nguồn mở17,1 N ↓ -
Mã nguồn mở8,7 N ↓ -
Mã nguồn mở3,3 N ↓ -
Mã nguồn mở654 ↓ -
Mã nguồn mở1,9 N ↓ -
Mã nguồn mở14 N ↓
Câu hỏi thường gặp
Tokenizer có miễn phí không?
Có. Tokenizer là phần mềm mã nguồn mở theo giấy phép MIT.
Tải Tokenizer có an toàn không?
Tệp được tải từ github.com, tên miền thuộc về nhà phát hành; ExeAtlas không lưu trữ và không chỉnh sửa tệp. Hãy so sánh mã SHA256 của tệp đã tải với mã hiển thị trên trang này, hoặc mở báo cáo VirusTotal cho mã băm đó.
Cài đặt Tokenizer bằng winget như thế nào?
Mở PowerShell hoặc Windows Terminal và chạy lệnh winget hiển thị trên trang này. winget sẽ tải bộ cài chính thức và kiểm tra mã SHA256 trước khi chạy.
Tokenizer có chạy trên máy ARM (Windows on Arm) không?
Chưa có bản ARM64; Windows 11 on Arm có thể chạy bản 64-bit thông qua giả lập.
Có thể dùng Tokenizer mà không cần quyền quản trị viên không?
Có, đây là bản portable: chỉ cần giải nén và chạy.
Có những phần mềm nào thay thế Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All và Jan. Trang phần mềm thay thế so sánh các lựa chọn này.
