Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
คำอธิบายจากผู้เผยแพร่ (อังกฤษ)
Tokenizer คือโปรแกรมอะไร
Tokenizer เป็นโปรแกรมโอเพนซอร์สสำหรับ Windows ในหมวด ผู้ช่วย AI และ LLM เผยแพร่โดย Microsoft Corporation พัฒนาด้วยภาษา C#
การติดตั้งและความต้องการของระบบ
มีตัวติดตั้งทางการสำหรับ Windows 64 บิต ในรูปแบบ พกพา (Portable) ใช้งานได้โดยไม่ต้องติดตั้ง (แบบพกพา)
ความนิยมและประเภทไฟล์
ซอร์สโค้ดบน GitHub (microsoft/Tokenizer) ได้รับ 212 ดาว โปรแกรมที่คล้ายกัน ได้แก่ Codex CLI, Claude Code และ ChatGPT
คำอธิบายโครงการบน GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
ข้อดี / ข้อเสีย
ข้อดี
- โอเพนซอร์ส ใครก็ตรวจสอบและคอมไพล์โค้ดเองได้
- แบบพกพา ใช้งานได้โดยไม่ต้องติดตั้ง
ข้อเสีย
- ไม่มีเวอร์ชัน ARM64 แบบเนทีฟ
สรุปสั้น ๆ: Tokenizer เป็นเครื่องมือโอเพนซอร์สในหมวด ผู้ช่วย AI และ LLM สำหรับพีซี 64 บิต
ดาวน์โหลด Tokenizer ปลอดภัยไหม
- ไฟล์ให้บริการจาก github.com ซึ่งเป็นโดเมนของผู้เผยแพร่เอง
- ลิงก์ดาวน์โหลดใช้ HTTPS
- มีค่าแฮช SHA256 เผยแพร่ไว้ จึงตรวจสอบไฟล์ได้:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· เปิดรายงาน VirusTotal ของค่าแฮชนี้ - ยังไม่ได้ตรวจสอบลิงก์
- ซอร์สโค้ดเปิดเผยต่อสาธารณะ
- ExeAtlas ไม่เก็บ ไม่ห่อหุ้ม และไม่แก้ไขตัวติดตั้ง
คู่มือที่เกี่ยวข้อง: วิธีตรวจค่าแฮช SHA256 ของไฟล์บน Windows
เวอร์ชันล่าสุด
ทั้งหมด 1 เวอร์ชัน ›| เวอร์ชัน | วันที่ | ขนาด | ไฟล์ |
|---|---|---|---|
| 1.3.3ล่าสุด | 29 ธันวาคม 2568 | — | 64 บิต ZIP |
ติดตั้งผ่านบรรทัดคำสั่ง
ติดตั้งแบบเงียบ ›winget install --id Microsoft.Tokenizer -eคู่มือที่เกี่ยวข้อง: วิธีใช้ winget ติดตั้งและอัปเดตโปรแกรม
ข้อมูล
- ผู้เผยแพร่
- Microsoft Corporation
- หมวดหมู่
- ผู้ช่วย AI และ LLM
- สัญญาอนุญาต
- MIT
- ราคา
- ฟรี
- ซอร์สโค้ด
- github.com/microsoft/Tokenizer
- เขียนด้วยภาษา
- C#
- ระบบที่ต้องการ
- Windows 11 / 10
- สถาปัตยกรรม
- 64 บิต
- ตัวติดตั้ง
- พกพา (Portable)
- เวอร์ชัน
- 1.3.3
- วันที่เผยแพร่
- 29 ธันวาคม 2568
- เพิ่มเข้าแค็ตตาล็อก
- 29 ธันวาคม 2568
- จำนวนเวอร์ชันในรายการ
- 1
- ดาว GitHub
- 212
- GitHub fork
- 36
- เว็บไซต์
- github.com
- winget ID
- Microsoft.Tokenizer
คะแนนและรีวิว
ยังไม่มีรีวิว ร่วมให้คะแนนเป็นคนแรก
โปรแกรมทดแทน Tokenizer
ดูทั้งหมด ›-
โอเพนซอร์ส16.6K ↓ -
กรรมสิทธิ์67.1K ↓ -
โอเพนซอร์ส17.1K ↓ -
โอเพนซอร์ส8.7K ↓ -
โอเพนซอร์ส3.3K ↓ -
โอเพนซอร์ส654 ↓ -
โอเพนซอร์ส1.9K ↓ -
โอเพนซอร์ส14K ↓
คำถามที่พบบ่อย
Tokenizer ใช้ฟรีไหม
ฟรี Tokenizer เป็นซอฟต์แวร์โอเพนซอร์ส ภายใต้สัญญาอนุญาต MIT
ดาวน์โหลด Tokenizer ปลอดภัยไหม
ไฟล์ดาวน์โหลดมาจาก github.com ซึ่งเป็นของผู้เผยแพร่เอง ExeAtlas ไม่ได้เก็บหรือแก้ไขไฟล์นี้ คุณสามารถเทียบค่าแฮช SHA256 ของไฟล์กับค่าที่แสดงในหน้านี้ หรือเปิดรายงาน VirusTotal ของค่าแฮชนั้นได้
ติดตั้ง Tokenizer ด้วย winget อย่างไร
เปิด PowerShell หรือ Windows Terminal แล้วรันคำสั่ง winget ที่แสดงในหน้านี้ winget จะดาวน์โหลดตัวติดตั้งทางการและตรวจสอบค่าแฮช SHA256 ก่อนเริ่มติดตั้ง
Tokenizer ใช้บน ARM (Windows on Arm) ได้ไหม
ไม่มีเวอร์ชัน ARM64 แต่ Windows 11 on Arm สามารถรันเวอร์ชัน 64 บิต ผ่านการจำลองได้
ใช้ Tokenizer โดยไม่มีสิทธิ์ผู้ดูแลระบบได้ไหม
ได้ เป็นแบบพกพา แตกไฟล์แล้วเปิดใช้งานได้เลย
มีโปรแกรมอะไรที่ใช้แทน Tokenizer ได้บ้าง
Codex CLI, Claude Code, ChatGPT, GPT4All และ Jan ดูการเปรียบเทียบได้ในหน้าโปรแกรมทดแทน
