หน้านี้รวบรวม Tokenizer ไว้ 1 เวอร์ชัน ตั้งแต่ 29 ธันวาคม 2568 จนถึงเวอร์ชันปัจจุบัน 1.3.3 ทุกเวอร์ชันลิงก์ไปยังไฟล์ตัวติดตั้งของผู้เผยแพร่เอง
| เวอร์ชัน | วันที่ | ขนาด | ไฟล์ |
|---|---|---|---|
| 1.3.3ล่าสุด | 29 ธันวาคม 2568 | — | 64 บิต ZIP |
Tokenizer ทุกเวอร์ชันและเวอร์ชันเก่า
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- สัญญาอนุญาตโอเพนซอร์ส
- เวอร์ชัน1.3.3
- ระบบที่ต้องการWindows 10, 11
- วันที่เผยแพร่29 ธันวาคม 2568
- ดาว GitHub★ 212
ยอดนิยมใน ผู้ช่วย AI และ LLM
ดูทั้งหมด-
Claude Codeผู้ช่วย AI และ LLM · Anthropic PBC -
Codex CLIผู้ช่วย AI และ LLM · OpenAI, Inc. -
ChatGPTผู้ช่วย AI และ LLM · lencx -
GPT4Allผู้ช่วย AI และ LLM · Nomic -
Janผู้ช่วย AI และ LLM · Jan -
WSL Managerผู้ช่วย AI และ LLM · Bostrot -
oh-my-piผู้ช่วย AI และ LLM · Can Bölük -
T3 Codeผู้ช่วย AI และ LLM · T3 Tools -
CC Switchผู้ช่วย AI และ LLM · farion1231 -
LobeHubผู้ช่วย AI และ LLM · LobeHub
โปรแกรมอื่นจาก Microsoft Corporation
ดูทั้งหมด
PowerShellเทอร์มินัลและเครื่องมือ CLI · Microsoft Corporation
PowerToysปรับแต่ง Windows · Microsoft Corporation
NuGetตัวจัดการแพ็กเกจและอัปเดต · Microsoft Corporation
Microsoft Azure CLIเทอร์มินัลและเครื่องมือ CLI · Microsoft Corporation
OpenSSH PreviewFTP และการโอนไฟล์ · Microsoft Corporation
Bicep CLIภาษาโปรแกรมและ SDK · Microsoft Corporation