ברשימה גרסה אחת של Tokenizer, מ־29 בדצמבר 2025 ועד הגרסה הנוכחית 1.3.3. כל גרסה מקושרת לקובצי ההתקנה של המפיץ עצמו.
| גרסה | תאריך | גודל | קבצים |
|---|---|---|---|
| 1.3.3אחרונה | 29 בדצמבר 2025 | — | 64 ביט ZIP |
הורדת גרסאות קודמות של Tokenizer
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- רישיוןקוד פתוח
- גרסה1.3.3
- דרישותWindows 10, 11
- תאריך שחרור29 בדצמבר 2025
- כוכבים ב־GitHub★ 212
הפופולריות ביותר בקטגוריה עוזרי AI ומודלי שפה
הצגת הכול-
Claude Codeעוזרי AI ומודלי שפה · Anthropic PBC -
Codex CLIעוזרי AI ומודלי שפה · OpenAI, Inc. -
ChatGPTעוזרי AI ומודלי שפה · lencx -
GPT4Allעוזרי AI ומודלי שפה · Nomic -
Janעוזרי AI ומודלי שפה · Jan -
WSL Managerעוזרי AI ומודלי שפה · Bostrot -
oh-my-piעוזרי AI ומודלי שפה · Can Bölük -
T3 Codeעוזרי AI ומודלי שפה · T3 Tools -
CC Switchעוזרי AI ומודלי שפה · farion1231 -
LobeHubעוזרי AI ומודלי שפה · LobeHub
עוד מאת Microsoft Corporation
הצגת הכול
PowerShellטרמינלים וכלי CLI · Microsoft Corporation
PowerToysהתאמה אישית · Microsoft Corporation
NuGetמנהלי חבילות ועדכונים · Microsoft Corporation
Microsoft Azure CLIטרמינלים וכלי CLI · Microsoft Corporation
OpenSSH PreviewFTP והעברת קבצים · Microsoft Corporation
Bicep CLIשפות ו־SDK · Microsoft Corporation