Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
תיאור המפיץ (אנגלית)
מה זה Tokenizer?
Tokenizer היא תוכנה בקוד פתוח ל־Windows מאת Microsoft Corporation, מהקטגוריה עוזרי AI ומודלי שפה. שפת הפיתוח: C#.
התקנה ודרישות
קיימים קובצי התקנה רשמיים ל־64 ביט בפורמט נייד (Portable). היא פועלת בלי התקנה (גרסה ניידת).
פופולריות וסוגי קבצים
לקוד המקור ב־GitHub (microsoft/Tokenizer) יש 212 כוכבים. תוכנות דומות: Codex CLI, Claude Code ו־ChatGPT.
תיאור הפרויקט ב־GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
יתרונות / חסרונות
יתרונות
- קוד פתוח: כל אחד יכול לבדוק את הקוד ולבנות אותו
- גרסה ניידת: פועלת בלי התקנה
חסרונות
- אין גרסת ARM64 מקורית
בקצרה: Tokenizer היא תוכנה בקוד פתוח מהקטגוריה עוזרי AI ומודלי שפה למחשבי 64 ביט.
האם ההורדה של Tokenizer בטוחה?
- הקובץ מגיע מהשרת github.com, הדומיין של המפיץ עצמו
- קישור ההורדה משתמש ב־HTTPS
- פורסם ערך SHA256, כך שאפשר לאמת את הקובץ:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· פתיחת הדוח של VirusTotal עבור ה־hash הזה - הקישור טרם נבדק
- קוד המקור פתוח לציבור
- ExeAtlas אינו מאחסן, עוטף או משנה קובצי התקנה
מדריך קשור: בדיקת SHA256 של קובץ ב־Windows
גרסאות אחרונות
כל 1 הגרסאות ›| גרסה | תאריך | גודל | קבצים |
|---|---|---|---|
| 1.3.3אחרונה | 29 בדצמבר 2025 | — | 64 ביט ZIP |
התקנה משורת הפקודה
התקנה שקטה ›winget install --id Microsoft.Tokenizer -eמדריך קשור: מדריך winget: התקנה ועדכון של תוכנות
מידע
- מפיץ
- Microsoft Corporation
- קטגוריה
- עוזרי AI ומודלי שפה
- רישיון
- MIT
- מחיר
- חינם
- קוד מקור
- github.com/microsoft/Tokenizer
- שפת פיתוח
- C#
- דרישות
- Windows 11 / 10
- ארכיטקטורה
- 64 ביט
- סוג קובץ ההתקנה
- נייד (Portable)
- גרסה
- 1.3.3
- תאריך שחרור
- 29 בדצמבר 2025
- נוספה לקטלוג
- 29 בדצמבר 2025
- גרסאות ברשימה
- 1
- כוכבים ב־GitHub
- 212
- Forks ב־GitHub
- 36
- אתר רשמי
- github.com
- מזהה winget
- Microsoft.Tokenizer
דירוגים וביקורות
אין עדיין ביקורות. אפשר להיות הראשונים לדרג.
חלופות ל־Tokenizer
הצגת הכול ›-
קוד פתוח16.6K ↓ -
קנייני67.1K ↓ -
קוד פתוח17.1K ↓ -
קוד פתוח8.7K ↓ -
קוד פתוח3.3K ↓ -
קוד פתוח654 ↓ -
קוד פתוח1.9K ↓ -
קוד פתוח14K ↓
שאלות נפוצות
האם Tokenizer חינמית?
כן. Tokenizer היא תוכנת קוד פתוח ברישיון MIT.
האם ההורדה של Tokenizer בטוחה?
הקובץ מגיע מהשרת github.com, ששייך למפיץ; ExeAtlas אינו מאחסן את הקובץ ואינו משנה אותו. אפשר להשוות את ערך ה־SHA256 של הקובץ לערך שמוצג כאן, או לפתוח את הדוח של VirusTotal עבור אותו ערך.
איך מתקינים את Tokenizer באמצעות winget?
פותחים את PowerShell או את Windows Terminal ומריצים את פקודת ה־winget שמופיעה בדף הזה. winget מוריד את קובץ ההתקנה הרשמי ובודק את ערך ה־SHA256 שלו לפני ההפעלה.
אפשר להריץ את Tokenizer על ARM (Windows on Arm)?
אין גרסת ARM64; Windows 11 on Arm יכול להריץ את גרסת ה־64 ביט באמצעות אמולציה.
אפשר להשתמש ב־Tokenizer בלי הרשאות מנהל?
כן, זו גרסה ניידת: מחלצים את הקבצים ומפעילים.
מהן החלופות ל־Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All ו־Jan. דף החלופות משווה ביניהן.
