Tokenizer: התקנה שקטה והסרה

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Microsoft Corporation עוזרי AI ומודלי שפה

רישיוןקוד פתוח
גרסה1.3.3
דרישותWindows 10, 11
תאריך שחרור29 בדצמבר 2025
כוכבים ב־GitHub★ 212

פקודות להתקנה של Tokenizer בלי חלונות ושאלות, להסרה ולזיהוי בכלי הפצה. פקודה מוצגת רק כשהיא ודאית: מתוך המניפסט או מברירת המחדל המתועדת של טכנולוגיית ההתקנה.

מדריך קשור: פרמטרים להתקנה שקטה: MSI, ‏NSIS, ‏Inno Setup · הסרת תוכנה דרך הרישום או PowerShell

באמצעות winget

PowerShell

winget install --id Microsoft.Tokenizer -e --silent --accept-package-agreements --accept-source-agreements

winget upgrade --id Microsoft.Tokenizer -e --silent

winget uninstall --id Microsoft.Tokenizer -e --silent

לפי קובץ התקנה

64 ביט · ZIP

ללא צורך בהתקנה (גרסה ניידת)

הפופולריות ביותר בקטגוריה עוזרי AI ומודלי שפה

הצגת הכול

Claude Codeעוזרי AI ומודלי שפה · Anthropic PBC
Codex CLIעוזרי AI ומודלי שפה · OpenAI, Inc.
ChatGPTעוזרי AI ומודלי שפה · lencx
GPT4Allעוזרי AI ומודלי שפה · Nomic
Janעוזרי AI ומודלי שפה · Jan
WSL Managerעוזרי AI ומודלי שפה · Bostrot
oh-my-piעוזרי AI ומודלי שפה · Can Bölük
T3 Codeעוזרי AI ומודלי שפה · T3 Tools
CC Switchעוזרי AI ומודלי שפה · farion1231
LobeHubעוזרי AI ומודלי שפה · LobeHub

עוד מאת Microsoft Corporation