Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
توضیحات ناشر (انگلیسی)
Tokenizer چیست؟
Tokenizer یک نرم‌افزار متن‌باز برای ویندوز از Microsoft Corporation در دسته‌بندی دستیارهای هوش مصنوعی و LLM است. به زبان C# نوشته شده است.
نصب و پیش‌نیازها
فایل‌های نصب رسمی برای ۶۴ بیتی در قالب پرتابل موجود است. بدون نصب اجرا می‌شود (نسخه پرتابل).
محبوبیت و انواع فایل
کد منبع آن در GitHub (microsoft/Tokenizer) ۲۱۲ ستاره دارد. نرم‌افزارهای مشابه: Codex CLI، Claude Code و ChatGPT.
توضیح پروژه در GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
نقاط قوت / نقاط ضعف
نقاط قوت
- متن‌باز: هر کسی می‌تواند کد را بررسی و کامپایل کند
- پرتابل: بدون نصب اجرا می‌شود
نقاط ضعف
- بدون نسخه بومی ARM64
به طور خلاصه: Tokenizer ابزاری متن‌باز در دسته‌بندی دستیارهای هوش مصنوعی و LLM برای رایانه‌های ۶۴ بیتی است.
آیا دانلود Tokenizer امن است؟
- فایل از github.com، دامنه خود ناشر، ارائه می‌شود
- لینک دانلود از HTTPS استفاده می‌کند
- هش SHA256 منتشر شده است و می‌توانید فایل را بررسی کنید:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· گزارش VirusTotal این هش را باز کنید - لینک هنوز بررسی نشده است
- کد منبع عمومی است
- ExeAtlas فایل‌های نصب را میزبانی، بسته‌بندی یا تغییر نمی‌دهد
آموزش مرتبط: بررسی هش SHA256 فایل در ویندوز
نسخه‌های اخیر
همه ۱ نسخه ›| نسخه | تاریخ | حجم | فایل‌ها |
|---|---|---|---|
| 1.3.3آخرین | ۸ دی ۱۴۰۴ | — | ۶۴ بیتی ZIP |
نصب از خط فرمان
نصب بی‌صدا ›winget install --id Microsoft.Tokenizer -eآموزش مرتبط: آموزش winget: نصب و به‌روزرسانی نرم‌افزار در ویندوز
اطلاعات
- ناشر
- Microsoft Corporation
- دسته‌بندی
- دستیارهای هوش مصنوعی و LLM
- مجوز
- MIT
- قیمت
- رایگان
- کد منبع
- github.com/microsoft/Tokenizer
- زبان برنامه‌نویسی
- C#
- پیش‌نیاز
- Windows 11 / 10
- معماری
- ۶۴ بیتی
- نوع نصب‌کننده
- پرتابل
- نسخه
- 1.3.3
- تاریخ انتشار
- ۸ دی ۱۴۰۴
- تاریخ افزودن به فهرست
- ۸ دی ۱۴۰۴
- نسخه‌های فهرست‌شده
- 1
- ستاره‌های GitHub
- ۲۱۲
- فورک‌های GitHub
- ۳۶
- وب‌سایت رسمی
- github.com
- شناسه winget
- Microsoft.Tokenizer
امتیازها و نظرها
هنوز نظری ثبت نشده است. نخستین امتیاز را شما بدهید.
جایگزین‌های Tokenizer
مشاهده همه ›-
متن‌باز۱۶٫۶ هزار ↓ -
انحصاری۶۷٫۱ هزار ↓ -
متن‌باز۱۷٫۱ هزار ↓ -
متن‌باز۸٫۷ هزار ↓ -
متن‌باز۳٫۳ هزار ↓ -
متن‌باز۶۵۴ ↓ -
متن‌باز۱٫۹ هزار ↓ -
متن‌باز۱۴ هزار ↓
پرسش‌های متداول
آیا Tokenizer رایگان است؟
بله. Tokenizer نرم‌افزاری متن‌باز با مجوز MIT است.
آیا دانلود Tokenizer امن است؟
فایل از github.com که متعلق به خود ناشر است دانلود می‌شود؛ ExeAtlas فایل را میزبانی یا تغییر نمی‌دهد. هش SHA256 فایل را با هش نمایش‌داده‌شده در این صفحه مقایسه کنید یا گزارش VirusTotal همین هش را باز کنید.
چگونه Tokenizer را با winget نصب کنیم؟
PowerShell یا Windows Terminal را باز کنید و دستور winget نمایش‌داده‌شده در این صفحه را اجرا کنید. winget فایل نصب رسمی را دانلود می‌کند و پیش از اجرا، هش SHA256 آن را بررسی می‌کند.
آیا Tokenizer روی ARM (Windows on Arm) اجرا می‌شود؟
نسخه ARM64 وجود ندارد؛ Windows 11 on Arm می‌تواند نسخه ۶۴ بیتی را با شبیه‌سازی اجرا کند.
آیا می‌توان از Tokenizer بدون دسترسی مدیر استفاده کرد؟
بله، نسخه پرتابل است: آن را از حالت فشرده خارج و اجرا کنید.
جایگزین‌های Tokenizer کدام‌اند؟
Codex CLI، Claude Code، ChatGPT، GPT4All و Jan. صفحه جایگزین‌ها آن‌ها را با هم مقایسه می‌کند.
