۱ نسخه از Tokenizer در این صفحه فهرست شده است، از ۸ دی ۱۴۰۴ تا نسخه فعلی 1.3.3. هر نسخه به فایل‌های نصب خود ناشر لینک دارد.
| نسخه | تاریخ | حجم | فایل‌ها |
|---|---|---|---|
| 1.3.3آخرین | ۸ دی ۱۴۰۴ | — | ۶۴ بیتی ZIP |
دانلود نسخه‌های قدیمی Tokenizer
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- مجوزمتن‌باز
- نسخه1.3.3
- پیش‌نیازWindows 10, 11
- تاریخ انتشار۸ دی ۱۴۰۴
- ستاره‌های GitHub★ ۲۱۲
محبوب‌ترین‌ها در دستیارهای هوش مصنوعی و LLM
مشاهده همه-
Claude Codeدستیارهای هوش مصنوعی و LLM · Anthropic PBC -
Codex CLIدستیارهای هوش مصنوعی و LLM · OpenAI, Inc. -
ChatGPTدستیارهای هوش مصنوعی و LLM · lencx -
GPT4Allدستیارهای هوش مصنوعی و LLM · Nomic -
Janدستیارهای هوش مصنوعی و LLM · Jan -
WSL Managerدستیارهای هوش مصنوعی و LLM · Bostrot -
oh-my-piدستیارهای هوش مصنوعی و LLM · Can Bölük -
T3 Codeدستیارهای هوش مصنوعی و LLM · T3 Tools -
CC Switchدستیارهای هوش مصنوعی و LLM · farion1231 -
LobeHubدستیارهای هوش مصنوعی و LLM · LobeHub
نرم‌افزارهای دیگر Microsoft Corporation
مشاهده همه
PowerShellترمینال و ابزارهای خط فرمان · Microsoft Corporation
PowerToysشخصی‌سازی · Microsoft Corporation
NuGetمدیر بسته و به‌روزرسان · Microsoft Corporation
Microsoft Azure CLIترمینال و ابزارهای خط فرمان · Microsoft Corporation
OpenSSH PreviewFTP و انتقال فایل · Microsoft Corporation
Bicep CLIزبان‌ها و SDK · Microsoft Corporation