دلته د Tokenizer ۱ نسخه لېست شوې، له AP ۱۴۰۴ مرغومی ۸ څخه تر اوسنۍ 1.3.3 پورې. هره نسخه د خپرونکي خپلو نصب فایلونو ته لینک لري.
| نسخه | نېټه | اندازه | فایلونه |
|---|---|---|---|
| 1.3.3وروستۍ | AP ۱۴۰۴ مرغومی ۸ | — | 64-bit ZIP |
د Tokenizer زړې نسخې ډاونلوډ
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- جوازخلاصه سرچینه (open source)
- نسخه1.3.3
- اړتیاWindows 10, 11
- د خپرېدو نېټهAP ۱۴۰۴ مرغومی ۸
- د GitHub ستوري★ ۲۱۲
په د AI مرستیالان او LLM کې تر ټولو مشهور
ټول وګورئ-
Claude Codeد AI مرستیالان او LLM · Anthropic PBC -
Codex CLIد AI مرستیالان او LLM · OpenAI, Inc. -
ChatGPTد AI مرستیالان او LLM · lencx -
GPT4Allد AI مرستیالان او LLM · Nomic -
Janد AI مرستیالان او LLM · Jan -
WSL Managerد AI مرستیالان او LLM · Bostrot -
oh-my-piد AI مرستیالان او LLM · Can Bölük -
T3 Codeد AI مرستیالان او LLM · T3 Tools -
CC Switchد AI مرستیالان او LLM · farion1231 -
LobeHubد AI مرستیالان او LLM · LobeHub
د Microsoft Corporation نور پروګرامونه
ټول وګورئ
PowerShellټرمینلونه او CLI وسایل · Microsoft Corporation
PowerToysشخصي کول · Microsoft Corporation
NuGetد بستو مدیران او تازه کوونکي · Microsoft Corporation
Microsoft Azure CLIټرمینلونه او CLI وسایل · Microsoft Corporation
OpenSSH PreviewFTP او د فایل لېږد · Microsoft Corporation
Bicep CLIد پروګرام ژبې او SDK · Microsoft Corporation