Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Մշակողի նկարագրությունը (անգլերեն)
Ի՞նչ է Tokenizer ծրագիրը
Tokenizer — բաց կոդով ծրագիր Windows-ի համար «AI օգնականներ և LLM» կատեգորիայից։ Մշակողը՝ Microsoft Corporation։ Ծրագրավորման լեզուն՝ C#։
Տեղադրում և համակարգային պահանջներ
Պաշտոնական տեղադրիչները հասանելի են 64-բիթ համակարգերի համար․ տեղադրիչի տեսակը՝ Դյուրակիր։ Ծրագիրն աշխատում է առանց տեղադրման (դյուրակիր տարբերակ)։
Հայտնիություն և ֆայլերի տեսակներ
GitHub-ում ելակետային կոդը (microsoft/Tokenizer) ունի 212 աստղ։ Նմանատիպ ծրագրեր՝ Codex CLI, Claude Code և ChatGPT։
Նախագծի նկարագրությունը GitHub-ում: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Առավելություններ / Թերություններ
Առավելություններ
- Բաց կոդ․ ցանկացած մեկը կարող է այն ստուգել և ինքնուրույն կառուցել
- Դյուրակիր է՝ աշխատում է առանց տեղադրման
Թերություններ
- Բնիկ ARM64 կառուցվածք չկա
Հակիրճ: Tokenizer — բաց կոդով ծրագիր Windows-ի համար («AI օգնականներ և LLM» կատեգորիա)․ կառուցվածքներ՝ 64-բիթ։
Արդյո՞ք անվտանգ է ներբեռնել Tokenizer ծրագիրը
- Ֆայլը ներբեռնվում է մշակողի սեփական տիրույթից (github.com)
- Ներբեռնման հղումն օգտագործում է HTTPS
- Հրապարակված է SHA256 հեշ, ուստի ֆայլը կարելի է ստուգել:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Բացել այս հեշի VirusTotal հաշվետվությունը - Հղումը դեռ ստուգված չէ
- Ելակետային կոդը բաց է
- ExeAtlas-ը տեղադրիչներ չի պահում, չի փաթեթավորում և չի փոփոխում
Առնչվող ուղեցույց: Ինչպես ստուգել ֆայլի SHA256 հեշը Windows-ում
Վերջին տարբերակները
Բոլոր 1 տարբերակները ›| Տարբերակ | Ամսաթիվ | Չափ | Ֆայլեր |
|---|---|---|---|
| 1.3.3Վերջինը | 29 դեկտեմբերի, 2025 թ. | — | 64-բիթ ZIP |
Տեղադրում հրամանի տողից
Լուռ տեղադրում ›winget install --id Microsoft.Tokenizer -eԱռնչվող ուղեցույց: Ինչպես օգտագործել winget-ը՝ տեղադրում և թարմացում
Տեղեկություններ
- Մշակող
- Microsoft Corporation
- Կատեգորիա
- AI օգնականներ և LLM
- Լիցենզիա
- MIT
- Գին
- Անվճար
- Ելակետային կոդ
- github.com/microsoft/Tokenizer
- Ծրագրավորման լեզու
- C#
- Պահանջներ
- Windows 11 / 10
- Ճարտարապետություն
- 64-բիթ
- Տեղադրիչ
- Դյուրակիր
- Տարբերակ
- 1.3.3
- Թողարկման ամսաթիվ
- 29 դեկտեմբերի, 2025 թ.
- Ավելացվել է կատալոգ
- 29 դեկտեմբերի, 2025 թ.
- Տարբերակ կատալոգում
- 1
- GitHub աստղեր
- 212
- GitHub ֆորքեր
- 36
- Կայք
- github.com
- winget ID
- Microsoft.Tokenizer
Գնահատականներ և կարծիքներ
Կարծիքներ դեռ չկան։ Կարող եք առաջինը գնահատել։
Tokenizer ծրագրի այլընտրանքները
Տեսնել բոլորը ›-
Բաց կոդ16,6 հզր ↓ -
Սեփականատիրական67,1 հզր ↓ -
Բաց կոդ17,1 հզր ↓ -
Բաց կոդ8,7 հզր ↓ -
Բաց կոդ3,3 հզր ↓ -
Բաց կոդ654 ↓ -
Բաց կոդ1,9 հզր ↓ -
Բաց կոդ14 հզր ↓
Հաճախ տրվող հարցեր
Արդյո՞ք Tokenizer ծրագիրն անվճար է
Այո։ Tokenizer ծրագիրը բաց կոդով է (MIT լիցենզիա)․ այն կարելի է անվճար ներբեռնել և օգտագործել։
Արդյո՞ք անվտանգ է ներբեռնել Tokenizer ծրագիրը
Ֆայլը ներբեռնվում է github.com սերվերից, որը պատկանում է մշակողին․ ExeAtlas-ը ֆայլը չի պահում և չի փոփոխում։ Համեմատեք ներբեռնված ֆայլի SHA256-ը այս էջում նշվածի հետ կամ բացեք այդ հեշի VirusTotal հաշվետվությունը։
Ինչպե՞ս տեղադրել Tokenizer ծրագիրը winget-ով
Բացեք PowerShell-ը կամ Windows Terminal-ը և գործարկեք այս էջում նշված winget հրամանը։ winget-ը կներբեռնի պաշտոնական տեղադրիչը և գործարկելուց առաջ կստուգի դրա SHA256 հեշը։
Աշխատո՞ւմ է Tokenizer ծրագիրը ARM-ի վրա (Windows on Arm)
ARM64 կառուցվածք չկա․ Windows 11 on Arm-ը կարող է էմուլյացիայի միջոցով գործարկել 64-բիթ տարբերակը։
Կարելի՞ է Tokenizer ծրագիրն օգտագործել առանց ադմինիստրատորի իրավունքների
Այո, այն դյուրակիր է․ բավական է բացել արխիվը և գործարկել ծրագիրը։
Ի՞նչ այլընտրանքներ ունի Tokenizer ծրագիրը
Codex CLI, Claude Code, ChatGPT, GPT4All և Jan։ Դրանց համեմատությունը՝ այլընտրանքների էջում։
