Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
გამომცემლის აღწერა (ინგლისური)
რა არის Tokenizer?
Tokenizer არის ღია კოდის პროგრამა Windows-ისთვის (ai ასისტენტები და llm); გამომცემელი: Microsoft Corporation. პროგრამირების ენა: C#.
ინსტალაცია და მოთხოვნები
ოფიციალური საინსტალაციო ფაილები არსებობს Windows-ისთვის: 64-ბიტიანი, ფორმატით პორტატული. მუშაობს ინსტალაციის გარეშე (პორტატული).
პოპულარობა და ფაილის ტიპები
წყაროს კოდს GitHub-ზე (microsoft/Tokenizer) 212 ვარსკვლავი აქვს. მსგავსი პროგრამები: Codex CLI, Claude Code და ChatGPT.
პროექტის აღწერა GitHub-ზე: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
დადებითი მხარეები / უარყოფითი მხარეები
დადებითი მხარეები
- ღია კოდი: ნებისმიერს შეუძლია კოდის შემოწმება და აწყობა
- პორტატული: ინსტალაცია არ სჭირდება
უარყოფითი მხარეები
- მშობლიური ARM64 ვერსია არ არის
მოკლედ: Tokenizer — ღია კოდის ხელსაწყო (ai ასისტენტები და llm) კომპიუტერებისთვის: 64-ბიტიანი.
Tokenizer: უსაფრთხოა თუ არა ჩამოტვირთვა?
- ფაილი მოდის გამომცემლის საკუთარი დომენიდან (github.com)
- ჩამოტვირთვის ბმული HTTPS-ს იყენებს
- SHA256 ჰეში გამოქვეყნებულია, ფაილის შემოწმება შეგიძლიათ:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· გახსენით VirusTotal-ის ანგარიში ამ ჰეშისთვის - ბმული ჯერ არ შემოწმებულა
- წყაროს კოდი ღიაა
- ExeAtlas საინსტალაციო ფაილებს არ ინახავს, არ ფუთავს და არ ცვლის
დაკავშირებული ინსტრუქცია: როგორ შევამოწმოთ ფაილის SHA256 ჰეში Windows-ზე
ბოლო ვერსიები
ყველა ვერსია (1) ›| ვერსია | თარიღი | ზომა | ფაილები |
|---|---|---|---|
| 1.3.3უახლესი | 29 დეკემბერი, 2025 | — | 64-ბიტიანი ZIP |
ინსტალაცია ბრძანებათა ხაზიდან
ჩუმი ინსტალაცია ›winget install --id Microsoft.Tokenizer -eდაკავშირებული ინსტრუქცია: როგორ გამოვიყენოთ winget: ინსტალაცია და განახლება
ინფორმაცია
- გამომცემელი
- Microsoft Corporation
- კატეგორია
- AI ასისტენტები და LLM
- ლიცენზია
- MIT
- ფასი
- უფასო
- წყაროს კოდი
- github.com/microsoft/Tokenizer
- დაწერილია ენაზე
- C#
- მოთხოვნები
- Windows 11 / 10
- არქიტექტურა
- 64-ბიტიანი
- ინსტალერის ტიპი
- პორტატული
- ვერსია
- 1.3.3
- გამოშვების თარიღი
- 29 დეკემბერი, 2025
- დაემატა კატალოგს
- 29 დეკემბერი, 2025
- აღრიცხული ვერსიები
- 1
- GitHub ვარსკვლავები
- 212
- GitHub ფორკები
- 36
- ოფიციალური საიტი
- github.com
- winget ID
- Microsoft.Tokenizer
შეფასებები და მიმოხილვები
მიმოხილვები ჯერ არ არის. შეაფასეთ პირველმა.
Tokenizer: ალტერნატივები
ყველას ნახვა ›-
ღია კოდი16,6 ათ. ↓ -
დახურული კოდი67,1 ათ. ↓ -
ღია კოდი17,1 ათ. ↓ -
ღია კოდი8,7 ათ. ↓ -
ღია კოდი3,3 ათ. ↓ -
ღია კოდი654 ↓ -
ღია კოდი1,9 ათ. ↓ -
ღია კოდი14 ათ. ↓
ხშირად დასმული კითხვები
Tokenizer უფასოა?
დიახ. Tokenizer ღია კოდის პროგრამაა (ლიცენზია MIT).
Tokenizer: უსაფრთხოა თუ არა ჩამოტვირთვა?
ფაილი მოდის მისამართიდან github.com, რომელიც გამომცემელს ეკუთვნის; ExeAtlas ფაილს არ ინახავს და არ ცვლის. შეადარეთ ჩამოტვირთული ფაილის SHA256 ჰეში აქ ნაჩვენებს ან გახსენით VirusTotal-ის ანგარიში ამ ჰეშისთვის.
როგორ დავაინსტალიროთ Tokenizer winget-ით?
გახსენით PowerShell ან Windows Terminal და გაუშვით ამ გვერდზე ნაჩვენები winget ბრძანება. winget ჩამოტვირთავს ოფიციალურ საინსტალაციო ფაილს და გაშვებამდე ამოწმებს მის SHA256 ჰეშს.
მუშაობს თუ არა Tokenizer ARM-ზე (Windows on Arm)?
ARM64 ვერსია არ არის; Windows 11 on Arm-ს შეუძლია ემულაციით გაუშვას ვერსია: 64-ბიტიანი.
შეიძლება თუ არა Tokenizer ადმინისტრატორის უფლებების გარეშე გამოვიყენოთ?
დიახ, ის პორტატულია: გახსენით არქივი და გაუშვით.
რა ალტერნატივები არსებობს პროგრამისთვის Tokenizer?
Codex CLI, Claude Code, ChatGPT, GPT4All და Jan. ალტერნატივების გვერდზე ისინი შედარებულია.
