Tokenizer — აქ ჩამოთვლილია 1 ვერსია: პირველი 29 დეკემბერი, 2025, მიმდინარე 1.3.3. თითოეული ვერსია გამომცემლის საკუთარ საინსტალაციო ფაილზე მიუთითებს.
| ვერსია | თარიღი | ზომა | ფაილები |
|---|---|---|---|
| 1.3.3უახლესი | 29 დეკემბერი, 2025 | — | 64-ბიტიანი ZIP |
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Tokenizer — აქ ჩამოთვლილია 1 ვერსია: პირველი 29 დეკემბერი, 2025, მიმდინარე 1.3.3. თითოეული ვერსია გამომცემლის საკუთარ საინსტალაციო ფაილზე მიუთითებს.
| ვერსია | თარიღი | ზომა | ფაილები |
|---|---|---|---|
| 1.3.3უახლესი | 29 დეკემბერი, 2025 | — | 64-ბიტიანი ZIP |