Այստեղ ներկայացված է Tokenizer ծրագրի 1 տարբերակ (առաջինը՝ 29 դեկտեմբերի, 2025 թ., ընթացիկը՝ 1.3.3)։ Յուրաքանչյուրը հղում ունի մշակողի տեղադրման ֆայլերին։
| Տարբերակ | Ամսաթիվ | Չափ | Ֆայլեր |
|---|---|---|---|
| 1.3.3Վերջինը | 29 դեկտեմբերի, 2025 թ. | — | 64-բիթ ZIP |
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Այստեղ ներկայացված է Tokenizer ծրագրի 1 տարբերակ (առաջինը՝ 29 դեկտեմբերի, 2025 թ., ընթացիկը՝ 1.3.3)։ Յուրաքանչյուրը հղում ունի մշակողի տեղադրման ֆայլերին։
| Տարբերակ | Ամսաթիվ | Չափ | Ֆայլեր |
|---|---|---|---|
| 1.3.3Վերջինը | 29 դեկտեմբերի, 2025 թ. | — | 64-բիթ ZIP |