Hér er skráð 1 útgáfa af forritinu Tokenizer, frá 29. desember 2025 til núverandi útgáfu 1.3.3. Hver þeirra vísar á uppsetningarskrár útgefandans sjálfs.
| Útgáfa | Dagsetning | Stærð | Skrár |
|---|---|---|---|
| 1.3.3Nýjasta | 29. desember 2025 | — | 64 bita ZIP |
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Hér er skráð 1 útgáfa af forritinu Tokenizer, frá 29. desember 2025 til núverandi útgáfu 1.3.3. Hver þeirra vísar á uppsetningarskrár útgefandans sjálfs.
| Útgáfa | Dagsetning | Stærð | Skrár |
|---|---|---|---|
| 1.3.3Nýjasta | 29. desember 2025 | — | 64 bita ZIP |