Tokenizer மென்பொருளின் 1 பதிப்புகள் இங்கே உள்ளன: 29 டிசம்பர், 2025 முதல் தற்போதைய 1.3.3 வரை. ஒவ்வொன்றும் வெளியீட்டாளரின் சொந்த நிறுவிக் கோப்புகளுக்கு இணைப்பு தருகிறது.
| பதிப்பு | தேதி | அளவு | கோப்புகள் |
|---|---|---|---|
| 1.3.3சமீபத்தியது | 29 டிசம்பர், 2025 | — | 64-பிட் ZIP |
Tokenizer பழைய பதிப்புகள் – அனைத்துப் பதிப்புகளும்
Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
- உரிமம்ஓப்பன் சோர்ஸ்
- பதிப்பு1.3.3
- தேவைWindows 10, 11
- வெளியான தேதி29 டிசம்பர், 2025
- GitHub ஸ்டார்கள்★ 212
AI உதவியாளர்கள் மற்றும் LLM பிரிவில் மிகப் பிரபலமானவை
அனைத்தையும் பார்க்க-
Claude CodeAI உதவியாளர்கள் மற்றும் LLM · Anthropic PBC -
Codex CLIAI உதவியாளர்கள் மற்றும் LLM · OpenAI, Inc. -
ChatGPTAI உதவியாளர்கள் மற்றும் LLM · lencx -
GPT4AllAI உதவியாளர்கள் மற்றும் LLM · Nomic -
JanAI உதவியாளர்கள் மற்றும் LLM · Jan -
WSL ManagerAI உதவியாளர்கள் மற்றும் LLM · Bostrot -
oh-my-piAI உதவியாளர்கள் மற்றும் LLM · Can Bölük -
T3 CodeAI உதவியாளர்கள் மற்றும் LLM · T3 Tools -
CC SwitchAI உதவியாளர்கள் மற்றும் LLM · farion1231 -
LobeHubAI உதவியாளர்கள் மற்றும் LLM · LobeHub
Microsoft Corporation வழங்கும் பிற மென்பொருள்கள்
அனைத்தையும் பார்க்க
PowerShellடெர்மினல்கள் மற்றும் CLI கருவிகள் · Microsoft Corporation
PowerToysதனிப்பயனாக்கம் · Microsoft Corporation
NuGetபேக்கேஜ் மேனேஜர்கள் மற்றும் அப்டேட்டர்கள் · Microsoft Corporation
Microsoft Azure CLIடெர்மினல்கள் மற்றும் CLI கருவிகள் · Microsoft Corporation
OpenSSH PreviewFTP மற்றும் கோப்புப் பரிமாற்றம் · Microsoft Corporation
Bicep CLIநிரலாக்க மொழிகள் மற்றும் SDK · Microsoft Corporation