Populært: Data opdateret 27. oktober 2026

Kategorier

Internet1.356
Kommunikation321
Lyd og video898
Grafik og design539
Kontor og produktivitet1.124
Udviklerværktøjer3.134
AI-værktøjer529
Sikkerhed og privatliv385
Systemværktøjer3.114
Spil523
Uddannelse og videnskab239
Netværk og IT284

Download Tokenizer 1.3.3

Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.

Dette er den nyeste version. · Udgivet:

Installationsfiler 1.3.3

ArkitekturTypeOmfangFilstørrelseDownloadSHA256
64-bit ZIP → Portabel — — github.com VirusTotal

Link og SHA256 stammer fra fællesskabets manifest i Windows Package Manager. Sammenlign hashen for den downloadede fil, før du kører den.

Mest populære i AI-assistenter og LLM

Se alle
  1. Claude CodeAI-assistenter og LLM · Anthropic PBC
  2. Codex CLIAI-assistenter og LLM · OpenAI, Inc.
  3. ChatGPTAI-assistenter og LLM · lencx
  4. GPT4AllAI-assistenter og LLM · Nomic
  5. JanAI-assistenter og LLM · Jan
  6. WSL ManagerAI-assistenter og LLM · Bostrot
  7. oh-my-piAI-assistenter og LLM · Can Bölük
  8. T3 CodeAI-assistenter og LLM · T3 Tools
  9. CC SwitchAI-assistenter og LLM · farion1231
  10. LobeHubAI-assistenter og LLM · LobeHub

Mere fra Microsoft Corporation

Se alle
  • PowerShellTerminaler og CLI-værktøjer · Microsoft Corporation
  • PowerToysTilpasning · Microsoft Corporation
  • NuGetPakkeadministratorer og opdateringsværktøjer · Microsoft Corporation
  • Microsoft Azure CLITerminaler og CLI-værktøjer · Microsoft Corporation
  • OpenSSH PreviewFTP og filoverførsel · Microsoft Corporation
  • Bicep CLISprog og SDK’er · Microsoft Corporation

Tags

Del