Contains Typescript and C# implementation of byte pair encoding (BPE) tokenizer for OpenAI LLMs, it is based on open sourced rust implementation in the OpenAI tiktoken.
Περιγραφή του εκδότη (Αγγλικά)
Τι είναι το Tokenizer;
Το Tokenizer είναι πρόγραμμα ανοιχτού κώδικα για Windows στην κατηγορία «Βοηθοί AI και LLM». Εκδότης: Microsoft Corporation. Γλώσσα προγραμματισμού: C#.
Εγκατάσταση και απαιτήσεις
Υπάρχουν επίσημα αρχεία εγκατάστασης για 64-bit σε μορφή Φορητό. Λειτουργεί χωρίς εγκατάσταση (φορητή έκδοση).
Δημοτικότητα και τύποι αρχείων
Ο πηγαίος κώδικας στο GitHub (microsoft/Tokenizer) έχει 212 αστέρια. Παρόμοια προγράμματα: Codex CLI, Claude Code και ChatGPT.
Περιγραφή του έργου στο GitHub: “Typescript and .NET implementation of BPE tokenizer for OpenAI LLMs.”
Πλεονεκτήματα / Μειονεκτήματα
Πλεονεκτήματα
- Ανοιχτός κώδικας: ο καθένας μπορεί να τον ελέγξει και να τον μεταγλωττίσει
- Φορητό: λειτουργεί χωρίς εγκατάσταση
Μειονεκτήματα
- Δεν υπάρχει εγγενής έκδοση ARM64
Συνοπτικά: Το Tokenizer είναι εργαλείο ανοιχτού κώδικα της κατηγορίας «Βοηθοί AI και LLM» για υπολογιστές 64-bit.
Είναι ασφαλής η λήψη του Tokenizer;
- Το αρχείο διατίθεται από το github.com, τον τομέα του ίδιου του εκδότη
- Ο σύνδεσμος λήψης χρησιμοποιεί HTTPS
- Δημοσιεύεται hash SHA256, οπότε μπορείτε να επαληθεύσετε το αρχείο:
E0F039C6521FB7A4E3013386CD60ED64FB44AD9CAB74BBE7D744B60D1AFD5CE4· Άνοιγμα της αναφοράς VirusTotal για αυτό το hash - Ο σύνδεσμος δεν έχει ελεγχθεί ακόμη
- Ο πηγαίος κώδικας είναι δημόσιος
- Το ExeAtlas δεν φιλοξενεί, δεν τυλίγει και δεν τροποποιεί αρχεία εγκατάστασης
Σχετικός οδηγός: Έλεγχος SHA256 αρχείου στα Windows
Πρόσφατες εκδόσεις
Η μία έκδοση ›| Έκδοση | Ημερομηνία | Μέγεθος | Αρχεία |
|---|---|---|---|
| 1.3.3Τελευταία | 29 Δεκεμβρίου 2025 | — | 64-bit ZIP |
Εγκατάσταση από τη γραμμή εντολών
Αθόρυβη εγκατάσταση ›winget install --id Microsoft.Tokenizer -eΣχετικός οδηγός: Οδηγός winget: εγκατάσταση και ενημέρωση προγραμμάτων
Πληροφορίες
- Εκδότης
- Microsoft Corporation
- Κατηγορία
- Βοηθοί AI και LLM
- Άδεια
- MIT
- Τιμή
- Δωρεάν
- Πηγαίος κώδικας
- github.com/microsoft/Tokenizer
- Γλώσσα προγραμματισμού
- C#
- Απαιτήσεις
- Windows 11 / 10
- Αρχιτεκτονική
- 64-bit
- Αρχείο εγκατάστασης
- Φορητό
- Έκδοση
- 1.3.3
- Κυκλοφορία
- 29 Δεκεμβρίου 2025
- Προστέθηκε στον κατάλογο
- 29 Δεκεμβρίου 2025
- Καταγεγραμμένες εκδόσεις
- 1
- Αστέρια GitHub
- 212
- Forks στο GitHub
- 36
- Ιστότοπος
- github.com
- Αναγνωριστικό winget
- Microsoft.Tokenizer
Βαθμολογίες και κριτικές
Δεν υπάρχουν ακόμη κριτικές. Γίνετε οι πρώτοι που θα βαθμολογήσουν.
Εναλλακτικά του Tokenizer
Όλα ›-
Ανοιχτού κώδικα16,6 χιλ. ↓ -
Κλειστού κώδικα67,1 χιλ. ↓ -
Ανοιχτού κώδικα17,1 χιλ. ↓ -
Ανοιχτού κώδικα8,7 χιλ. ↓ -
Ανοιχτού κώδικα3,3 χιλ. ↓ -
Ανοιχτού κώδικα654 ↓ -
Ανοιχτού κώδικα1,9 χιλ. ↓ -
Ανοιχτού κώδικα14 χιλ. ↓
Συχνές ερωτήσεις
Είναι δωρεάν το Tokenizer;
Ναι. Το Tokenizer είναι λογισμικό ανοιχτού κώδικα με άδεια MIT και η λήψη και η χρήση του είναι δωρεάν.
Είναι ασφαλής η λήψη του Tokenizer;
Το αρχείο κατεβαίνει από το github.com, που ανήκει στον εκδότη· το ExeAtlas δεν φιλοξενεί ούτε τροποποιεί το αρχείο. Συγκρίνετε το hash SHA256 του αρχείου με αυτό που εμφανίζεται εδώ ή ανοίξτε την αναφορά VirusTotal για αυτό το hash.
Πώς εγκαθίσταται το Tokenizer με το winget;
Ανοίξτε το PowerShell ή το Windows Terminal και εκτελέστε την εντολή winget που εμφανίζεται σε αυτή τη σελίδα. Το winget κατεβάζει το επίσημο αρχείο εγκατάστασης και ελέγχει το hash SHA256 πριν το εκτελέσει.
Λειτουργεί το Tokenizer σε ARM (Windows on Arm);
Δεν υπάρχει έκδοση ARM64· τα Windows 11 on Arm μπορούν να εκτελέσουν την έκδοση 64-bit μέσω εξομοίωσης.
Μπορώ να χρησιμοποιήσω το Tokenizer χωρίς δικαιώματα διαχειριστή;
Ναι, είναι φορητό: αρκεί να το αποσυμπιέσετε και να το εκτελέσετε.
Ποια είναι τα εναλλακτικά του Tokenizer;
Codex CLI, Claude Code, ChatGPT, GPT4All και Jan. Η σελίδα εναλλακτικών τα συγκρίνει.
