huggingface/tokenizers

**huggingface/tokenizers** — это высокопроизводительные токенизаторы, написанные на Rust и активно поддерживаемые сообществом (10 723 ★, более 1 000 форков). Их