The problem with standard tokenizers

Стандартные токенизаторы не справляются с романским урду из-за нестандартной орфографии и смешения языков. Создан DFA‑токенизатор, который нормализует ввод, кла