Токенизатор

Токенизатор (лексер, лексический анализатор) — программа, которая разбивает исходное выражение на отдельные части — лексические единицы, лексемы, или токены.

Общая информация

Существует достаточно много токенизаторов, и каждый из них имеет свои «светлые» и «темные» стороны. Одни из них лучше справляются с определенными типами текстовых данных, а другие — с какими‑то ещё.

Бывают токенизаторы:

• основанные на обработке слов (word-based)
• основанные на обработке символов (character-based)

Популярные токенизаторы

• NLTK (Natural Language Toolkit)
• SpaCy
• Gensim

Прежде чем выбирать конкретный токенизатор, важно протестировать его работу на конкретных данных.

Иногда один токенизатор не может обеспечить наилучшие результаты для всех типов текстовых данных. В таких случаях может быть полезно использовать несколько для одной задачи. Например, можно применить один токенизатор для текстов с многофразовыми выражениями и идиомами, а другой — для научных текстов.

См.также

• Токенизация
• Токенайзер