Подменённые буквы и невидимые символы в тексте

Три способа подмены, которые встречаются в чатах

• Буквы-двойники (гомоглифы). Латинские a c e o p x y и греческие α ε ο ρ τ неотличимы от кириллических. Самый частый случай.
• Другие начертания того же алфавита. Математические жирные и рукописные буквы, капитель — отдельные символы Unicode, которые выглядят как обычные. В нашем замере такие тексты рассылали по 15 чатам сразу.
• Невидимые символы. Между буквами вставляется zero-width пробел: на экране слово целое, для программы это два куска.

Сколько этого в жизни

Мы разобрали 1308 текстов, которые рассылались одновременно в два и более чата из 139 прочитанных. 174 из них — примерно каждый восьмой — написаны подменёнными буквами.

Показательнее другое. Наш собственный разборщик, который раскладывал рассылки по темам, сначала сравнивал текст как есть — и 61% отправил в «прочее». Среди них были десятки объявлений Paccылки пo тeмaтичecким чaтaм — слово «рассылка» в них не встречается ни разу. После свёртки двойников нашлись ещё 24 массовые рассылки. Так что спотыкается на этом не только чужой бот.

Как с этим борются

Текст приводят к сравнимому виду до проверки по списку, в три шага:

1. Нормализация Unicode (NFKC) — она разбирает математические начертания и полноширинные буквы.
2. Удаление служебных и невидимых символов.
3. Свёртка двойников: кириллица и греческий приводятся к латинице по таблице похожих начертаний.

Только после этого текст сравнивается со списком слов. Порядок важен: свёртка до нормализации оставит математические начертания нетронутыми.

Обратная сторона: ложные срабатывания

Свёртка работает в обе стороны, и об это легко удариться. Если свернуть кириллицу в латиницу и держать в списке короткую основу еб, она превратится в eb и начнёт удалять безобидное английское ebook. Поэтому короткие основы в списках слов опасны, а проверять новый список нужно на своей же истории чата, а не на выдуманных примерах.