Вы уже знаете, что мы в 2ГИС не просто показываем отзывы — мы стараемся сделать пользовательский опыт честным, безопасным и экологичным как для пользователей, так и для бизнеса.

Ранее мы рассказывали, как делали словарь для премодерации мата, а после взяли из него лучшее и построили ML-модель, которая в реальном времени реагирует на подозрительные слова, в том числе креативно зашифрованные, например, «с0бака» (через ноль) или «дурааааа».

Сейчас мы сделали следующий шаг в этом направлении и улучшили старую ML-модель.

Что изменилось

Мы серьёзно прокачали модель, чтобы она не просто находила ненормативную лексику, но и надёжно распознавала самые разные формы её маскировки на русском языке: эмодзи, сокращения, звёздочки, знаки препинания и латиницу. Всё это — по-прежнему в реальном времени, ещё до публикации отзыва.

Примеры таких «творений»:

Как работает улучшение

Мы полностью отключили обязательную проверку языка. Раньше она часто ломалась на коротких и необычно оформленных отзывах — с эмодзи, маскировками и пр. Зато теперь ловим такие случаи более надёжным способом.

Улучшили постобработку: теперь, если в тексте был замаскированный мат, мы показываем его пользователю максимально понятным образом и объясняем, что именно нарушено.

Ещё повысили полноту, то есть долю найденных нарушений среди всех возможных, на 18,2 п.п. по сравнению с предыдущей моделью — с 81 % до 99,2 %. Это серьёзное повышение, которое напрямую влияет на чистоту пользовательского контента.

Что это дало

Мы по-прежнему показываем пользователю в реальном времени, какие слова нарушают правила, и предлагаем переформулировать отзыв.

Теперь ежедневно предотвращаем 2800–3000 оскорбительных отзывов — вместо ~1500 с моделью предыдущей версии.

При этом не потеряли в точности: модель не слишком жёсткая и банит только то, что действительно нарушает правила.

Что дальше

Мы уже неплохо научились определять явные и замаскированные оскорбления — с этим эффективно справляется автоматика. Но пользовательский контент не стоит на месте: появляются новые способы выражать агрессию, а отзывы с нецензурной лексикой приходят не только на русском.

Следующий шаг — учиться лучше понимать контекст, чтобы находить токсичные высказывания даже без мата. Отзыв «Тут вкусно, но пекарь — шлепок майонезный, бегает за всеми…» формально не содержит нарушений, но по сути это оскорбление. Человек легко его распознает, а машина скоро научится.

Также будем активно смотреть в сторону мультиязычной поддержки. Уже сейчас часть негативных отзывов приходит на иностранном языке, и наша цель — научиться реагировать на них так же точно, как и на русском.