Интеграция с крупными сервисами позволила нам стремительно нарастить покрытие в топовых рубриках «Поесть», «Красота», «Гостиницы» и предоставить пользователям 2ГИС доступ к актуальным витринам популярных фирм города.

Самыми сложными были первые шаги и исследования. Мы проводили много экспериментов по извлечению товаров с сайтов на ограниченной выборке фирм. Это позволило на раннем этапе вскрыть и обработать критичные риски — хватит ли нам аппаратных ресурсов? Устроит ли качество данных? Реально ли проверить собранные данные силами отдела контента? В результате, мы нашли компромиссы, улучшили алгоритмы и получили план на год по приросту витрин от парсинга. И вместе с ним — список необходимых для нас доработок. Дальше — проще. Главное — держать руку на пульсе и проверять, все ли идёт по плану и вовремя адаптироваться под изменения.

Постоянных задач по качеству было две: найти, где на сайте есть товары, и извлечь товары страницы. Проверяли гипотезы, искали закономерности. Где-то удавалось вычленять информацию благодаря css-классам: например, description или price. Но не всегда: на других примерах приходилось искать фразы и классифицировать их — товар это или нет, а рядом искать цены. Это требовало обучения классификатора, подготовки данных для него и зависело от тематики: если обучаться на еде, с автозапчастями могут быть проблемы. Не пытайтесь употреблять гайки! Весь парсинг — это эксперимент и попытка найти логику, когда материал слишком разный и кастомизированный по-своему.

Сложности добавляло то, что при бо́льших усилиях в процессе модерации нам нельзя сбавлять темпы прироста. Мы быстро поняли, где можем потратить наименьшие усилия и принести больше пользы. Спустя несколько экспериментов и чётко определив приоритеты, добавили в 2ГИС довольно уникальные витрины. Например, стоимость услуг в студиях звукозаписи, дизайне рекламы или бухгалтерских услуг для бизнеса.