Системы мониторинга цен: необходимость, процесс и стоимость создания

Практически каждый интернет-магазин, торгующий в высококонкурентной среде рано или поздно задумывается о построении системы мониторинга цен (СМЦ). Без информации о рынке (ценах конкурентов) сложно организовать эффективный, контролируемый и регулярный процесс оценки и переоценки товаров.
Мы попробуем разобраться, какой должна быть эффективная СМЦ и какие ресурсы нужны для её разработки.
- - - - - - - - - На чем строится эффективная СМЦ? - - - - - - - - -
Эффективная система мониторинга цен умеет:
собирать данные;
обрабатывать и хранить их;
представлять информацию пользователям.
Давайте рассмотрим подробнее каждый из перечисленных процессов.
- - - - - - - - - Сбор данных - - - - - - - - -
Это самый важный процесс в системе мониторинга цен. Прежде чем браться за разработку такого механизма, стоит задать себе два вопроса: откуда будут поступать данные и какой метод сбора будет использован.Ответы помогут определить примерные затраты на разработку системы сбора данных.
Есть два основных пути получения данных о ценах и три метода сбора этой информации.
Источники данных:
- прайс-площадки;
- сайты интернет-магазинов;
- - - - - - - - - Методы сбора информации - - - - - - - - -
Ручной сбор информации сейчас можно встретить только в очень небольших интернет-магазинах, которые больше напоминают хобби чем, реальный бизнес.
Программа-парсер + специалист для обработки данных - более распространенное решение. Оно эффективно только в тех случаях, когда интернет-магазин торгует в довольно “спокойном” товарном сегменте, где практически отсутствуют внезапные скачки или сезонное изменение цен. Здесь достаточно сверить цены с рынком один-два раза в месяц и выбрать свою стратегию ценообразования.
Автоматизированное решение необходимо интернет-гипермаркетам, магазинам с большим ассортиментом и множеством товарных категорий, а также средним и даже мелким магазинам, которые работают в высококонкурентной среде, где каждый день нужны актуальные данные. В таких случаях своевременная оптимизация цен и стратегии ценообразования становятся серьезным конкурентным преимуществом. Время и качество переоценки играют серьезную роль, поэтому требуется мощные, эффективные и легкие в освоении инструменты. Их задача - дать возможность пользователям сконцентрироваться на принятии решений об изменениях цен, а не на процессе получения данных.
- - - - - - - - - Выбор источника данных - - - - - - - - -
- - - - - - - - - Прайс-площадки - - - - - - - - -
Самый простой и сравнительно недорогой источник информации о ценах интернет-магазинов. Некоторые из них даже представляют API для работы с данными, но обычно интеграция с ними имеет ряд ограничений:
на каждой площадке доступны только на те данные, которые другие интернет-магазины для нее предоставили. К примеру, крупные магазины работают с прайс-площадками далеко не по всем товарным категориям, и по плавающему проценту ассортимента. Также с этими данными тяжело объективно оценивать наличие товаров у конкурентов и их акционные предложения, т.к. прайс-площадки могут и не обладать информацией о проводимых магазином акциях.
Непрозрачный регламент обновления цен: даже если вы собираете данные в нужное для вас время, прайс-площадка имеет свой регламент обновления данных, что существенно снижает уровень доверия к данным, например, в ситуациях со скачками курса валюты.
Если вы работаете не через API площадки, то как правило, ваши запросы будут блокироваться и нужно придумывать, как обходить эти блокировки.
Даже при работе через API есть ограничения по скорости и количеству запросов. Например, у API “Яндекс.Маркета” ограничения - до 8 запросов в секунду, то есть для того, чтобы собрать информацию о ценах на 5 000 товаров у 10 магазинов, нужно послать порядка 50 000 запросов что займет более 1 часа только на сбор данных.
Сбор данных через посредника (прайс-площадку) выбирают магазины с небольшим ассортиментом и низкой частотой изменения цен. Также этот подход удобен для товарных категорий со сравнительно редкой переоценкой товаров, таких как: сад огород, все для дома, мебель, канцелярия, hi-fi акустика и др. Но стоит обратить внимание на то, что часть таких категорий может не отгружаться на площадку вообще и тогда этот источник данных не будет подходить интернет-магазину в целом.
- - - - - - - - - Плюсы - - - - - - - - -
низкая стоимость реализации;
иногда существует API для работы;
упрощен процесс сопоставления товаров.
- - - - - - - - - Минусы - - - - - - - - -
данные “отстают” по времени;
для подключения API может потребоваться подключение к сервису;
зависимость от работы API агрегатора и его политики в сфере предоставления информации по API.
Сбор данных непосредственно с сайтов интернет-магазинов
Данные, полученные напрямую от интернет-магазина, максимально точны и достоверны. Но построение и поддержка инфраструктуры для подобного сбора информации из разных источников подразумевают различные технические сложности, особенно если требуется сбор цен с определенной частотой.
Первый и самый важный вопрос, который требуется постоянно решать - это сопоставление вашей товарной матрицы с конкурентами. При работе с прайс-площадками этот вопрос в некоторых случаях решается путем относительного сопоставления (мы знаем ссылку на свою карточку на прайс-агрегаторе и сопоставляем нашу цену со всеми ценами других магазинов на этой карточке). При работе напрямую с магазинами необходимо самостоятельно (вручную или автоматически) сопоставлять товары и цены. Этот процесс довольно непростой, и добиться достаточного качества и скорости удается далеко не всем.
Универсальное решение для сбора информации о цене, ассортименте и акциях на товары (парсинга) для любого интернет-магазина - это скорее миф, чем реальность. Магазины имеют разную структуру каталогов, верстки, способов предоставления информации об акциях и наличии товара. Поэтому механизмы сбора информации нужно адаптировать под каждый из её источников, постоянно поддерживая актуальность.
Решение по сбору информации напрямую из источников, как правило, выбирают магазины с плотной конкурентной средой и динамически изменяющимся рынком (ценами). Этот подход практически лишен всех минусов работы с прайс-агрегаторами, но содержит ряд технических трудностей, которые не каждому под силу решить. Прямой доступ к ценам конкурентов обычно выбирают магазины, способные превращать оперативную информацию о рынке в конкретное конкурентное преимущество и деньги. Что касается категорий товаров, то как можно более актуальная информация о рынке необходима для: электроники, компьютерной техники, крупной и мелкой бытовой техники, инструментов, сезонных товаров, часов, аксессуаров и пр.
Плюсы
отсутствие зависимости от политики прайс-агрегаторов и их API;
высокое качество данных и скорость мониторинга, по сравнению с альтернативными решениями;
возможность отслеживать также ассортимент, наличие акций и другие данные в зависимости от конфигурации системы.
Минусы
сложность реализации самого решения;
высокая стоимость поддержки;
сложность сопоставления товарных матриц.
Эффективная автоматизированная система мониторинга цен должна быть спроектирована таким образом, что бы не заставлять конечных пользователей заглядывать “под капот”. Важная ее часть - регламентный сбор и хранение информации по выбранному расписанию. Не стоит вынуждать пользователя вручную запускать сбор данных.
В зависимости от выбранного решения, понадобится как минимум один-два специалиста на полную или частичную занятость для сопровождения процесса сбора информации и поддержки работы сборщиков, адаптации под изменения и противодействия блокировкам.
- - - - - - - - - Обработка и хранение информации - - - - - - - - -
Следующий не менее важный процесс (даже группа процессов) в построении собственной системы мониторинга цен - это обработка и хранение собранных данных. Нужно построить взаимодействие таким образом, чтобы вы могли полностью полагаться на собранные данные, их актуальность и полноту, иначе вы рискуете навредить своему бизнесу.
На этапе обработки собранной информации СМЦ должна достаточно качественно классифицировать собранные данные и регулярно сопоставлять новые товары.
Организация процесса обработки и хранения данных требует хорошо отлаженного механизма и постоянного контроля со стороны разработчиков, а также инфраструктуры для регулярного сбора и хранения данных.
- - - - - - - - - Представление информации - - - - - - - - -
Один из заключительных процессов, который стоит решить при проектировании СМЦ, - это каким образом будут представляться данные конечным пользователям. Здесь нужно понимать, насколько данные о рынке и ежедневная переоценка критичны для вашей сферы. Из точки А в точку Б можно попасть пешком, а можно прилететь чартерным рейсом, вопрос только в целесообразности затраченных ресурсов по отношению к полученному результату. Поэтому важно верно определить необходимый уровень визуализации и анализа данных, а далее уже проектировать решение, которое обеспечит этот уровень.
Если ассортимент магазина невелик и вам достаточно получать на e-mail консолидированные отчеты в виде XLS таблиц в виде отчетов на почту, эту задачу смогут решить ваши штатные программисты. Если нужна интеграция с 1С (или другой ERP), тогда будет нужно периодическое привлечение программистов, специализирующихся на вашей ERP.
И наконец, вам понадобится организовать небольшую команду программистов для проектирования, разработки, и тестирования СМЦ, если:
вы нуждаетесь в очень гибкой СМЦ для комфортной работы категорийных менеджеров, руководителей магазина, отдела закупки и маркетологов;
вы работаете в высококонкурентной нише;
вас интересует высокая частота обновления цен;
вам нужна оптимизация ежедневной работы с большими массивами информации;
необходимо построение отчетности на разных уровнях товарной матрицы.
* * *
Реализация собственной СМЦ и ее поддержка - это процесс, который требует постоянного внимания, значительных затрат времени и должного финансирования.
Эффективная СМЦ в зависимости от ниши и потребностей в части представления данных может быть реализована как одним-двумя разработчиками, так и командой из 5-7 человек. Также иногда придется привлекать других сотрудников магазина или подрядчиков для сопоставления товаров.
Стоимость разработки собственной СМЦ в зависимости от выбранного подхода может колебаться от 2 500 до 10 000$ разовых затрат на проектирование и разработку первой версии продукта и порядка 1 000 - 8 000$ на ежемесячную поддержку системы мониторинга цен.