Итак, приближается экватор — до закрытия сабмитов осталось чуть больше двух недель.

А значит пришло время для предварительных итогов и рефлексии.
Задача нашего хакатона оказалась крепким орешком — многие сабмиты не проходят установленный минимальный порог. Поэтому тем, кто откладывает сабмит на последнии дни по стратегическим ли соображениям или надеясь «запилить все за ночь по быстрому», мы советуем не тянуть.
Наше базовое решение является хорошим стартом и позволяет, с небольшими улучшениями, пройти порог и выйти на уровень 67-69, но для выхода на более высокий уровень необходим критический пересмотр практически всех его аспектов: и формирования обучающего множества, и набора признаков, и модели с её порогом, и построения итогового файла. Не позволяйте «бэйзлайну» стать вашим якорем.
Советуем обратить внимание на букет «отягчающих» обстоятельств, снижающих эффективность привычных методов машинного обучения. Набор данных не сбалансирован и содержит большое количество отрицательных примеров, которые склоняют модель слишком часто говорить «нет». При этом задача, по условиям конкурса, является задачей ранжирования, а не задачей классификации или регрессии, тогда как известно, что относительно небольшие ошибки регрессии могут приводить к существенному падению метрик качества ранжирования.
Тем не менее сабмиты последних дней показали насколько высоко можно поднять планку и, надеемся, вызывали немалый всплеск адреналина у участников (особенно с учетом того, что 15 призовых билетов на АИСТ подходят к концу ;)).
Такая динамика значений результатов показывает, что самое интересное только начинается :)
Ждем ваших сабмитов и желаем всем участникам успехов в покорения новых высот!