Как ЯRUS ежедневно собирает более 56 000 новостей из источников и выбирает из этого самое интересное

Где и как организовать удобную новостную ленту, которая бы имела максимально широкий охват источников, но при этом выдавала бы из них только интересные конкретному пользователю материалы?
Ежедневно агрегатор мониторит около 10 тысяч новостных ресурсов и собирает не менее 56 000 новостей для парсинга.. При этом в ленте отображаются не только заголовки, но и лид, что дает возможность быстро оценить, стоит ли открыть новость и продолжить чтение или же листать дальше.
Но собрать новости с ресурсов — это лишь полдела. Важно показать пользователю только действительно важные и обсуждаемые публикации, чтобы сформировать верное представление об актуальной повестке дня.
Каждую из этих задач решает отдельная лента.
«Тренды» — в ней юзер видит актуальный срез новостей, которые волнуют общественность на данный момент больше всего. Чтобы новость попала в топ, она должна соответствовать ряду критериев. Во-первых, учитывается посещаемость оригинального источника — чем качественнее новостной ресурс, тем больше у него вес и тем больше вероятность, что его материалы попадут в тренды. Во-вторых, важна дата публикации — у старого материала мало шансов появиться в топе. Также большую роль играет цитируемость, т. е. частота появления того или иного сюжета в медиаполе.
«Интересы» — ее пользователь может настроить так, как ему удобно, а наполнение происходит уже не на основе популярности новостного сюжета, а на том, как сильно публикация соответствует заданным интересам юзера.
Следующий этап развития раздела — тегировать каждую новость по темам, чтобы собрать объемную базу дополнительной внутренней уточняющей информации, на основе которой алгоритм будет еще точнее сортировать новости по категориям. А планируется это сделать в одном из ближайших релизов.