Яндекс.

Вебмастер позволит настроить скорость обхода сайта поисковым роботом
Яндекс анонсировал появление нового инструмента.
В разделе «Индексирование» Вебмастера появилась новая функция – «Скорость обхода». Данный функционал позволяет регулировать частоту, с которой Яндекс может делать запросы к сайту.
Пользователь сможет выбрать один из двух вариантов регулировки скорости обхода ресурса.
В том случае, когда владелец сайта имеет предпочтения по ограничению частоты запросов, он может задать индивидуальную скорость обхода.
Если таких предпочтений нет, он может выбрать значение «Доверить Яндексу». Поисковик автоматически установит максимальную скорость обхода для каждого ресурса, учитывая нагрузки на сервер по умолчанию.
Учитывать настройки скорости обхода ресурса ботом Яндекс начнет с 22 февраля 2018 года. Однако задать необходимые параметры можно уже сейчас.
Стоит отметить, что вместе с появлением данного функционала в Вебмастере, необходимость в аналогичной директиве Crawl-delay в файле robots.txt отпала и Яндекс заявил об отказе от нее.