Google хочет сделать Robots Exclusion Protocol (REP) официальным веб-стандартом.

Четверть века он считался стандартом неофициальным, поэтому разработчики интерпретировали его по-своему.
Теперь компания задокументировала, как REP используется в современном вебе и подала спецификацию на рассмотрение в IETF (Internet Engineering Task Force).
Что это за протокол?
Robots Exclusion Protocol позволяет закрывать от поисковых роботов часть файлов на сервере. Исключения веб-мастеры прописывают в файле robots.txt, который хранится на том же сервере.
Google также открыла исходный код библиотеки C++, которая парсит файлы robots.txt. В этой библиотеке есть части кода, написанные ещё в девяностых: https://tprg.ru/hl6x Подробнее в блоге Google для веб-мастеров: https://tprg.ru/f6Ob