🎯 МЕТАТЕГ ROBOTS И HTTP-ЗАГОЛОВОК X-ROBOTS-TAG

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:
👉🏻 прописать метатег robots в HTML-коде страницы в элементе head;
👉🏻 настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.
Поддерживаемые Яндексом директивы
✅ noindex - Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.
✅ nofollow - Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.
✅ none - Соответствует директивам noindex, nofollow.
✅ noarchive - Не показывать ссылку на сохраненную копию в результатах поиска.
✅ noyaca - Не использовать сформированное автоматически описание.
✅ index | follow | archive - Отмена соответствующих запрещающих директив.
✅ all - Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице.
Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.
Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.
Пример: 💥
Вы можете указать директивы через запятую.
<meta name="yandex" content="noindex, nofollow" />
Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки
на сохраненную копию страницы.-->
Надеюсь, 📢Вам была полезна данная статья
#seo #seoпродвижениесайта #вебмастер #разкруткасайта #сайтподключ #продвижениесайта #оптимизациясайта