Цели:
определить, какой метод запрета индексации приоритетней для поисковых систем;
понаблюдать в динамике за скоростью удаления страниц из индекса;
собственно, удалить проекты из баз ПС.
В эксперименте участвовало 2 сайта (всем больше года). Первый: в индексе Яндекса 3000 страниц, Google — 2090. Второй: Яндекс — 734, Google — 733. Если не удалять ресурс с хостинга, то остаются 2 популярных варианта: тег meta name=»robots» и запрет в robots.txt.
Для первого сайта на каждой странице была добавлена строка:
<meta name=»robots» content=»noindex, nofollow»/>
Для второго был составлен следующий robots.txt:
User-agent: *
Disallow: /
Эксперимент стартовал 14 декабря и продолжился до 9 мая.
Выводы
Яндекс любит больше работу с robots.txt;
Google любит больше работу с meta name=»robots». В связи с тем, что Гугл крайне не любит robots.txt, то универсальным будет именно способ с тегом. Совмещать методы нельзя, потому как, запретив ресурс в robots.txt, поисковый паук не сможет прочитать правила для meta name=»robots».
Зеркало Рунета достаточно быстро удаляет документы при любом методе. Зарубежный поисковик делает это неохотно — очень тяжело добиться полного удаления из базы. http://sosnovskij.ru/kak-bystro-udalit-sajt-iz-indeksa/ #продвижение
Присоединяйтесь — мы покажем вам много интересного
Присоединяйтесь к ОК, чтобы подписаться на группу и комментировать публикации.
Нет комментариев