Дубли страниц - что это и как бороться?

Одной из самых распространенных ошибок оптимизации и головной боли вебмастеров является наличие на сайте страниц-дублей😨 Как известно, поисковики любят уникальный контент, в том числе в пределах одного сайта, также бывает проблемой, когда вместо одной страницы в индекс попадает другая + страницы перебивают друг-друга. За дубли контента поисковиком может быть наложен фильтр. Также лишние страницы занимают время для обхода и робот поисковика может не добраться до действительно полезных страниц👣
Какие чаще всего бывают дубли страниц:
⚠ страницы с www и без www
⚠ страницы пагинации 1,2,3 и т.д.
⚠ страницы со слешем в конце и без него
⚠ страницы utm меток не закрытые от индексации
⚠ с .php или .html в конце
⚠ любые страницы с одинаковым контентом, открывающиеся по разным адресам
Почему могут возникать дубли:
1. ошибки CMS системы сайта - движок сам генерируют дубли
2. не настроены зеркала страниц
3. не оформлены страницы пагинации
4. ошибки вебмастера - создание страниц с полностью или частично дублирующимся контентом
Как проверить сайт на наличие дублей:
✏ взять блок контента, зайти в расширенный поиск Яндекса и найти этот блок в пределах одного сайта
✏ прогнать сайт через сканер (таких множество, например Netpeak Spider) и определить страницы с дублями тайтлов, h1
Методы решения:
☝ 301 редирект
☝ тег rel="canonical"
☝ запрет от индексации в файле robots.txt
☝ изменение кода ответа страницы дубля на 404 ошибку
Если считаете информацию полезной - можете сделать репост, так вы дадите нам понять, что подобный контент вам действительно интересен и подскажите, какую информацию нам публиковать в дальнейшем🙏