Дубли страниц – внутренний враг, от которого срочно нужно избавиться

Одним из способов повысить рейтинг ресурса является борьба с дублями страниц. Вы спросите: зачем это нужно? Дубли негативно влияют на позиции поисковой выдачи, понижают не только рейтинг, но и эффективность всего интернет-проекта, что является главным инструментом развития онлайн бизнеса. 

Для начала разберемся, почему так происходит?

Представим для примера ситуацию, когда вебмастер или владелец ресурса подготовил для конкретной целевой аудитории качественные уникальные материалы:

• Создал достоверные и подробные описания товаров и услуг
• Подобрал полезные советы и обучающие материалы
• Подготовил базу аудио и видеоматериалов
• Уделил должное внимание графике
• Собрал редкие доклады с авторитетных ресурсов в различных форматах: инструкции, видеолекции, тренинги
• Заказал в медиа студии качественный видеоролик, чтобы запустить рекламу бренда.

Работа проделана колоссальная, у ресурса есть все необходимое, чтобы заслужить получить уровень доверия, устойчивую репутацию и высокий покупательский спрос. Есть все основания надеяться на солидный трафик и прибыль, но… результата нет. 

А теперь разберем, в чем упущение владельца или вебмастера

Все поисковики – роботы и алгоритмы, их работы автоматизированы. Основная задача робота – найти полезный, оригинальный, качественный и обязательно уникальный контент. Рейтинг такого веб-ресурса или страницы он будет повышать.  

Если же владелец просто скопировал контент с другого ресурса и опубликовал его на своем сайте, то поисковый робот выявит это, за нарушение авторства снизит рейтинг страницы или вообще забанит ресурс за плагиат. Аналогично ведет себя поисковик и в том случае, когда вы копируете и повторно размещаете контент на своем ресурсе. Такими действиями вы составляете ненужную конкуренцию сами себе. Поисковики негативно относятся к дубликатам, стремятся отобрать в ТОП поисковой выдачи только свежий, уникальный и полезный контент для пользователей интернета. 

Логика понятна и проста, но каково же удивление владельцев сайта, когда причиной низкого рейтинга ресурса становятся именно внутренние дубли! Каждый из них на 100% уверен, что каждая страница ресурса уникальна, а дублей нет. 

Что относится к дублям

Дубль страницы того или иного ресурса представляет собой страницу, которая имеет частично или полностью аналогичное наполнение. Даже их адреса могут частично совпадать. Сюда относят:

• Ресурсы с доменом, что начинается на www или без www
• Адреса с использованием слеша в конце
• С окончанием php или html.

Такие страницы воспринимаются поисковыми системами как дубли по отношению друг к другу. 

Виды дублей

• Внутренними называются дубли, относящиеся к единому ресурсу. Внутренние дубли делятся на полные и неполные (в некоторых источниках используются определения «четкие» и «нечеткие»).
• В каждом случае контент совпадает. В данном примере страница будет по всем переходам одна, а вот url-адреса будут отличаться. Данный пример демонстрирует полные дубли.
• Неполные дубли представляют собой страницы, на которых контент с других страниц повторяется частично. Например, контент стартовой страницы повторяет текст странички «О компании». При этом адреса будут отличаться, в меню будут отображаться разные разделы, боковые колонки будут также содержать разную информацию.
• Дубли по мета-тегам

 Почему появляются дубли?

Что касается неполных дублей, то они являются результатом осознанного выбора структуры страниц ресурса, а вот о наличии полных дублей владелец ресурса может чаще всего даже не догадывается. Их появление связано с:

• Особенностями cms. Используя в окончании адресной строки .htm, .html, php или слеш, мы все равно будем попадать на одну и ту же страницу, но будем сами формировать дубль
• Использованием резервного домена с www, при этом страницы одинаково открываются на оба адреса
• Пагинацией (постраничный вывод контента). Такое возникает, если первая страница списка может открываться как по ссылке stranitsa, так и по ссылке stranitsa/page_1
• Разными названиями идентичных страниц в общей структуре проекта. Таким образом, любая из страниц может привязываться к меню не единожды
• Редизайном ресурса, который повлек за собой изменение адресов. 

Неполные дубли появляются вследствие стремления использовать на разных страницах одну и туже информацию. Чаще всего это делается, чтобы привлечь к данной информации максимум внимания посетителя и улучшить удобство использования ресурса. Владельцы сайтов часто выводят один и тот же контент в разных блоках и самостоятельно дублируют в разных местах. Такое решение является грамотным только в разумных пределах. 

Как влияют дубли на продвижение сайта

• Что касается СЕО, то наличие дублей оказывает негативное влияние на продвижение ресурса. Выявляя подобного рода страницы, поисковые машины понижают их рейтинг, вправе наложить санкции на весь сайт, отправить его под фильтры или всецело изъять из выдачи
• Отрицательно сказывается наличие повторений и на продвижении материала страницы, напрямую отражается на их релевантности. Среди двух идентичных страниц робот не может определиться, какую лучше продвигать. Как результат – обе страницы теряют позиции в поисковой выдаче
• Наличие дублей отрицательно сказывается и на уникальности контента ресурса, так как она разделяется между всеми близнецами. Даже если первая имеет 100% уникальность, то вторая - воспринимается поисковыми машинами как неуникальная по отношении к первой. Разумеется, рейтинг второй страницы падает и негативно влияет на ранжирование всего ресурса
• Дубли понижают вес главных страниц, которые выбраны для продвижения, так как общий вес делится на все страницы
• Будучи вынужденными индексировать дубли, роботы затрачивают значительно больше времени на индексирование всех страниц ресурса. 

Выход есть: найти и избавиться от повторов

Алгоритм работы поисковиков предельно прост – каждая страница должна иметь уникальный контент, а для каждой страницы должна быть создана только одна ссылка. В данном случае будут созданы все необходимые условия для эффективного продвижения отдельных элементов и всего ресурса в целом, а поисковые роботы смогут адекватно оценивать материал. Поэтому все дубли желательно выявить и удалить. 

Как выявить дубли

Давайте рассмотрим тройку проверенных способов:

1. Воспользоваться поисковиком. Достаточно ввести в поисковой строке название сайта, доменное имя и интересующий вас фрагмент текста. В результате поисковой выдачи отобразятся все страницы ресурса с данным фрагментом.


2. Воспользоваться специальными программами, которые применяются для оценки состояния сайта в целом и поиска дублей в частности. Например, программа Xenu. Достаточно указать доменное имя ресурса и запустить поиск . В подробном отчете отразятся все дубли, а также неработающие ссылки и основные ошибки.
3. Обратиться к помощи аналитических сервисов проверки эффективности ресурса, которые предлагают сами же поисковые системы. Например, «Инструменты для веб-мастеров» включают разделы, что содержат информацию не только по дублям, но и по проблемным страницам и т.д.

Имея на рабочем столе полный список повторений, искоренить их уже дело времени. 

Эффективные способы избавления от дублей

Сегодня существует два самых востребованных способа:

• Полностью удалить повторы
• Сделать их невидимыми для поисковых машин.

Опираясь на основной принцип, одна ссылка для каждой страницы, остальные вариации страницы необходимо исключить. То есть, основная ссылка открывает страницу, а все остальные просто не находят нужную страницу. Если она не найдена, то пользователь видит на экране ошибку «404». При желании такую страницу не сложно преобразить и опубликовать на ней полезный контент. 

Что касается юзабилити, то находить страницу только по одной ссылке пользователю неудобно, поэтому более грамотным решением будет настройка автоматического перенаправления. Редирект позволяет перенаправить все варианты написания на единый адрес, к чему очень лояльно относятся все поисковики. Все перенаправления прописываются в файле htacess на сервере. 

Всегда можно запретить роботам индексировать повторяющиеся элементы. Именно для таких задач существует robots.txt, который является своего рода инструкцией для поисковых машин. В нем прописываются все, что разрешено индексировать, а что следует игнорировать. Данный файл позволит уберечь от индексирования и дубли . 

В борьбе с дублями огромным преимуществом является то, что ваш материал не украден, вам не приходится отстаивать права на интеллектуальную собственность, что-то доказывать, строчить жалобы в Яндекс или Google, собирать доказательную базу, прикреплять скриншоты и т.д. Достаточно просто выполнить ряд мероприятий для устранения дублей и, после первой же переиндексации, получить дивиденды, а затем – развивать ресурс и наращивать прибыль.