<p><img style="display: block; margin-left: auto; margin-right: auto;" src="http://site-ok.com.ua/images/dubli-stranic.png" alt="" width="650" height="269"></p>
<p>Многие начинающие веб-мастера при создании сайтов используют столь популярные бесплатные CMS. Это понятно – удобный и интуитивно понятный интерфейс позволяет быстро и качественно создать собственный сайт без особых усилий. Однако мало создать сайт – его еще нужно оптимизировать для продвижения в поисковых системах, чтобы поисковые роботы могли включить все страницы портала в индекс. Вот здесь и возникает довольно серьезная проблема - дубль контента на сайте. </p>
<h2>Что же такое дублирование страниц?</h2>
<p>Из-за особенностей работы некоторых cms, а также по причине того, что они создают динамичные страницы в процессе своей работы, формируя страничку «на лету», возникает такое явление, как доступность одной и той же страницы сайта по разным url. Самый яркий пример – копия главной страницы, доступная по адресу имясайта.ру, а также имясайта.ру/index.php. Проще говоря – создается полная копия страницы.</p>
<p>Зачастую, пользователь сайта даже не сможет найти дубль контента на блоге, и присутствие таких страниц не повредит впечатлению от хорошего проекта. Чего нельзя сказать про поисковые системы – они обязательно найдут и проиндексируют все копии одной и той же страницы. Многие не видят в этом проблемы, а это, между прочим, довольно сильно вредит продвижению сайта. </p>
<h2>Чем так вредны дубли страниц?</h2>
<p><img style="display: block; margin-left: auto; margin-right: auto;" src="http://cdn-ds.kilatstorage.com/wp-content/uploads/2015/11/shutterstock_58435186.jpg" alt="" width="600" height="405"></p>
<p>Некоторые веб-мастера пренебрегают советами, и на их сайтах никогда не проводится проверка страниц сайта на дубли страниц. Обычно это приводит к сложностям в продвижении и пессимизации уже существующих позиций. Среди основных негативных факторов, которые наносят вред сайту стоит назвать:</p>
<ul>
<li>Резкое ухудшение процесса индексации сайта поисковыми машинами;</li>
<li>Размытие ссылочного веса от внешних ссылок;</li>
<li>Неправильное распределение внутреннего ссылочного веса;</li>
<li>Смена релевантной страницы в поиске.</li>
</ul>
<p>Индексация обычно падает по причине того, что несколько одинаковых страниц сайта содержат идентичный контент. Для поисковика это означает, что контент не уникальный, а значит и ранжировать его высоко он не будет. Таким образом, если проверить сайт на дубли и удалить все копии, кроме основной страницы, то можно поднять сайт в выдаче.</p>
<p>Размытие ссылочного веса также вредит сайту. К примеру, пользователь решил поделиться на форуме ссылкой на ваш полезный сайт, и запостил там адрес не основной страницы, а ее дубля. В этом случае вы попросту теряете ссылочную массу – ссылка на страницу, которая не подвигается, не имеет никакого смысла.</p>
<p>Такой же эффект возникает и внутри сайта – перелинковка и правильная навигация теряют смысл, если имеются копии материалов. Если проверить сайт на дубли страниц, и запретить к индексации все копии, кроме основной страницы, то можно достичь высоких позиций именно благодаря внутренней оптимизации.</p>
<p>Смена релевантной страницы – вообще катастрофа. К примеру, вы продвигали какую-либо страничку, покупая на нее ссылки. Внезапно поисковик решает, что продвигаемому запросу отвечает не целевая страница, а ее дубль. Все ваши усилия по продвижению пойдут прахом! </p>
<h2>Как проверить дубли страниц на сайте?</h2>
<p><img style="display: block; margin-left: auto; margin-right: auto;" src="http://forins.ua/sites/default/files/imagecache/openNews/news/True-Internal-Duplicate-Content1.jpg" alt="" width="500" height="375"></p>
<p>Мы подошли к основному вопросу, который интересует всех веб-мастеров - как проверить сайт на дубли страниц? Для осуществления подобной проверки существует несколько способов, однако ни один из них не гарантирует 100% результата. Стоит также отметить, что существуют полное и частичное дублирование страниц, и не всегда удается явно увидеть, что контент повторяется.</p>
<p>Полные дубли – идентичные страницы с разными адресами (по сути одна страница, доступная по нескольким адресам). Обычно полные дубли возникают из-за работы самой CMS. Такие повторения контента обычно легко находятся через поисковые системы.</p>
<p>Частичные дубли наоборот, появляются из-за действий пользователя. К примеру, это страницы разделов интернет магазина, на которых применено одно и то же описание товара – это будут разные адреса с практически одинаковым контентом. В этом случае, проверка сайта на дубликаты страниц возможна при помощи поиска по части текста, представленного на странице.</p>
<p>Среди всех способов, позволяющих найти дубли страниц на сайте, стоит отметить три, которые дают наилучший результат. Это:</p>
<ol>
<li>Использование Google Webmaster Tools</li>
<li>Поисковая строчка Гугл и использование специальных операторов</li>
<li>Расширенный поиск Яндекса.</li>
</ol>
<p>Разберем каждый способ подробнее.</p>
<p>Использование инструментов веб-мастера от Гугла позволит вам проверить сайт на дубли страниц онлайн, опираясь на такие признаки как одинаковые метатеги и описания страниц. Для этого нужно войти в панель веб-мастера, выбрать нужный сайт, открыть панель оптимизации, и в ней найти строчку «Оптимизация HTML». </p>
<p>Там есть список проблем, решив которые, вы, по мнению Гугла, сможете улучшить свой сайт. Вот именно на это и стоит обратить внимание: если есть такая проблема, как одинаковые метаописания, или повторяющийся тег title - скорее всего на сайте присутствуют дубли страниц. Нажав на эту строку, вы увидите список адресов страниц с повторяющимися описаниями.</p>
<p>В поиске Гугла можно также искать фрагмент текста на конкретном сайте. Как найти дубли страниц на сайте по куску текста, спросите вы? Да очень просто! Если будут совпадения по одному и тому же фрагменту, то, скорее всего, на сайте есть дублирование страниц, и поисковая машина выдаст вам адреса всех этих совпадений. Для этого в строчке поиска нужно написать – Текст который мы ищем - site:вашсайт.ру. Данная конструкция позволит отыскать все страницы вашего сайта, на которых есть данная фраза, и принять меры, если имеет место дубляж контента.</p>
<p>Третьим способом, позволяющим проверить дубли страниц на сайте онлайн, является расширенный поиск Яндекса. По сути, способ похож на использование поисковой машины от Гугл, отличие лишь в том, что в Яндексе существует больше настроек. Применив их, вы без труда отыщете фрагмент текста на своем сайте, который повторяется на разных страницах.</p>
<p>Итак, мы выяснили, как проверить дубли страниц на сайте. Теперь осталось уяснить, как избавится от дублирования страничек.</p>
<h2>Убираем дубли страниц: как не навредить сайту</h2>
<p> </p>
<p><br>
<img style="display: block; margin-left: auto; margin-right: auto;" src="http://loleknbolek.com/wp-content/uploads/2014/08/budli2.png" alt="" width="800" height="450">Если проверка сайта на дубли дала необходимый результат, и вы все же отыскали несколько повторяющихся страничек, то их нужно устранить. Первое, что приходит в голову – физическое удаление страницы из базы данных. Удаление неявных дублей онлайн позволит вам обозначить основную страницу, которую следует индексировать роботам. Однако это нужно делать очень осторожно – можно случайно удалить нужную страницу, и восстановить ее, потом будет весьма затруднительно.</p>
<p>Поняв, как определить дубль контента, можно сделать 301 редирект со страниц дубля на основную, нужную нам страницу. Для этого в файле .htaccess (обычно расположен в корневой директории сайта) необходимо прописать строку, которая будет переадресовывать поискового робота на «правильную» страничку. Делать это нужно аккуратно, ведь если в этом файле допустить ошибку, можно случайно нарушить работу своего сайта.</p>
<p>Если поиск дублей страниц сайта увенчался успехом, и у вас есть список адресов нужных вам страниц, им можно присвоить тег canonical. На необходимой странице прописывается метатег <link rel= “canonical” href= “http://www.вашсайт.ру/original-page.html”>, и для поисковых машин это будет означать, что эта страница является оригиналом. Все страницы с идентичным контентом будут считаться дублями, и в поиске представлены не будут.</p>
<p>Еще одним способом как убрать дубли страниц может стать написание правильной директивы в файлеrobots.txt. Этот файл говорит поисковым роботам, как индексировать ваш сайт. Внеся в него правильный запрет при помощи команды Disallow: можно исключить дубли из индексации. Но стоит помнить, что такой способ не гарантирует 100% результат: если на дублированную страницу появится внешняя ссылка, то она все равно попадет в индекс поисковой машины.</p>
<p>Собственно это все основные способы как определить дубли страниц и помочь сайту в продвижении. Существует еще множество других, более трудоемких приемов, которые простому пользователю не всегда доступны. Если вы не уверены в своих силах, но хотите, чтобы ваш сайт развивался, то лучшим вариантом будет доверить продвижение сайтов настоящим профессионалам – это гарантирует вам положительный результат, и позволит владеть довольно успешным проектом, не углубляясь в программирование и веб разработку. Отличным вариантом станет <a href="http://semantica.in/">http://semantica.in/</a> - продвижение сайтов в Москве и регионах от 50 коп за человека! С этими ребятами вы точно найдете подходящий вариант сотрудничества. Кстати, обратите внимание на их блог - там вы найдете много интересного, если все решитесь продвигать свой сайт самостоятельно.</p>