Индексация поисковиками

[AndreyKa]

Просматривал статистику нашего сайта и заметил, что довольно много переходов через поисковые системы на страницы вида:
http://virusinfo.info/showthread.php?p=240035
Но дело в том, что у такой страницы оригинальный адрес другой:
http://virusinfo.info/showthread.php?t=24487
Вот тут прямо сказано:

Не создавайте несколько копий страницы под разными URL-адресами.
...
Чтобы обеспечить включение выбранной вами страницы в результаты поиска, необходимо блокировать доступ наших сканеров к копиям с помощью файла robots.txt

Отсюда предложение добавить в robots.txt строку:
Disallow: /showthread.php?p=

[anton_dr]

Добавлено.
Интересно, с какой целью эта штука сделана в движке?

[AndreyKa]

Интересно, с какой целью эта штука сделана в движке?

Я так понимаю, для того чтобы можно было направить человека сразу на конкретное сообщение в теме, что роботу поисковика совсем не к чему.
Можно было бы использовать ссылку типа:
http://virusinfo.info/showthread.php?t=23971#post241356
вместо
http://virusinfo.info/showthread.php?p=241356

[AndreyKa]

Не стал создавать новую тему, так как вопрос из той же оперы.
Просматривая статистику на liveinternet.ru регулярно замечаю переходы со станиц вида:
http://hekpme.virusinfo.info/showthread.php?t=34261
Оказывается, если вбить любой не существующий субдомен virusinfo.info, то движок как ни в чем не бывало будет его считать чем то вроде субдомена forum.
Кто-то где-то ошибся, давая ссылку на helpme.virusinfo.info и теперь статистика посещений форума страдает.
Хорошо что не написали http://sex.virusinfo.info :0)
Итак, предложение: При обращении к не существующему субдомену редиректить на адрес вида http://virusinfo.info/...

[Geser]

Не стал создавать новую тему, так как вопрос из той же оперы.
Просматривая статистику на liveinternet.ru регулярно замечаю переходы со станиц вида:
http://hekpme.virusinfo.info/showthread.php?t=34261
Оказывается, если вбить любой не существующий субдомен virusinfo.info, то движок как ни в чем не бывало будет его считать чем то вроде субдомена forum.
Кто-то где-то ошибся, давая ссылку на helpme.virusinfo.info и теперь статистика посещений форума страдает.
Хорошо что не написали http://sex.virusinfo.info :0)
Итак, предложение: При обращении к не существующему субдомену редиректить на адрес вида http://virusinfo.info/...

Да, это известная проблема, и простого решения пока не найдено.

[anton_dr]

Итак, предложение: При обращении к не существующему субдомену редиректить на адрес вида http://virusinfo.info/...

Эффект убран. Теперь при обращении к не существующему субдомену выдаёт

Address Not Found

[NRA]

Может немного не в тему, но чем отличается индексация поисковиками (у каждого ведь свой рейт?) от индексации той же alexa.com ?

P.S. если верить алексе, то по статам virusinfo делает многие другие сайты-конкуренты.
Мелочь, а приятно

[AndreyKa]

Под индексацией я имел в виду процесс просмотра роботом страниц и занесение информации об их содержимом в базу данных Google.
Alexa занимается сбором статистики посещаемости и проводит ранжирование на её основе.

[Not]

Привет всем!
В продолжение темы хочу заметить, что поисковые машины (особенно Яша) очень любят когда слова из мета-тегов повторяются в контенте. Отсюда подсказка: "Если нет возможности разместить текст с такими же словами как в метах....... скопируйте слова в любое место страницы и сделайте текст такого же цвета как фон. Такой текст виден не будет а поисковики его схавают. С форумом все проще так, как там контента больше.

[AndreyKa]

Часто стал встречать в поисках Google ссылки начинающиеся на:
http://virusinfo.info/~virusinf/
Пример:
http://www.google.ru/search?hl=ru&q=...%B2+Google&lr=
Это создает лишнюю нагрузку на форум.
Соответственно, предложение, добавить в robots.txt строчку:
Disallow: /~virusinf

[NickGolovko]

Изменено. Спасибо за замечание.