Цитата(Xcom @ 10.9.2007, 10:58)

типа в Robots.txt есть еще инструкции описывающие регулярность посещения сайта роботами вот они и игнорируются поисковиками но начинающие сайтостроители слишком на них циклятся.
Ну другие функции на самом деле давно не идут в расчет, об этом в более менее грамотных современных доках пишут всегда.
Цитата
Наличие своего сервера с сайтом помоему это скорее исключение чем правило, а при платном хостинге заливать лишние каталоги...??? Смысла ограничивать из-за возможного прихода посетителя по любой ссылке тоже не вижу.
Тут не понял о чем речь. Какая разница - свой сервер или аренда виртуального сервера? И как сказывается на платном хостинге наличие "лишних" каталогов?
Необходимость же запрещать поисковикам индексацию некоторых каталогов имеется, например я совершенно нехочу чтобы поисковик проиндексировал каталог с администраторскими скриптами, которые обеспечивают мне разные сервисные функции, пусть там все и под паролем, но зачем мне давать злоумышленнику лишнюю возможность проанализировать получше структуру сайта с помощью гугля, а то и найти полезную инфу для дальнейшего дифейса? Читай статьи про "дифейс сайтов с помощью google". Есть и другие мотивы, почему я хочу чтобы в некоторые разделы переходили только из главной страницы сайта, а не напрямую из поисковика, так например - учет посещений внешними счетчиками.
Цитата
Письмо в техподдержку мне лично помогало..почему не индексировался не объясняли но находится яндексом стал, а им довольно много народа пользуется.
Labinsk.ru находится Яндексом вполне, проверь. Но в "каталоге" яндекса его нет (если ты понимаешь о чем речь). И пох на самом деле. Я вообще не люблю Яндекс, скверная система.