Руководство для начинающих по оптимизации сайтов под Google

Эффективно используйте файл robots.txt

Файл robots.txt рассказывает поисковым системам к каким разделам вашего сайта они имеют доступ, а как следствие, какие разделы они имеют право индексировать. Данный файл должен называться «robots.txt» и размещаться в корневой директории вашего сайта.

У вас может возникнуть желание закрыть некоторые страницы вашего сайта от ботов поисковых систем, если вы считаете, что данные страницы будут бесполезны пользователям, нашедшим их в Гугле. Если вы не хотите, чтобы боты поисковых систем сканировали ваш сайт, то специально для вас в ГуглВебмастерсТулз есть инструмент «robots.txt-генератор», который вам поможет составить данный файл.

Необходимо отметить, что если на вашем сайте есть поддомены, и вы не хотите, чтобы часть разделов находящихся на поддоменах, сканировалась ботами поисковых систем, то вам необходимо будет создать отдельные файлы для поддоменов и разместить их в корневых директориях поддоменов.

Есть и другие способы, запретить Гуглу сканировать и показывать страницы вашего сайта в результатах поиска. К примеру, вставка на странице мета-тега noindex для ботов поисковых систем, использовать в.htaccess установку паролей на директории вашего сайта, а так же можно удалить необходимые страницы вашего сайт в ГуглВебмастерсТулз

Практические советы по использованию robots.txt

Используйте наиболее безопасные методы для конфиденциального контента. Вы не можете полностью полагаться лишь на robots.txt, при защите конфиденциального контента. Дело в том, что поисковые системы могут показывать ссылки на заблокированные страницы (лишь урл, без сниппета и заголовка). Это может произойти, если ссылки на заблокированные страницы окажутся в интернете, например в открытых логах сервера.

Кроме того, некоторые поисковые системы не поддерживают robots.txt и могут свободно сканировать заблокированные в данном файле страницы. Кроме того, некоторые любопытные пользователи могут посмотреть содержимое robots.txt и попытаться получить доступ к страницам, информацию на которых вы считаете конфиденциальной. Наиболее безопасным методом закрытия такого контента является использование паролей через.htaccess
Избегайте:

* Скармливания поисковым ботам страниц с результатами поиска по сайту
* Скармливания поисковым ботам тысяч страниц, содержание которых практически не отличается друг от друга
* Скармливания страниц, созданных посредствам различных прокси-сервисов