Как создать файл robots.txt

Как правильно создать файл robots.txt ? Заходя на Ваш сайт, практически все поисковые роботы ищут файл robots.txt, который сообщает им, какие файлы, папки следует индексировать, какие не следует. Если Вы допускаете к индексации все папки и файлы, находящиеся в корневой папке Вашего сервера, то процесс индексации займет много лишнего, ненужного времени. Для ускорения же процесса, рекомендуется исключить из индексации такие папки и файлы, которые не имеют никакого значения для поисковой оптимизации.

Приведу пример составления простейшего файла robots.txt:

User-agent:*
Disallow: /images/
Disallow: /download/
Disallow: /music/
Disallow: links.php

Понять содержание данного файла очень просто. Он содержит всего 2 команды:
User-agent – указывает на те поисковые системы, которым запрещено индексировать указанные ниже папки и файлы сайта. Если значение этой команды - * (как в приведенном файле), это означает, что всем поисковым системам запрещено индексировать данные папки и файлы
Disallow – запрещена индексация указанного в значении файла или папки.

Если Вы создаете свой сайт на движке WordPress, рекомендуется следующее содержание файла robots.txt:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.yousite.ru/sitemap.xml
User-agent: Yandex
Crawl-delay: 5
Disallow: /tag

Использование тега <noindex> для улучшения поисковой оптимизации.

Использование тега <noindex>, так же как и использование файла robots.txt, дает поисковым роботам рекомендации по индексированию страниц Вашего сайта. Только в отличие от файла robots.txt, запрещающего к индексации файлу и папки, тег <noindex> запрещает к индексации отдельные ссылки, либо скрипты, расположенные на Вашей странице. Данные ссылки и скрипты, ведущие на другие ресурсы в сети, принижают положение Вашего сайта в глазах поисковиков. Использование данного тега позволяет повысить быстроту и качество индексации Вашего сайта. Для запрещения индексирования ссылки, она обрамляется открывающимся и закрывающимся тегом <noindex>.

Пример:
<noindex><a href="http://www.yandex.ru/">Яндекс</a></noindex>

Также, данный инструмент можно использовать для запрещения индексирования целых абзацев Вашего текста. Делать это можно, если Вы хотите увеличить процентное соотношение ключевых запросов по отношению к остальному тексту. С увеличением плотности ключевых запросов, Вы увеличите релевантность данной страницы.