Файл robots.txt для WordPress

Опубликовано: 02.09.2018

видео Файл robots.txt для WordPress

SEOподготовка. Часть 3. Главное зеркало сайта и файл robots.txt

Файл robots.txt позволяет запретить индексирование определенных разделов сайта, а также указать главное зеркало сайта, указать путь до xml карты сайта и задать дополнительные параметры индексации для роботов поисковых систем. Вот такой функциональностью обладает этот маленький, но полезный файл.



Самый простой файл robots.txt для WordPress , при наличии которого ваш сайт будет более менее нормально индексироваться, выглядит следующим образом:

User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /themes/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comment/ Disallow: /tag/ Disallow: /author/ Disallow: /search/ Disallow: /rss/ Disallow: /*.js Disallow: /*.inc Disallow: /*.css Disallow: /*? Disallow: /*.gz Host: www.site.net Sitemap: http://www.site.net/sitemap.xml

В дополнение к этому файлу я рекомендую использовать плагин Platinum SEO Pack , который позволяет не только оптимизировать title, description и meta, но и настроить индексирование страниц с архивами авторов, тегов, категорий и т.д.


Файл Robots txt - настройка, директивы и популярные ошибки

Перед настройкой индексации рекомендую прочесть о том, что не нужно индексировать на WordPress сайте .

Это полезная статья? - Ставь лайк!

Участвуй в развитии блога и сообщества

rss