Robots.txt для wordpress | Информационный портал Дмитрия Чемпалова

Опубликовано: 01.09.2018

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем.

Disallow блокирует доступ к страницам. Более подробно о составления robots.txt можно прочитать на сайте help.yandex.ru/webmaster   или в справке гугла

1. Создаём текстовый документ на рабочем стол е и называем его robots.txt. Далее вписываем следующие значения robots.txt для wordpress . Название Host и пусть sitemap указывайте своего сайта.

User-agent: * Disallow: /admin/ Disallow: /author/ Disallow: /cgi-bin/ Disallow: /wp-login.php/ Disallow: /wp-register.php/ Disallow: /wp-cron.php/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /wp-content/plugins Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /webstat/ Disallow: /user/ Disallow: /feed/ Disallow: /tag/ Disallow: /category/ Disallow: /page/ Host: chempalov.ru Sitemap: http://www.chempalov.ru/sitemap.xml Sitemap: http://www.chempalov.ru/sitemap.xml.gz

2. Загружаем данный файл в директорию вашего сайта на хостинге через filezilla или как вам удобно.

Вы можете посмотреть, как составлен robots.txt на других сайтов. Для этого пропишите http://site.ru/robots.txt.

rss