Файл robots.txt для блога на WordPress

Файл robots.txt показывает поисковым роботам как индексировать ваш сайт. Содержимое файла robots.txt сообщает поисковикам какие страницы вашего блога индексировать, а какие нет. Читайте далее, чтобы получить чек-лист по созданию и редактированию файла robots.txt. Также предлагаю вашему вниманию идеальный файл robots.txt для блога на WordPress.

Как создать и редактировать robots.txt с помощью плагина Yoast SEO

ЧЕК — ЛИСТ

  1. Заходим в админ-панель WordPress
  2. Переходим Yoast SEO — Инструменты
  3. Далее идем в Редактор файлов
  4. Если в корне сайта этого файла нет, жмем Создать robots.txt
  5. Если есть, то будет возможно редактирование содержимого файла robots.txt
  6. Копируем содержимое файла robots.txt в NotePad++
  7. Меняем в последней строке ваш.сайт на свой сайт
  8. Копируем содержимое и добавляем в админке Yoast SEO
  9. Жмем Сохранить изменения в robots.txt
  10. Проверяем свою работу по адресу: ваш.сайт/robots.txt

Файл robots.txt для блога на WordPress

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /license.txt
Disallow: /readme.html
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /*?replytocom
Disallow: */feed
Disallow: /rss
Disallow: /author/
Disallow: /?
Disallow: /?
Disallow: /?s=
Disallow: *&s=
Disallow: /search
Disallow: *?attachment_id=
Allow: /.css
Allow: /.js
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Sitemap: https://ваш.сайт/sitemap_index.xml