Идеальный Robots.txt для WordPress сайта с протоколом https 4

Здравствуйте уважаемые читатели моего сайта. В этой статье, я на примере своего файла robots.txt покажу вам, каким должен быть идеальный Robots.txt для WordPress сайта с протоколом https.

Каждый вебмастер знает о том, что наличие таких файлов, как карта ресурса sitemap.xml и robots.txt, является обязательным условием для правильной индексации любого интернет-магазина, сайта, блога.

При переходе сайта с http на https (как правильно осуществить переход читайте здесь) с файлом sitemap.xml всё в порядке, вмешательства не требуется. Иначе обстоят дела с файлом robots.txt. После осуществления перехода ресурса, необходимо внести небольшие изменения в файл robots.txt. Ниже, я привожу примеры файлов robots.txt до и после перехода моего сайта на защищённый протокол https.

Правильный файл robots.txt для сайта на WordPress с обычным http

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: kladproraba.com
Sitemap: https://kladproraba.com/sitemap.xml.gz
Sitemap: https://kladproraba.com/sitemap.xml

Правильный файл robots.txt для сайта на WordPress с протоколом https

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: https://kladproraba.com
Sitemap: https://kladproraba.com/sitemap.xml.gz
Sitemap: https://kladproraba.com/sitemap.xml

Результат проверки файла robots.txt в гугл вебмастер

Результат проверки файла robots.txt в гугл вебмастер

Результат проверки файла robots.txt в яндекс вебмастер

Результат проверки файла robots.txt в яндекс вебмастер

Файл robots.txt без ошибок

Как видно по результатам – проблем нет, ошибок нет. Да, вот ещё один момент: я запретил индексацию тегов на своём сайте, посредством добавления в файл robots.txt запрета – Disallow: /tag. Вы так же можете запретить индексацию тегов, или можете удалить запрет – выбор за вами. Надеюсь, моя статья с примером помогла решить вашу проблему с определением идеального файла robots.txt для вашего ресурса. Всего доброго и удачи 🙂

— 

С уважением Ярослав  😉 

4 комментария

  1. Здравствуйте, Ярослав!
    Скажите, пожалуйста, этот файл robots.txt подойдёт для интернет-магазина на Woocommerce? И ещё вопрос: что даёт запрет индексации тегов на блоге?

    Ян Збаразкий
    1. Здравствуйте, Ян. Да, для интернет-магазинов на woocommerce – мой вариант robots.txt подходит идеально. В свой файл robots.txt, можете добавлять любые запреты, если этих будет не достаточно, просто – Вы знаете какой у Вас магазин и что дополнительно нужно запретить.
      Запрещать индексировать теги – это дело чисто символическое, можно запретить, а можно и не запрещать. Дело в том, что куча страниц с тегами в индексе – не о чём, смысла разрешать индексировать теги нет. Теги чисто для навигации по блогу, сайту, магазину, порталу. Вред или польза от тегов в индексе – ни то, ни другое, я тестировал.

  2. Здравствуйте. Ярослав!
    Спасибо за подробное разъяснение, Вопрос насчет wp-json? Вот только увидела у себя в вебмастере эти страницы, а в предлагаемых в инете роботсах ни у кого запрета на это нет. Как вы с ними справляетесь? Обчиталась везде и не могу понять может это уже неактуально. может вордпресс уже это сам прикрыл как-то?

    1. Здравствуйте Марина! Насчёт wp-json вижу, похоже что проблема остаётся актуальной, решаем проблему – можно попробовать добавить запрет на индексацию в robots.txt вот это:
      Disallow: */embed*
      Disallow: */wp-json*

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *