Как поправить robots.txt в wordpress?

Дурацкий вопрос, не так ли? Ну, все же знают – какая разница, какая админка, robots.txt – текстовый файл, лежащий в корневой директории. Это даже яндекс в своем хелпе пишет: Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем.

И вот я вижу на сайте клиента роботс из строчек:

User-agent: *
Disallow:
Sitemap: http://mysite.ru/sitemap.xml.gz

Пример не просто так, это станет ясно позже.

Как же тут темно и непонятно! Иногда я вспоминаю, как начинались вебсайты – чистый html, правка только через FTP, и глаза мои наполняются огромной ностальгической слезой:) Потому что, хотя все, что мы видим на экране, физически суть нули и единицы, все же естественно предполагать, что page.html – это страница на html, page.asp – на asp, page.php – на php. Но нет, увы. Коварный прогресс внес свою виртуальную сумятицу в виртуальный мир – теперь можно, например, писать сайт на php, все хранить в базе данных, а выдавать клиенту как php, asp, html, fig, znaet, chto, escho, pridumaesh… И к этому мы привыкли быстро.

Но к тому, что чисто текстовый файл robots.txt правится через админку и по сути является таким же продуктом цмски, хранящимся в БД… Это меня все еще продолжает смущать.

Итак,

Где правится robots.txt в wordpress?

Я залез на FTP, увидел, что текстового файла нет, сжал губы – понял, что эта хрень хранится в БД. Написал свой роботс – залил и… Ничего не изменилось. Хотя приоритет у физического варианта, если так можно назвать текстовый файлик, обязан быть.

Пошел искать в сеть. Нашел только мануал для идиотов: зайдите в админку, найдите слова Options > Robots.txt и правьте… При этом, что примечательно, предупреждение, что если уж правите через wp, то не заливайте настоящий роботс на сервер… Ну да…

Плагины для создания РОБОТС на ВОРДПРЕССе

Не буду вас долго мучить, хотя, пользуясь случаем, передаю привет благодарность человеку, нашедшему, тоже не сразу, решение проблемы – Александр Милевский, прошу любить и жаловаться.

Оказывается, существует плагин Google (XML) Sitemaps Generator for WordPress основное предназначение которого – создание xml-карт. Для удобства идиотов пользователей этот плагин не только генерит карту, но тут же сжимает ее, создает роботс и вписывает адрес сжатой карты туда. Все бы было хорошо… Только при этом он не дает этот роботс править.

Выключение плагина не дало результатов.

Удаление плагина не дало результатов.

Все получилось только когда под косу подложили камень – установили другой плагин для создания и правки robots.txt – KB Robots.Txt

Он переписал в базе данные роботса, созданные предыдущим.

Проблема решена.

Тихая ненависть к облегчателям жизни оптимизаторов осталась:)

VN:F [1.9.7_1111]
Rating: 10.0/10 (3 votes cast)
VN:F [1.9.7_1111]
Rating: +1 (from 1 vote)
Как поправить robots.txt в wordpress?, 10.0 out of 10 based on 3 ratings

7 thoughts on “Как поправить robots.txt в wordpress?

  1. Igoran

    Вот вот. А я тоже думаю почему у меня только 4 строки уцелело от robots.txt, это при просмотре по ссылке сайт.ru/robots.txt.
    Большое спасибо вам.
    1) А сносить плагин sitemap от Google нужно?
    2) Как вообще обойтись без плагина – создание карт в wordpress, возможно это?

    VA:F [1.9.7_1111]
    Rating: 0.0/5 (0 votes cast)
    VA:F [1.9.7_1111]
    Rating: 0 (from 0 votes)
  2. pavko

    > А сносить плагин sitemap от Google нужно?
    Можно просто снять галочку “генерация виртуального robots.txt” и будет щастье.
    А правка роботс через админку – удобно, не нужно лезть лишний раз на FTP

    VA:F [1.9.7_1111]
    Rating: 0.0/5 (0 votes cast)
    VA:F [1.9.7_1111]
    Rating: +1 (from 1 vote)
  3. Наталья

    у меня такая же возникла проблема. ни чем не могу убрать старый файл robots.txt. И плагин не помог((( и прямое вложение в корень сайта((((((((((( . Главное, что Яндекс видит исправленный сайт, а Гугл старый((((((((((((((( Что делать?????

    VA:F [1.9.7_1111]
    Rating: 0.0/5 (0 votes cast)
    VA:F [1.9.7_1111]
    Rating: 0 (from 0 votes)
  4. alekzalekzalekz Post author

    Наталья, прежний-то плагин отключили? И – что значит “Яндекс видит исправленный сайт, а гугл старый”???

    VN:F [1.9.7_1111]
    Rating: 0.0/5 (0 votes cast)
    VN:F [1.9.7_1111]
    Rating: 0 (from 0 votes)
  5. Alex

    Тоже задолбался править файл на своем сайте. Сначала искал в ftp, потом плюнул, стал искать в сети как исправить, в поисковой выдаче сразу ваша статья попалась! Спасибо за совет! С уважением.

    VA:F [1.9.7_1111]
    Rating: 0.0/5 (0 votes cast)
    VA:F [1.9.7_1111]
    Rating: 0 (from 0 votes)
  6. Сергей Глазов

    Облазил весь интернет и только здесь понял в чем у меня проблема! Спасибо большое!

    VA:F [1.9.7_1111]
    Rating: 0.0/5 (0 votes cast)
    VA:F [1.9.7_1111]
    Rating: 0 (from 0 votes)
  7. alekzalekzalekz Post author

    Очень рад!

    VN:F [1.9.7_1111]
    Rating: 0.0/5 (0 votes cast)
    VN:F [1.9.7_1111]
    Rating: 0 (from 0 votes)

Leave a Reply

Your email address will not be published.