Удалить https из индекса

Тссс!Задача появилась как следствие распи… равнодушного отношения вебмастера клиента к своим прямым обязанностям.

Этот долбо… молодой неопытный специалист в меню сайта в одном месте по непонятным мне соображениям поставил вместо http:// и так далее лишнюю буковку: https://

Робо-яндекс бодро сбегал ссылкой глупою по сайту… Не увидел там ошибки, дублей в индекс покидал…
Весь сайт проиндексировался дважды: как http-версия и как https-версия.

И все позиции нафиг просели…

Как удалить дубли?

Ну, первым делом мы поправили меню. Ок… кроме того, что из индекса дубли не ушли.

Попробовали покидать в deleteurl – нет оснований для удаления!

Поставили через .htaccess редирект 301. Онлайн всё перекидывает, как полагается, но время идет, а в индексе остаются дубли! И опять нет оснований для удаления у ***** яндекса…

Дело в том, кто не знает, что удалить страницу из индекса можно, только:
1)удалив ее физически,
2)поставив запрет на индексацию в robots.txt
3)поставив запрет на индексацию в мета-теге страницы

Но как физически удалять тематическую страницу сайта, особенно продвигаемую?

И как закрыть в роботс, если там пишется только относительный путь, типа /page15.html?

У меня появилась идея, не нашедшая отклика в тревожной душе заказчика: поочередно ставить метатег noindex на всех страницах-дублях, выкидывать их из индекса через deleteurl, по факту вылета из индекса удалять метатег и снова вводить в индекс.

Вот как хитроумно мыслил я проблему обойти!

Я ходил к друзьям сеошным, и ответ давали быстро:

на хостинге обязано быть две папки – под http и под https, просто кинь роботс с Disallow: / в папку версии https!

Только нет такой там папки! В общем, дело было швах…

Но подумал я внезапно – неужели я был первый, кто с проблемою столкнулся, и поискал в сети…

И поиском нашел простое, но такое изящное решение:

В .htaccess указать, что для https-версии роботс имеет другое название. Да-да-дА-ДА! Я всю свою сео-жизнь думал, что название файла роботс должно быть robots.txt и никак не иначе, а оказывается, все это регулируется невидимым для посетителей сайта .htaccess!!!

Конкретная инструкция:

Для второго своего, ненормального роботс создаем текстовый файлик, например, под названием robots-https.txt Прописываем необходимые инструкции, для меня это всего-то пара строчек

User-agent: *
Disallow: /

Размещаем в корне сайта.

А в .htaccess прописываем правило

RewriteEngine on
RewriteCond %{HTTPS} on
RewriteRule ^robots.txt$ robots-https.txt

______________________________________

Ха! Это работает на ура!

P.S. Пока писал пост, задумался – а что мешает таким образом скрыть от взгляда пытливых посетителей обычный роботс? ДА НИЧЕГО!

VN:F [1.9.7_1111]
Rating: 5.5/10 (4 votes cast)
VN:F [1.9.7_1111]
Rating: +5 (from 5 votes)
Удалить https из индекса, 5.5 out of 10 based on 4 ratings

One thought on “Удалить https из индекса

  1. alex

    Это работает для apache
    На примере .htaccess файла
    RewriteEngine on
    RewriteCond %{HTTPS} on
    RewriteRule ^robots\.txt$ robots-https.txt

    Для inginx
    server {
    #Добавить в nginx секцию server
    location /robots.txt {
    break; }
    …..
    listen ваш IP:80;
    }
    server {
    #Добавить в секцию server
    location /robots.txt {
    rewrite (.*) /robots-https.txt;
    }
    ….
    listen ваш IP:443;
    }

    VA:F [1.9.7_1111]
    Rating: 0.0/5 (0 votes cast)
    VA:F [1.9.7_1111]
    Rating: 0 (from 0 votes)

Leave a Reply

Your email address will not be published.