Общение с Яндексом по поводу robots.txt
Всегда полагал, что для User-agent: Yandex достаточно прописать хост, а все остальное запихнуть в User-agent: *.
Хотя долгое время копировал все правила для каждого User-agent "на всякий случай".
Теперь возвращаюсь к этому, и вот причина.
Недавно один нехороший ресурс подкинул мне "подарок" в виде дубля главной страницы в индексе: https://capweb.ru/?utm_campaign=factus&utm_content=search&utm_medium=organic&utm_source=factus.ru
Проиндексировалась она так, потому что с сайта ссылка стоит именно с такими параметрами, и я уже начинаю думать, не есть ли это тот самый легкий способ подпортить жизнь конкурентам - кому надо - забирайте, дарю, сам не увлекаюсь этим, предпочитая честную игру.
Работает только если на сайте не прописаны rel="canonical" (я уже прописал).
Спросил на всякий случай у Яндекса, правильно ли я сделал, что прописал в robots.txt
Disallow: /*?utm_campaign= Disallow: /*?utm_content= Disallow: /*?utm_medium= Disallow: /*?utm_source= Clean-param: sid&start&utm_campaign&utm_content&utm_medium&utm_source
Ответ Платона Щукина был такой:
Цитата
Сейчас с Вашей стороны все сделано верно, в соответствии с директивой "Clean-param" страница пропадёт из выдачи после следующих 1-2 обновлений поисковых баз. Чтобы такие страницы не посещались роботом, запрещающие правила нужно разместить сразу после директивы "User-agent: Yandex" (сейчас правила не учитываются роботом).
Рекомендую Вам также воспользоваться инструментом проверки файла robots.txt: http://webmaster.yandex.ru/robots.xml. Непосредственно в инструменте Вы можете корректировать указания и проверять, запрещены или разрешены необходимые Вам страницы к индексированию.
На что я попытался уточнить: правильно ли я понял, что правила для User-agent: * не учитываются поисковыми роботами Яндекса?
Ответ, занавес
Цитата
В какой-то мере да. Робот обращает внимание на "User-agent: * " при отсутствии указания "User-agent: Yandex".
Читайте также: О важности поисковой оптимизации сайта
Следующая статья: Как правильно формировать метатеги и заголовки https://capweb.ru/kak_pravilno_formirovat_metategi_i_zagolovki.html
Предыдущая статья: "Котинг, котверсия, котент" https://capweb.ru/koting_kotversiya_kotent.html