Почему сайты российских компаний создаются сыновьями бухгалтеров и любовниками секретарш? Читайте на сайте веб-студии КэпВеб!
+7(968)000-10-11 (в Москве)

Общение с Яндексом по поводу robots.txt

Всегда полагал, что для User-agent: Yandex достаточно прописать хост, а все остальное запихнуть в User-agent: *.

Хотя долгое время копировал все правила для каждого User-agent "на всякий случай".

Теперь возвращаюсь к этому, и вот причина.

Недавно один нехороший ресурс подкинул мне "подарок" в виде дубля главной страницы в индексе: https://capweb.ru/?utm_campaign=factus&utm_content=search&utm_medium=organic&utm_source=factus.ru

Проиндексировалась она так, потому что с сайта ссылка стоит именно с такими параметрами, и я уже начинаю думать, не есть ли это тот самый легкий способ подпортить жизнь конкурентам - кому надо - забирайте, дарю, сам не увлекаюсь этим, предпочитая честную игру.

Работает только если на сайте не прописаны rel="canonical" (я уже прописал).

Спросил на всякий случай у Яндекса, правильно ли я сделал, что прописал в robots.txt

Disallow: /*?utm_campaign=
Disallow: /*?utm_content=
Disallow: /*?utm_medium=
Disallow: /*?utm_source=
Clean-param: sid&start&utm_campaign&utm_content&utm_medium&utm_source

Ответ Платона Щукина был такой:

Цитата

Сейчас с Вашей стороны все сделано верно, в соответствии с директивой "Clean-param" страница пропадёт из выдачи после следующих 1-2 обновлений поисковых баз. Чтобы такие страницы не посещались роботом, запрещающие правила нужно разместить сразу после директивы "User-agent: Yandex" (сейчас правила не учитываются роботом).

Рекомендую Вам также воспользоваться инструментом проверки файла robots.txt: http://webmaster.yandex.ru/robots.xml. Непосредственно в инструменте Вы можете корректировать указания и проверять, запрещены или разрешены необходимые Вам страницы к индексированию.

 

На что я попытался уточнить: правильно ли я понял, что правила для User-agent: * не учитываются поисковыми роботами Яндекса?

Ответ, занавес

Цитата

В какой-то мере да. Робот обращает внимание на "User-agent: * " при отсутствии указания "User-agent: Yandex".

Читайте также: О важности поисковой оптимизации сайта

Следующая статья: Как правильно формировать метатеги и заголовки https://capweb.ru/kak_pravilno_formirovat_metategi_i_zagolovki.html

Предыдущая статья: "Котинг, котверсия, котент" https://capweb.ru/koting_kotversiya_kotent.html

Позиции сайта veragold.ru на декабрь 2014 г.
reative
nalytics
romotion

Статьи от CapWeb

Видео с ежегодного весеннего форума по практической безопасности Positive Hack Days

P S Спасибо Яндексу, что удалили свой видео-сервис) Если найду видос - обязательно... Подробнее >>

Качественный корпоратив — залог процветания компании!

Главной целью организации праздника является улучшение атмосферы, микроклимата в коллективе. Основным средством для достижения этого является... Подробнее >>

Бренд, товарный знак, товарная марка

Товарный знак — это символ фирмы, собирательный образ компании. Подробнее >>

Полное руководство по заработку на информационных сайтах

Оставьте Вашу контактную информацию, и мы свяжемся с Вами!

Получайте горячие новости интернет-маркетинга и вечную скидку 5%!