Я сам сделал сайт, что дальше? Как его продвигать? Читайте на нашем сайте.
+7(968)000-10-11 (в Москве)

Общение с Яндексом по поводу robots.txt

Всегда полагал, что для User-agent: Yandex достаточно прописать хост, а все остальное запихнуть в User-agent: *.

Хотя долгое время копировал все правила для каждого User-agent "на всякий случай".

Теперь возвращаюсь к этому, и вот причина.

Недавно один нехороший ресурс подкинул мне "подарок" в виде дубля главной страницы в индексе: http://capweb.ru/?utm_campaign=factus&utm_content=search&utm_medium=organic&utm_source=factus.ru

Проиндексировалась она так, потому что с сайта ссылка стоит именно с такими параметрами, и я уже начинаю думать, не есть ли это тот самый легкий способ подпортить жизнь конкурентам - кому надо - забирайте, дарю, сам не увлекаюсь этим, предпочитая честную игру.

Работает только если на сайте не прописаны rel="canonical" (я уже прописал).

Спросил на всякий случай у Яндекса, правильно ли я сделал, что прописал в robots.txt

Disallow: /*?utm_campaign=
Disallow: /*?utm_content=
Disallow: /*?utm_medium=
Disallow: /*?utm_source=
Clean-param: sid&start&utm_campaign&utm_content&utm_medium&utm_source

Ответ Платона Щукина был такой:

Цитата

Сейчас с Вашей стороны все сделано верно, в соответствии с директивой "Clean-param" страница пропадёт из выдачи после следующих 1-2 обновлений поисковых баз. Чтобы такие страницы не посещались роботом, запрещающие правила нужно разместить сразу после директивы "User-agent: Yandex" (сейчас правила не учитываются роботом).

Рекомендую Вам также воспользоваться инструментом проверки файла robots.txt: http://webmaster.yandex.ru/robots.xml. Непосредственно в инструменте Вы можете корректировать указания и проверять, запрещены или разрешены необходимые Вам страницы к индексированию.

 

На что я попытался уточнить: правильно ли я понял, что правила для User-agent: * не учитываются поисковыми роботами Яндекса?

Ответ, занавес

Цитата

В какой-то мере да. Робот обращает внимание на "User-agent: * " при отсутствии указания "User-agent: Yandex".

Читайте также: О важности поисковой оптимизации сайта

Следующая статья: Как правильно формировать метатеги и заголовки https://capweb.ru/kak_pravilno_formirovat_metategi_i_zagolovki.html

Предыдущая статья: "Котинг, котверсия, котент" https://capweb.ru/koting_kotversiya_kotent.html

Позиции сайта veragold.ru на декабрь 2014 г.
reative
nalytics
romotion

Статьи от CapWeb

Почему мы успешно занимаемся продвижением сайтов

Это и приличная база знаний, позволяющая оптимальным образом соткать натуральную ткань из php, html, css, js, svg, swf и т. д. и должным образом... Подробнее >>

Креатив на службе бренда

Попробуем представить, как бренды расположены в голове потребителя. Подробнее >>

Типы ремаркетинга в контекстно-медийной сети Google

Основные цели ремаркетинга опубликованы на слайде. В первую очередь это продать-допродать услугу сомневающимся пользователям, также допродать... Подробнее >>

Как продвинуть сайт в нескольких регионах

В данном видео Дмитрий еще раз лаконично объясняет, что у конкурента с точечной привязкой к конкретному городу всегда больше шансов выйти в топ,... Подробнее >>

Оставьте Вашу контактную информацию, и мы свяжемся с Вами!

Получайте горячие новости интернет-маркетинга и вечную скидку 5%!