Я сам сделал сайт, что дальше? Как его продвигать? Читайте на нашем сайте.
+7(910)140-50-90 (Кэп)

Общение с Яндексом по поводу robots.txt

Всегда полагал, что для User-agent: Yandex достаточно прописать хост, а все остальное запихнуть в User-agent: *.

Хотя долгое время копировал все правила для каждого User-agent "на всякий случай".

Теперь возвращаюсь к этому, и вот причина.

Недавно один нехороший ресурс подкинул мне "подарок" в виде дубля главной страницы в индексе: https://capweb.ru/?utm_campaign=factus&utm_content=search&utm_medium=organic&utm_source=factus.ru

Проиндексировалась она так, потому что с сайта ссылка стоит именно с такими параметрами, и я уже начинаю думать, не есть ли это тот самый легкий способ подпортить жизнь конкурентам - кому надо - забирайте, дарю, сам не увлекаюсь этим, предпочитая честную игру.

Работает только если на сайте не прописаны rel="canonical" (я уже прописал).

Спросил на всякий случай у Яндекса, правильно ли я сделал, что прописал в robots.txt

Disallow: /*?utm_campaign=
Disallow: /*?utm_content=
Disallow: /*?utm_medium=
Disallow: /*?utm_source=
Clean-param: sid&start&utm_campaign&utm_content&utm_medium&utm_source

Ответ Платона Щукина был такой:

Цитата

Сейчас с Вашей стороны все сделано верно, в соответствии с директивой "Clean-param" страница пропадёт из выдачи после следующих 1-2 обновлений поисковых баз. Чтобы такие страницы не посещались роботом, запрещающие правила нужно разместить сразу после директивы "User-agent: Yandex" (сейчас правила не учитываются роботом).

Рекомендую Вам также воспользоваться инструментом проверки файла robots.txt: http://webmaster.yandex.ru/robots.xml. Непосредственно в инструменте Вы можете корректировать указания и проверять, запрещены или разрешены необходимые Вам страницы к индексированию.

 

На что я попытался уточнить: правильно ли я понял, что правила для User-agent: * не учитываются поисковыми роботами Яндекса?

Ответ, занавес

Цитата

В какой-то мере да. Робот обращает внимание на "User-agent: * " при отсутствии указания "User-agent: Yandex".

Читайте также: О важности поисковой оптимизации сайта

Следующая статья: Как правильно формировать метатеги и заголовки https://capweb.ru/kak_pravilno_formirovat_metategi_i_zagolovki.html

Предыдущая статья: "Котинг, котверсия, котент" https://capweb.ru/koting_kotversiya_kotent.html

Позиции сайта veragold.ru на декабрь 2014 г.
reative
nalytics
romotion

Статьи от CapWeb

MODx Cloud. Как создать сайт на MODx за 10 минут. Как создать собственное дополнение для Mozilla Firefox Ремаркетинг, ретаргетинг. FAQ

В двух словах о ремаркетинге, если вдруг кто-то не знает, что это такое. Допустим, к Вам на сайт заходит пользователь, но заказ не делает. Потом... Подробнее >>

Как вернуть заголовок окна в Firefox

Всем добра, никогда не изменяйте любимым. Подробнее >>

Оставьте Вашу контактную информацию, и мы свяжемся с Вами!

Получайте горячие новости интернет-маркетинга и вечную скидку 5%!