Создание сайта в Нижнем Новгороде дешево — принесет ли миллионную прибыль посредственный сайт?
+7(968)000-10-11 (в Москве)

Общение с Яндексом по поводу robots.txt

Всегда полагал, что для User-agent: Yandex достаточно прописать хост, а все остальное запихнуть в User-agent: *.

Хотя долгое время копировал все правила для каждого User-agent "на всякий случай".

Теперь возвращаюсь к этому, и вот причина.

Недавно один нехороший ресурс подкинул мне "подарок" в виде дубля главной страницы в индексе: http://capweb.ru/?utm_campaign=factus&utm_content=search&utm_medium=organic&utm_source=factus.ru

Проиндексировалась она так, потому что с сайта ссылка стоит именно с такими параметрами, и я уже начинаю думать, не есть ли это тот самый легкий способ подпортить жизнь конкурентам - кому надо - забирайте, дарю, сам не увлекаюсь этим, предпочитая честную игру.

Работает только если на сайте не прописаны rel="canonical" (я уже прописал).

Спросил на всякий случай у Яндекса, правильно ли я сделал, что прописал в robots.txt

Disallow: /*?utm_campaign=
Disallow: /*?utm_content=
Disallow: /*?utm_medium=
Disallow: /*?utm_source=
Clean-param: sid&start&utm_campaign&utm_content&utm_medium&utm_source

Ответ Платона Щукина был такой:

Цитата

Сейчас с Вашей стороны все сделано верно, в соответствии с директивой "Clean-param" страница пропадёт из выдачи после следующих 1-2 обновлений поисковых баз. Чтобы такие страницы не посещались роботом, запрещающие правила нужно разместить сразу после директивы "User-agent: Yandex" (сейчас правила не учитываются роботом).

Рекомендую Вам также воспользоваться инструментом проверки файла robots.txt: http://webmaster.yandex.ru/robots.xml. Непосредственно в инструменте Вы можете корректировать указания и проверять, запрещены или разрешены необходимые Вам страницы к индексированию.

 

На что я попытался уточнить: правильно ли я понял, что правила для User-agent: * не учитываются поисковыми роботами Яндекса?

Ответ, занавес

Цитата

В какой-то мере да. Робот обращает внимание на "User-agent: * " при отсутствии указания "User-agent: Yandex".

Читайте также: О важности поисковой оптимизации сайта

Следующая статья: Как правильно формировать метатеги и заголовки http://capweb.ru/kak_pravilno_formirovat_metategi_i_zagolovki.html

Предыдущая статья: "Котинг, котверсия, котент" http://capweb.ru/koting_kotversiya_kotent.html

Позиции сайта veragold.ru на декабрь 2014 г.
reative
nalytics
romotion

Статьи от CapWeb

Как отправить запрос Яндексу по поводу ранжирования сайта Фирменный стиль и брендбук – в чем различие

Подход к созданию фирменного стиля отрабатывался годами, и в какой-то момент уже стал монотонной процедурой, состоящей из ряда однотипных, рутинных... Подробнее >>

Как правильно продвигать сайт услуг или интернет-магазин Когда htaccess не в радость...

На форумах часто встречаются просьбы помочь сделать редирект, при этом переписка может с почти равной вероятностью заканчиваться положительно... Подробнее >>

Оставьте Вашу контактную информацию, и мы свяжемся с Вами!

Оставьте Вашу контактную информацию и мы свяжемся с Вами!