В империи царей мне довелось бывать только зимой, и я мечтал поехать туда летом, чтобы увидеть ее в свечении долгих летних дней, когда солнце садится всего на несколько минут. Я знал Санкт-Петербург, Москву, но мне еще неведом был Нижний Новгород.
А можно ли жить, не повидав Нижнего Новгорода?
(Теофиль Готье, "Путешествие в Россию")
+7(910)140-50-90 (Кэп)

Общение с Яндексом по поводу robots.txt

Всегда полагал, что для User-agent: Yandex достаточно прописать хост, а все остальное запихнуть в User-agent: *.

Хотя долгое время копировал все правила для каждого User-agent "на всякий случай".

Теперь возвращаюсь к этому, и вот причина.

Недавно один нехороший ресурс подкинул мне "подарок" в виде дубля главной страницы в индексе: https://capweb.ru/?utm_campaign=factus&utm_content=search&utm_medium=organic&utm_source=factus.ru

Проиндексировалась она так, потому что с сайта ссылка стоит именно с такими параметрами, и я уже начинаю думать, не есть ли это тот самый легкий способ подпортить жизнь конкурентам - кому надо - забирайте, дарю, сам не увлекаюсь этим, предпочитая честную игру.

Работает только если на сайте не прописаны rel="canonical" (я уже прописал).

Спросил на всякий случай у Яндекса, правильно ли я сделал, что прописал в robots.txt

Disallow: /*?utm_campaign=
Disallow: /*?utm_content=
Disallow: /*?utm_medium=
Disallow: /*?utm_source=
Clean-param: sid&start&utm_campaign&utm_content&utm_medium&utm_source

Ответ Платона Щукина был такой:

Цитата

Сейчас с Вашей стороны все сделано верно, в соответствии с директивой "Clean-param" страница пропадёт из выдачи после следующих 1-2 обновлений поисковых баз. Чтобы такие страницы не посещались роботом, запрещающие правила нужно разместить сразу после директивы "User-agent: Yandex" (сейчас правила не учитываются роботом).

Рекомендую Вам также воспользоваться инструментом проверки файла robots.txt: http://webmaster.yandex.ru/robots.xml. Непосредственно в инструменте Вы можете корректировать указания и проверять, запрещены или разрешены необходимые Вам страницы к индексированию.

 

На что я попытался уточнить: правильно ли я понял, что правила для User-agent: * не учитываются поисковыми роботами Яндекса?

Ответ, занавес

Цитата

В какой-то мере да. Робот обращает внимание на "User-agent: * " при отсутствии указания "User-agent: Yandex".

Читайте также: О важности поисковой оптимизации сайта

Следующая статья: Как правильно формировать метатеги и заголовки https://capweb.ru/kak_pravilno_formirovat_metategi_i_zagolovki.html

Предыдущая статья: "Котинг, котверсия, котент" https://capweb.ru/koting_kotversiya_kotent.html

Позиции сайта veragold.ru на декабрь 2014 г.
reative
nalytics
romotion

Статьи от CapWeb

Здесь заказывают адаптивный дизайн для сайта!

Для создания качественного адаптивного дизайна следует учитывать, что не весь десктопный контент может поддерживаться в силу скорости Интернет,... Подробнее >>

С чего начинается создание сайта

Но вот почему-то лучше всего получаются проекты, созданные на основе несколько архаичной версии ТЗ: «делайте все на ваше усмотрение, чтобы... Подробнее >>

Как создать собственное дополнение для Mozilla Firefox

У нас мало времени, и я хочу открыть 79 сайтов в Mozilla Firefox нажатием одной кнопки. Подробнее >>

Преимущества видеоформата в сфере рекламы

Реклама в сети дешевле и эффективнее. Вы не скованы узкими временными рамками, и разбросом целевой аудитории. Интернет позволяет вам разместить... Подробнее >>

Оставьте Вашу контактную информацию, и мы свяжемся с Вами!

Получайте горячие новости интернет-маркетинга и вечную скидку 5%!