О докладчике

Миндубаев РамазанTeam Lead SEO TRINETАвтор сервиса iSemanticБлогер

Опыт

Robots.txtЧто, для чего, как

User-agent Disallow Allow *,$,# Host Sitemap.xml Clean-param Crawl-Delay Как проверить Фишки

О чем поговорим

User-agent

User-agent

Основные:• User-Agent: * • User-Agent: Yandex • User-Agent: Googlebot • User-Agent: Mail.RuИныеBad robots

Disallow

Открыт для индексации

Disallow: / #отсутствует Allow: #пустое значение отсутствует

Закрыты сервисные страницы

Мета-тег / robotsКонфиденциальные документы (!)- Смс- Заказы клиентов- Адреса доставки- Контактные телефоны- И т.д.

Закрыты админ страницы

Мета-тег / robotsАдмин страницы:- CMS (!)

Что еще закрыть?

• страницы действий;• корзины с товарами;• встроенный поиск;• неоптимизированные страницы сортировки;• неканонические страницы отображения

товаров;• страница с перечнем всех товаров категории;

Что еще закрыть?

• страницы действий;• корзины с товарами;• встроенный поиск;• неоптимизированные страницы сортировки;• неканонические страницы отображения

товаров;• страница с перечнем всех товаров категории;

Что еще закрыть?

• неоптимизированные фильтр страницы;• неоптимизированные выборки фильтров из

ползунков;

Allow

Что открыть?

• Папка с картинками;• Боевые страницы;• Служебные страницы;• Информационные страницы;• Страницы пагинации.

* $ #

Спецсимвол *

* - любая (в т.ч. пустая) последовательность символов;По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *

Спецсимвол *

* - любая (в т.ч. пустая) последовательность символов;По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *

Спецсимвол *

User-agent: *Disallow: /cgi-bin*Disallow: /cgi-bin

Спецсимвол $

$ - отменяет действие *

User-agent: *Disallow: /example$

Закрыт - /exampleОткрыт - /example.html

Спецсимвол #

# - комментарий

Host

Главное зеркало

Host: site.ru

В случае с https

Host: https://site.ru

Sitemap.xml

Карта сайта

Sitemap: http://site.ru/sitemap.xml

Все страницыНепроиндексированные

Clean-param

Clean-param

Для динамических параметры, которые не влияют на их содержимое:• utm;• Id;• ref;Clean-param: gclid&yclid&ymclid&_openstat&frommarket&utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_email&utm_nooverride&

Craw-delay

Clean-param

Минимальной задержки между индексацией страниц

Crawl-Delay: 5

Как составить и проверить

Как составить

User: *Disallow: /zakrilSitemap: http://domen.ruHost: domen.ruClean-param: Наш стандартCrawl-delay: 5https://webmaster.yandex.ru/tools/robotstxt/

Как проверить

Валидаторhttps://webmaster.yandex.ru/tools/robotstxt/

Как проверить

Фишки

Фишки

• .txt• 200 код• Не более 32 кб

Фишки

Фишки

Отвечу на ваши вопросы

Миндубаев Рамазан | тел.: +7 (981) 103-84-20 e-mail: mr@trinet.ru

Санкт-ПетербургГельсингфорсская 2Ател./факс: +7(812) 303-8743

МоскваTверской бульвар, 13тел./факс: +7(495) 545-4522