СТУДИЯ ДИЗАЙНА “ВЕБ-АРЕНА”
ПРОФЕССИОНАЛЬНОЕ СОЗДАНИЕ САЙТОВ, ПОИСКОВОЕ ПРОДВИЖЕНИЕ
Сегодня 25 сентября 2017 года

(495) 943-12-03
 
 
 
Личный кабинет Статьи и материалы Контакты

НАШИ УСЛУГИ


КОНСУЛЬТАНТ
ОТКЛЮЧЕН
Здесь Вы
можете заказать
обратный звонок!

ЗАКАЗАТЬ САЙТ

Управление таймаутом, или Crawl-delay, может пригодиться вашему сайту, когда есть основания полагать, что поисковый робот не успевает считывать страницы с сервера. Такое случается, когда сервер перегружен или имеет низкокачественную связь. Он просто не успевает отрабатывать запросы на закачку, и ему требуется помощь со стороны человека. Специально для таких случаев создана директива Crawl-delay, она указывает поисковому роботу минимальное время в секундах между окончанием закачки предыдущей страницы и началом закачки следующей.

Поисковые роботы других систем также способны считывать директиву Crawl-delay, но не все они полностью следуют стандарту в обработке файла robots.txt. Поэтому специалисты советуют помещать её в группе, начинающейся с User-Agent, сразу вслед за командами Disallow или Allow.

Например:

User-agent: *

Disallow: /search

Crawl-delay: 2 # (две секунды)

или

User-agent: Yandex

Crawl-delay: 4.5 #

Преимущество работы с таймаутом роботов Яндекса – это поддержание дробных значений (например, 0,5 секунды). Хотя такой подход не предусматривает заход робота на сайт раз в несколько миллисекунд, он способствует большей свободе поведения этого робота, ускоряя полный обход сайта.

Интересно, что не так давно Яндекс добавил поисковому роботу ещё одну функцию – поддержку скачивания сжатого контента (GZIP). При каждом запросе документа, машина выдаёт отчётное «Accept-Encoding: gzip,deflate». Такой подход, при правильно настроенном сервере, где расположен ваш сайт, снижает объемы обмена трафиком между ним и роботом

К сожалению, здесь не всё так гладко: когда информация сжата, она передаётся со значительной нагрузкой на CPU сервера. А если это происходит, возникают существенные проблемы. Решаются они несколькими способами, один из которых – правильное размещение директивы Crawl-delay.

Слишком большая нагрузка на сервер также может возникать при высокой посещаемости размещённых на нём ресурсов (сюда же можно отнести DDOS-атаки), при некачественном хостинге или наличии устаревшего оборудования.


 
 
 
На главную | Создание сайтов | Продвижение сайтов | Поддержка сайтов | Разработка баннеров

Профессиональное создание сайтов для малого и среднего бизнеса в г. Москва и Московской области.
Разработка сайтов-визиток, корпоративных сайтов, интернет-магазинов и каталогов на любой платформе.
Услуги по поддержке и поисковому продвижению интернет-ресурсов, ре-дизайн сайтов, перенос на CMS.