Эффективная оптимизация интернет-ресурса для продвижения в поисковых системах давно перестала представлять собой выделение ключей в тексте тегами <stront>. Специалисты изучают логи серверов, где размещены сайты. И это помогает с SEO.
Для получения ценной информации о поведении поисковых ботов в пределах конкретных сайтов, достаточно проанализировать логи. Процесс непростой, потому следует довериться продвинутому специалисту либо приобрести сопутствующее программное обеспечение.
Лог-файлы: что это
Файлы с расширением .log представляют собой обыкновенные текстовые документы. Открыть их можно при помощи стандартного приложения Windows «Блокнот» или посредством «Notepad++». Внутри ожидает информация не только по действиям поисковых ботов, но и по действиям посетителей ресурса. В частности, это:
- Фиксация точной даты и времени посещения.
- УРЛы.
- Реферер юзеров (откуда пришёл конкретный пользователь).
- Статус, код и ответ.
- Прочая инфа вплоть до времени загрузки страниц.
Зачем нужен анализ .log-файлов?
Из проведённого анализа сможете выделить следующее:
- как ботом сканируется ресурс;
- какие страницы ресурса не индексируются (поисковый бот до них не добирается);
- что конкретно требует оптимизации и насколько приоритетна данная задача;
- правильно ли расходуется краулинговый бюджет.
Рекомендуем изучать лог-файлы минимум за последние 6 месяцев, после проводить внутреннюю оптимизацию. Это скажется на:
- повышении видимости сайта в поисковых системах Yandex и Google;
- увеличении прироста органического трафика;
- устранении проблем с SEO-оптимизацией, ранее незамеченных.
Удастся понять:
- какие страницы индексируются поисковыми ботами;
- каким образом происходит перемещение по сайту (карте);
- периодичность посещения определённых страниц;
- вследствие чего получено «письмо счастья» с уведомлением о блокировке ресурса.
Важно знать: непосещаемые или редко посещаемые веб-страницы могут выпасть из индекса (нерелевантные, у конкурентов более информативные и т.д.). Часто посещаемые ботом веб-страницы достойны дополнительного внимания, сделайте их информативнее, дополните и т.п.
Когда .log-файлам следует уделить больше внимания
У небольших интернет-проектов с 10, 100, 200 страницами, как правило редко возникают проблемы с оптимизацией. Если какая-то из страниц выпадет из индекса или будет получать слишком мало трафика, это довольно легко заметить. Если же число страниц перевалило за несколько тысяч, то избежать ошибок гораздо сложнее и анализ .log-файлов принесет ощутимую пользу.
Второй случай связан с переездом на новое доменное имя. Аналогично со сменой хостинга или сервера. Некоторые данные искажаются, теряются, изменяются – подобное всегда сказывается на индексации ресурса. Отрицательно. Проконтролируйте процесс самостоятельно, потеряв при переезде минимум органического трафика из поисковых систем Яндекс и Гугл.
Анализ логов для эффективного краулинга
На масштабных ресурсах поисковые боты часто не успевают проиндексировать все страницы, так как расходуют краулинговый бюджет – время на проверку. Чтобы этого избежать необходима правильная перелинковка и корректно настроенный файл sitemap.
Log – позволяет понять, как действуют боты в пределах сайта: какие страницы сканируют в первую очередь, а к какие – в последнюю, и оптимизировать их работу. Эффективный краулинг – важное условие поискового продвижения, ведь SEO не даст результатов, если ПС не сможет увидеть изменения.
Настройка краулинга и разбор написанного в логах – задачи непростые. Они требуют специализированных знаний. Основная трудность – большие объемы почти не структурированных данных. Потому, если вы хотите заняться анализом самостоятельно, то понадобится большой запас терпения и, первое время, помощь специалиста.
