Зачем анализировать логи сервера, как это поможет SEO

Эффективная оптимизация интернет-ресурса для продвижения в поисковых системах давно перестала представлять собой выделение ключей в тексте тегами <stront>. Специалисты изучают логи серверов, где размещены сайты. И это помогает с SEO.

Для получения ценной информации о поведении поисковых ботов в пределах конкретных сайтов, достаточно проанализировать логи. Процесс непростой, потому следует довериться продвинутому специалисту либо приобрести сопутствующее программное обеспечение.

Лог-файлы: что это

Файлы с расширением .log представляют собой обыкновенные текстовые документы. Открыть их можно при помощи стандартного приложения Windows «Блокнот» или посредством «Notepad++». Внутри ожидает информация не только по действиям поисковых ботов, но и по действиям посетителей ресурса. В частности, это:

1. Фиксация точной даты и времени посещения.
2. УРЛы.
3. Реферер юзеров (откуда пришёл конкретный пользователь).
4. Статус, код и ответ.
5. Прочая инфа вплоть до времени загрузки страниц.

Зачем нужен анализ .log-файлов?

Из проведённого анализа сможете выделить следующее:

• как ботом сканируется ресурс;
• какие страницы ресурса не индексируются (поисковый бот до них не добирается);
•  что конкретно требует оптимизации и насколько приоритетна данная задача;
• правильно ли расходуется краулинговый бюджет.

Рекомендуем изучать лог-файлы минимум за последние 6 месяцев, после проводить внутреннюю оптимизацию. Это скажется на:

• повышении видимости сайта в поисковых системах Yandex и Google;
• увеличении прироста органического трафика;
• устранении проблем с SEO-оптимизацией, ранее незамеченных.

 Читайте также

 Как оптимизировать страницу 404

Удастся понять:

• какие страницы индексируются поисковыми ботами;
• каким образом происходит перемещение по сайту (карте);
• периодичность посещения определённых страниц;
• вследствие чего получено «письмо счастья» с уведомлением о блокировке ресурса.

Важно знать: непосещаемые или редко посещаемые веб-страницы могут выпасть из индекса (нерелевантные, у конкурентов более информативные и т.д.). Часто посещаемые ботом веб-страницы достойны дополнительного внимания, сделайте их информативнее, дополните и т.п.

Когда .log-файлам следует уделить больше внимания

У небольших интернет-проектов с 10, 100, 200 страницами, как правило редко возникают проблемы с оптимизацией. Если какая-то из страниц выпадет из индекса или будет получать слишком мало трафика, это довольно легко заметить. Если же число страниц перевалило за несколько тысяч, то избежать ошибок гораздо сложнее и анализ .log-файлов принесет ощутимую пользу.

Второй случай связан с переездом на новое доменное имя. Аналогично со сменой хостинга или сервера. Некоторые данные искажаются, теряются, изменяются – подобное всегда сказывается на индексации ресурса. Отрицательно. Проконтролируйте процесс самостоятельно, потеряв при переезде минимум органического трафика из поисковых систем Яндекс и Гугл.

Анализ логов для эффективного краулинга

На масштабных ресурсах поисковые боты часто не успевают проиндексировать все страницы, так как расходуют краулинговый бюджет – время на проверку. Чтобы этого избежать необходима правильная перелинковка и корректно настроенный файл sitemap.

Log – позволяет понять, как действуют боты в пределах сайта: какие страницы сканируют в первую очередь, а к какие – в последнюю, и оптимизировать их работу. Эффективный краулинг – важное условие поискового продвижения, ведь SEO не даст результатов, если ПС не сможет увидеть изменения.

Настройка краулинга и разбор написанного в логах – задачи непростые. Они требуют специализированных знаний. Основная трудность – большие объемы почти не структурированных данных. Потому, если вы хотите заняться анализом самостоятельно, то понадобится большой запас терпения и, первое время, помощь специалиста.