Индексация сайта: статистика страниц в поиске или почему поисковики игнорируют

Когда пользователь ищет в интернете информацию или товар, он вводит в строку поиска запрос. Поисковая система считывает этот запрос и выдает из базы страницы, максимально удовлетворяющие пользовательский интерес. Таким образом, чтобы появиться в выдаче, страница должна быть в базе. Процесс занесения веб-ресурсов в базу поисковиков и называют индексацией.

Как проверить индексацию сайта

Есть несколько основных способов проверки:

• Ввести запрос в поисковик с помощью специального оператора «site»:
• site: https//imya_saita.ru.
• Использовать инструменты Google Search Console, «Яндекс.Вебмастер».
• Использовать специальные программы или установить расширение для браузера. Бесплатные сервисы SEOGadget, XSEO.in позволяют проверить до тридцати сайтов одновременно.

По результатам проверки, количество индексированных элементов в обеих поисковых системах должно быть примерно одинаковым. Допустимо, если Google страниц незначительно больше, но если разница существенная, значит, на веб-сайт наложены ограничивающие фильтры.

Сроки индексации

Бывают случаи, когда сайт длительное время не появляется в выдаче. Но как понять, стоит ли волноваться из-за задержки индексации? Приблизительные сроки внесения в базу большого, многостраничного, разветвленного сайта — от одного до трех месяцев. В среднем же, Яндекс индексирует веб-сайты за две-три недели, а Google — за семь дней. Если за это время показатели сайта не изменились, то рекомендуется подождать еще дней пять. Если и после контрольного срока индексация не произошла, пора искать причину в веб-ресурсе.

Способы ускорить индексацию

Сократить время на процесс добавления в индекс можно с помощью инструментов «Индексирование» из Яндекс.Вебмастера или «Проверка URL» от Google. Здесь доступно ручная отправка на проверку до 20 страниц в сутки. Сео-специалисты рекомендуют в первую очередь проиндексировать важные категории и самые востребованные товары. Ссылку на главную страницу сайта указывать не нужно — она и так индексируется в первую очередь.

Еще больше ускорят процедуру индексации внешние ссылки. Размещать бэклинки следует только на проверенных, авторитетных источниках, наращивая количество постепенно. В противном случае неразборчивая и торопливая оптимизация приведет к санкциям от поисковиков. Быстрее появиться в выдаче интернет-ресурсу поможет и размещение в каталогах, онлайн-справочниках, отметка на Яндекс.Картах и Google Maps, упоминания и собственные аккаунты в социальных сетях.

Поисковые системы игнорируют сайт

Существует такое понятие как «краулинговый бюджет». Оно означает лимиты на обработку данных поисковыми ботами. За единицу времени бот может проиндексировать только определенное количество страниц. Понятно, что важно убрать из поля видимости ботов, те страницы, что можно оставить без внимания, не уменьшая ценности ресурса.

Robots.txt

Этот файл — инструкция для поисковых роботов, показывающая им, какие файлы надо индексировать, а какие — пропустить. Не нуждаются в индексации административные части сайта; пользовательские разделы: личный кабинет, корзина, форма регистрации; страницы с сортировкой и фильтрацией. Корректно заполненный документ robots.txt исключает множество распространенных проблем, возникающих при оптимизации.

Sitemap.xml

В карте сайта прописывается структура веб-ресурса, данные о разделах и внутренних каталогах. Здесь хранится информация о тех страницах, что должны быть внесены в индекс. Если сайт регулярно обновляется и дополняется, важно следить, чтобы новые страницы вносились в Sitemap.xml.

Внутренние ссылки

Когда боты подключают веб-ресурс к индексу, они анализируют содержание, структуру, переходят со страницы на страницу. Внутренние ссылки ускоряют и упрощают им процесс работы. Поэтому важно применять навигационные цепочки с внедренной микроразметкой, чтобы максимально оптимизировать перемещение по сайту. Это особенно актуально для страниц с более чем двухуровневой вложенностью.

Перелинковка и навигационные цепочки помогают не только поисковым роботам, но и посетителям сайта. Удобно, когда из карточки товара можно перейти в отзывы, или информационная статья имеет ссылки на упоминаемые продукты. Такой подход повышает глубину просмотра, количество переходов по внутренним страницам. В результате улучшается ранжирование и конверсия.

Страница не индексируется

Чтобы началась индексация, сайт и его карты должны быть загружены в Вебмастера поисковиков. В Search Console и Яндекс. В вебмастере есть раздел с исключенными из поиска страницами. Причины исключения там также указываются. Они могут быть разными: плохое качество контента, дубли блоков информации, серверные ошибки.

Боты не станут индексировать страницу, наполненную чужим, неуникальным контентом. Или ту, что не отвечает на запрос, не релевантна ему. Чтобы не столкнуться с этой проблемой, следует наполнять веб-сайт качественным контентом, использовать умеренное количество подходящих содержанию ключевых слов.

Панели Вебмастеров позволяют посмотреть детальную статистику по каждой странице. Пристального внимания заслуживает показатель отказов, для Яндекс.Метрики он не должен подниматься выше 20%, для Google Analytics допустимым значением является 60%. Значительная разница обусловлена отличающимся подходом двух поисковых систем к тому, что считать отказом.

Страница индексируется, а трафика нет

Этап индексации — только начало пути продвижения сайта. Одновременно в сети работают миллионы аналогичных веб-ресурсов, и придется приложить усилия, чтобы обойти конкурентов. Чтобы привлечь максимум веб-трафика на сайте должна вестись непрерывная SEO-оптимизация, и только белыми методами. Повышение релевантности запросам, улучшение качества текстов, создание собственного информационного блога и устранение технических ошибок помогут увеличить поток посетителей.

При обнаружении любых неполадок с индексацией в первую очередь анализируются рассмотренные выше пункты:

• файлы robots.txt и sitemap.xml;
• качество перелинковки;
• удобство навигации;
• уникальность и релевантность контента.

После устранения недочетов страницу отправляют на индексацию через панель Вебмастеров. В отдельных случаях причина отсутствия страницы в выдаче связана с более серьезными причинами. Самостоятельно обнаружить их и устранить затруднительно, поэтому, если первичный анализ не дал результатов, рекомендуется прибегнуть к помощи профессионалам по seo продвижению.