Как проверить индексацию страницы в гугле
Перейти к содержимому

Как проверить индексацию страницы в гугле

  • автор:

Как проверить индексацию страницы и сайта в Google

Как проверить индексацию страницы и сайта в Google

Здесь всё просто: указываете URL страницы, проверяете на наличие её в индексе, и если нет ошибок и противоречий, отправляете на индексацию. Серч коносль работает крайне медленно, поэтому много ссылок отправить быстро не получится.

Обратите внимание на инструменты (там же в новой Серч консоли) Эффективность и Покрытие. Они показывают более масштабную картинку и дают статистику по показам.

Файлы Sitemap

  • стандартный формат sitemap
  • rss фид

Как проверить индексацию страницы и сайта в Google

Индексация Sitemap — это не индексация всего сайта. И Google не обязан проиндексировать всё. Очень часто встречающееся заблуждение, что в индексе должны быть все страницы. Вообще, нет смысла на крупных сайтах держать группы sitemap с миллионами страниц. Достаточно в sitemap указывать категории, далее Гугл построит скелет сайта и сам найдёт все ссылки.

На скрине видим здоровую ситуацию, sitemap читается, ошибок нет, практически всё проиндексировано. В итоге у нас цифры (кол-во страниц) 279 со Статуса индексирования и 161 с Sitemap.

Оператор Site

Поисковый оператор site изначально служил для оценки деятельности сайта в поиске, но со временем утратил свою актуальность и не рекомендуется гуглерами для проверки индексации сайта.

С официального форума для веб-мастеров Google:

Как проверить индексацию страницы и сайта в Google

Как проверить индексацию страницы и сайта в Google

Как проверить индексацию страницы и сайта в Google

Как проверить индексацию страницы и сайта в Google

Сервисы проверки индексации страниц

Как проверить индексацию страницы и сайта в Google

Так же Серпхант умеет проверять позиции, имеет инструменты для оценки эффективности и мониторинга сайтов, а так же есть функция анализа страниц конкурентов.

Инструменты статистики

Как проверить индексацию страницы и сайта в Google

Но это популярные страницы со входящим трафиком отовсюду. Списки страниц на скриншоте обрезаны.

Сегментируем страницы по поисковой системе, в частности, Google (еще можно смотреть содержимое поискового трафика Google):

Как проверить индексацию страницы и сайта в Google

100. Но реальную пользу можно извлечь где-то из 50 страниц, что в не согласуется с цифрами, полученными выше. Далее можно отслеживать конверсии и прийти к выводу, что действительно первостепенно для сайта, и в каком русле надо продолжить работу.

По урлам и запросам (Последняя поисковая фраза в Метрике, к примеру) можно определить, какие страницы приводят посетителей, какие нет и на что вообще надо тратить время. Если ожидаемых результатов нет, тогда страница переделывается (дописывается, переписыватся, перевёрстывается — нужное подчеркнуть) и отправляется через Инструмент проверки URL в Search Console. Дополнительное средство для анализа — Отчет об эффективности.

Быстрый способ проверить индексацию страниц в Яндексе и Google

Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.

Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.

Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.

Проблема при мониторинге индексации

Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

    («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Быстрый способ проверить индексацию страниц в Яндексе и Google

Быстрый способ проверить индексацию страниц в Яндексе и Google

  • Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

Быстрый способ проверить индексацию страниц в Яндексе и Google

В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.

Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.

Инструмент онлайн-проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».

  • одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
  • возможность проверки сразу всех URL сайта по XML-карте;
  • нет ограничения по количеству URL.
  • работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;
  • выгрузка отчетов в формате XLSX;
  • уведомление на почту об окончании сбора данных;
  • хранение отчетов неограниченное время на сервере PromoPult.

Как работает инструмент проверки индексации

Шаг 1. Добавление URL

Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:

  • Добавление XML-карты сайта (способ подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).

Быстрый способ проверить индексацию страниц в Яндексе и Google

  • Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).

Быстрый способ проверить индексацию страниц в Яндексе и Google

  • Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).

Быстрый способ проверить индексацию страниц в Яндексе и Google

В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:

  • Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.

Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

Получаем количество проиндексированных страниц — 684 и 1090.

Быстрый способ проверить индексацию страниц в Яндексе и Google

Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

  • Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.

Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

Быстрый способ проверить индексацию страниц в Яндексе и Google

В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.

Шаг 2. Указание ПС

На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.

Быстрый способ проверить индексацию страниц в Яндексе и Google

Шаг 3. Получение результата

После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

Быстрый способ проверить индексацию страниц в Яндексе и Google

Скачать отчет можно в формате XLSX:

Быстрый способ проверить индексацию страниц в Яндексе и Google

В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).

Быстрый способ проверить индексацию страниц в Яндексе и Google

С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:

Быстрый способ проверить индексацию страниц в Яндексе и Google

Сколько стоит использование инструмента

Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной. Анализ первых 100 URL бесплатно.

Анализатор индексации страниц — это только один из инструментов системы PromoPult. В разделе «Профессиональные инструменты» вы найдете чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности.

Многие инструменты бесплатные. Платные же стоят в 2-4 раза дешевле, чем у конкурентов.

Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.

Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:

  • Отдельные директивы для Яндекса и Google в robots.txt. В этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из поисковых роботов — Googlebot или Yandexbot. Нужно проверить файл, и при необходимости исправить директивы.
  • Молодой сайт. Поисковикам требуется время, чтобы добавить все страницы в индекс. Если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
  • Нет XML-карты сайта. В последнее время ее значение для индексирования стало меньше (особенно об этом заявляют представители Google), но тем не менее она помогает поисковикам лучше понимать структуру сайта. Стоит ее создать и разместить в корне сайта.
  • Наличие дублей страниц. Они возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение — найти и устранить дубли.
  • Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение — найти «узкие места» и ускорить работу сайта.
  • Редкая публикация нового контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — планомерно создавать новые страницы с уникальным интересным контентом, например, статьей для блога. Если у вас не хватает времени для такой работы, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах.
  • Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет нескоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
  • Санкции поисковиков. Ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет. В этом случае стоит проверить сайт на наличие фильтров и при необходимости предпринять действия по выходу из-под них.
  • Более 4 уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение — переосмыслить структуру сайта и упростить ее.

Для точной диагностики причин выпадения страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Заключение

Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.

Попробуйте инструмент анализа индексации страниц в действии — предлагаем 100 бесплатных проверок!

Как быстро проверить индексацию сайта в Google и Яндекс

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описала в этом посте способы, которые чаще всего используют SEO-специалисты.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию сайта в консоли вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Обзор» выбрать график «Покрытие»:

Необходимо зайти в Search Console и на вкладке «Обзор» выбрать график «Покрытие»

Зеленым цветом на графике отмечается количество страниц в индексе без ошибок, красным — с ошибками. Перейдя на вкладку «Покрытие», можно детально посмотреть: какие ошибки возникли при индексировании данных страниц и когда они были обнаружены.

какие ошибки возникли при индексировании данных страниц и когда они были обнаружены

Отдельно можно проверить есть ли в индексе конкретная страница. Для этого нужно только вставить интересующий вас URL в строку поиска:

вставить интересующий вас URL в строку поиска

Если все хорошо, вы увидите такое сообщение:

Если все хорошо, вы увидите такое сообщение

Если страница еще не в индексе сайта, вы увидите такое сообщение:

Если страница еще не в индексе сайта, вы увидите такое сообщение

Если вы внесли изменения в страницу, на которой раньше были ошибки, ее можно отправить на переиндексацию с помощью кнопки «Запросить индексирование»:

отправить на переиндексацию

После отправки запроса вы увидите сообщение:

Запросить индексирование

Также с помощью этой кнопки можно самостоятельно отправить новые страницы в очередь на индексацию.

Яндекс. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Проверяйте индексацию в панели вебмастеров

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц без ошибок растет, и они добавляются в индекс.

Количество качественных страниц без ошибок растет, и они добавляются в индекс

Проблемы с индексацией выглядят так:

Проблемы с индексацией выглядят так

На скриншоте — сайт, закрытый от индексации в файле robots.txt

2. Используйте операторы поисковых запросов

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Например, сайт cubing.com.ua находится под фильтром АГС.

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом

С помощью дополнительных инструментов поисковых систем можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

За последний час в индексе Google появились 49 страниц русскоязычной Википедии

Также можно проверить индексацию и вид в поиске одной отдельной страницы с помощью оператора site: или просто добавив нужный вам URL в поисковую строку:

с помощью оператора site

Если поисковые платформы наложили на сайт или страницу санкции и фильтры, то ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы. Для Google это оператор inurl:. Запрос будет таким:

  • inurl:example.com/post/

Для Яндекса это оператор url:. Запрос будет выглядеть так:

  • url:example.com/post/

Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В этом случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — RDS Bar для Google Chrome

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать.

Плагин Seo Magic также показывает количество страниц в индексе Яндекса и Google, при нажатии на интересующую цифру — откроет выдачу поисковой системы. Кроме этого, плагин показывает и другую полезную информацию:

Плагин Seo Magic также показывает количество страниц в индексе

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете список страниц и много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Существует огромное количество бесплатных сервисов для проверки индексации. На мой взгляд, самые удобные и популярные:

    — до 10 отдельных URL или сразу весь домен; — до 100 URL за раз; — можно проверить количество проиндексированных страниц домена в Google, Яндекс, Bing.

Также похожий инструмент существует в сервисах Топвизор и SeRanking, но при использовании платного тарифного плана.

Почему не индексируется сайт

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров и файл robots.txt.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

Ошибка с метатегом robots

5. Ошибка с X-Robot-Tag. X-Robots-Tag — HTTP-заголовок, но, в отличие от метатега robots, он находится не на странице, а непосредственно в файле конфигурации сервера. Вебмастера могут закрыть сайт, внося изменения или запуская тестовую версию, а потом забыть его удалить. Проверить, закрыт ли ваш сайт с помощью X-Robots-Tag, можно в Netpeak Spider или в консоли разработчика:

Ошибка с X-Robot-Tag

6. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для сканирования сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от сканирования, если вы видите у себя в robots.txt эту конструкцию:

  • дубли страниц;
  • неуникальный контент;
  • проблемы с доступностью и скоростью загрузки.

Как ускорить индексацию сайта

Поисковый робот обходит ограниченное количество страниц за раз, в зависимости от размера краулингового бюджета. Но всем хочется, чтобы новые статьи, товары и категории как можно скорее попали в поисковую выдачу и начали приводить посетителей на сайт.

Страницы можно отправить на индексацию принудительно, но есть еще несколько методов для ускорения индексации сайта.

Все новые страницы должны автоматически попадать в карту сайта (sitemap). Благодаря этому файлу роботы лучше понимают структуру сайта и видят все страницы, которые необходимо посетить. Кроме того, в карте сайта можно указать приоритетность и частоту посещения страницы роботом.

Дубли страниц и неуникальный контент — враги индексации, так как они расходуют на себя краулинговый бюджет, и робот просто не доходит до нужных вам страниц. Необходимо следить, чтобы таких страниц на сайте не было.

Большое количество битых страниц, и внутренних редиректов также расходуют краулинговый бюджет. Робот попадает на нерабочие страницы или посещает те, на которых уже был из-за редиректа и не успевает просканировать новые, нужные страницы. Необходимо контролировать, чтобы битых ссылок и ссылок на страницы с внутренними редиректами было как можно меньше, или не было вообще.

Несмотря на то, что файл robots.txt является только рекомендацией, а не четкой инструкцией для роботов, пренебрегать им не надо. Новые страницы должны быть открыты для сканирования и доступны для роботов.

Скорость загрузки страницы — весомый показатель качества сайта. Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Для проверки скорости загрузки страницы используйте PageSpeed Insights и выполняйте предложенные там рекомендации по оптимизации скорости.

Качественная перелинковка не только распределяет внутренний вес со страниц и увеличивает время пребывания посетителя на сайте. По ссылкам в тексте (или блоках «Новинки», «Популярное») переходит и робот, таким образом быстрее добавляя страницы в индекс и обновляя их.

  • Вывод превью новых статей и товаров на главную страницу.

Для этого же необходимо добавлять ссылку на новый материал, товар или категорию на главную страницу сайта: так их быстрее заметят и пользователи, и поисковые «пауки».

  • Размещение ссылки на новую страницу в соцсетях.

Влияние соцсетей на продвижение — спорный вопрос, но благодаря внешней ссылке на новую страницу начнут переходить пользователи, и это послужит для робота сигналом к индексации.

Важно, как часто вы добавляете на сайт новые товары, материалы и категории. Поисковые системы любят «живые» сайты. Поддерживайте актуальность сайта, публикуйте новый контент не реже раза в неделю; добавляйте ссылки на новые материалы в старых статьях; обновляйте информацию на сайте; настройте заголовки Last-Modified и If-Modified-Since или Etag и If-None-Match.

Профессия SEO-специалист

Запомнить

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора site:.
  3. С помощью плагинов, вроде RDS bar, и букмарклетов.
  4. В специальных сервисах, например, Netpeak Spider.

Сайт может плохо индексироваться из-за ошибок на сайте, отсутствия файла sitemap. Также важно проверить, не закрыт ли сайт от индексации с помощью метатега robots, x-robots tag или в robots.txt.

Улучшить индексацию поможет:

  • оптимизация и корректная настройка файлов sitemap robots.txt;
  • оптимизация скорости загрузки сайта;
  • удаление дублей страниц и контента;
  • грамотная перелинковка (между страницами и при выводе превью новых страниц на главную);
  • промоушен новых страниц в соцсетях;
  • регулярное обновление и улучшение контента сайта.

Часто дело не в индексации, а в подходе к оптимизации. Отвечайте на запрос пользователя лучше всех. В таком случае все советы пригодятся вам только для фиксации хорошего результата.

Индексация сайта: как проверить индексацию в поисковых системах Яндекс и Google

Как проверить индексацию сайта в Яндекс и GoogleПривет, друзья. Сегодня мы поговорим про индексацию: что это такое, какие существуют этапы индексации сайта, как провести проверку индексации отдельно взятой страницы или всего сайта целиком, как ускорить индексацию сайта и как ее запретить.

Статья рассчитана по большей части на новичков, однако я буду делиться практическим опытом и наработками, которые будут полезны даже специалистам.

Начнем с определения – индексацией называют процесс добавления поисковиком информации о контенте сайта в свою базу. Если какая-то информация проиндексирована, то она будет участвовать в результатах поиска, и люди будут ее находить. Соответственно, если информация не проиндексирована, то через поиск найти ее будет невозможно.

Этапы индексации сайта

У поисковиков есть специальные роботы, с помощью которых поисковые системы проводят индексацию.

У Яндекса есть основной робот, который скачивает документы для их последующей индексации, его еще могут называть «спайдер» (от spider — паук), есть отдельный робот для индексации изображений, робот-зеркальщик, который определяет зеркала сайтов, быстроробот (посещает часто обновляемые сайты и практически мгновенно помещает новые страницы в индекс, при этом на их ранжирование влияют не все факторы, и после захода основного бота позиции могут измениться).

Полный список роботов Яндекса можно найти в официальной справке (однако, там есть боты сервисов, которые уже закрыты, например, Яндекс.Каталог).

У Google тоже множество ботов: робот для сканирования новостей, изображений и видео, мобильных сайтов и т.д. Полный список поисковых роботов Google можно найти в справке.

Рассматривать работу всех ботов мы не будем, достаточно понять принцип:

  1. Поисковая система узнает о новом сайте,
  2. Основной бот заходит на сайт и скачивает основные страницы для дальнейшего анализа, вся информация помещается в отдельную промежуточную базу.
  3. Дальше в дело вступает робот «краулер» (от crawl — ползать). Он сканирует документы из временной базы и обрабатывает контент:
    • Текст. Обработка текстового контента происходит в первую очередь. После изучения данные о нем передаются в очередь на добавление в основную базу поисковика.
    • Скрипты. Если на странице таковые есть, то при первом посещении страницы они игнорируются. Если краулер сканирует данную страницу не первый раз, и основная информация уже была проиндексирована, то в этом случае поисковик может попытаться определить содержимое скриптов. Грубый пример: если текстовый контент транслируется на страницу через скрипты и поисковик сумел их извлечь, то эти тексты будут добавлены в базу.
    • Ссылки. Если на страницах были найдены ссылки, еще не известные поиску, то информация о них передается основному боту и, как вы понимаете, процесс повторяется.

Это сильно упрощенная модель, но ее достаточно, чтобы понять, как все устроено.

Как проверить индексацию сайта

Есть несколько способов проверки индексации страниц:

  • Используя специальные операторы в поиске,
  • В панелях вебмастера Яндекса и Google,
  • Через сторонние сервисы или расширения.

Ниже рассмотрим каждый пункт подробнее.

Проверка индексации сайта в поиске с использованием операторов

Если необходимо проверить индексацию одной конкретной страницы, достаточно просто вставить нужную ссылку в окно поиска Яндекса:

Проверить индексацию ссылки в Яндексе

Проверить индексацию ссылки в Google

Если страница проиндексирована, то в результатах поиска отобразится ссылка на нее.

Но если поисковик наложил санкции на страницу или сайт, в некоторых случаях ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы:

  • Для Google это оператор inurl: — запрос будет выглядеть: inurl:alaev.info/blog/post/7807 ,
  • Для Яндекса это оператор url: — запрос будет выглядеть: url:alaev.info/blog/post/7807 .

Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.

Узнать общее число проиндексированных страниц на сайте в Яндексе можно с помощью того же оператора, но нужно вводить вместо страницы только домен, а на конце вставить звездочку — url:alaev.info/* .

Узнать общее число проиндексированных страниц на сайте в Яндексе

Вариант выше работает, если сайт доступен только по одному зеркалу, но бывает, что сайт доступен по нескольким зеркалам, например – с www вначале и без www. Чтобы учесть страницы на обоих зеркалах, можно дополнительно использовать оператор «логическое ИЛИ», выглядит он в виде прямой черты «|»: url:www.alaev.info/* | url:alaev.info/* .

Аналогичный результат можно получить с помощью оператора rhost: . При использовании этого оператора нужно поменять местами название домена и доменную зону: rhost:info.alaev .

Проверка общего количества страниц на сайте с помощью оператора rhost

Еще один вариант – использование оператора site: , но, в отличие от предыдущего варианта, поисковик будет учитывать поддомены, если они есть.

Проверка общего количества страниц на сайте с помощью оператора site

Узнать число проиндексированных страниц в Google также можно с использованием оператора site: . Если у сайта есть поддомены, то можно их отсечь с помощью оператора inurl: .

Узнать число проиндексированных страниц в Google

Но есть нюанс. В моем случае Google показывает 1660 результатов, а такого быть не может. Если мы перейдем на последнюю страницу поиска, то результат изменится — Google показывает всего 300 результатов.

Google показывает неточное количество результатов

Сам запрос мы не меняли, просто перешли на последнюю страницу. Дело в том, что Google для экономии ресурсов не просчитывает точное количество документов, и увидеть более точные цифры можно только на последней странице поиска.

Проверка индексации сайта с помощью сервисов и плагинов

В сети много различных сервисов, которые помогают онлайн проверить индексацию сайта целиком или конкретных его страниц, обо всех рассказать не получится, но пару бесплатных сервисов мы рассмотрим.

Сервис www.seogadget.ru – проверяет общее число страниц в поисковиках и может проверять массово до 30 сайтов.

www.seogadget.ru – проверяет общее число страниц в поисковиках

Сервис serphunt.ru/indexing – проверяет индексацию отдельных страниц и выдает только два ответа – либо страница есть в индексе Яндекса/Google, либо нет. Сервис может массово проверять до 50 ссылок.

Не знаю почему, но сервис очень долго проверяет индексацию страниц в Google (а еще выдал, что главная страница alaev.info не в индексе, барахлит иногда, зато бесплатно).

serphunt.ru – бинарная проверка индексации отдельных страниц

Сервис arsenkin.ru/tools/indexation/ — известный многим специалистам, проверяет индексацию страниц в Яндекс и Google. Для работы с сервисом нужна регистрация, после чего появится возможность проверить индексацию до 100 URL в Яндексе бесплатно каждый день. Работа с Гуглом доступна только по подписке, то есть платно.

arsenkin.ru - проверка индексации страницы в Яндекс и Google

С помощью плагина RDS bar помимо проверки количества проиндексированных страниц, можно узнать еще много чего интересного, например, число проиндексированных картинок с сайта.

Плагин RDS bar показывает количество проиндексированных страниц

Букмарклеты для проверки индексации

Кроме сервисов есть еще специальные скрипты — так называемые, «букмарклеты». Чтобы ими воспользоваться, необходимо добавить в браузер закладку, запускающую скрипт при нажатии.

Я покажу процесс добавления закладки на примере браузера Firefox (в других браузерах принцип идентичный).

Для начала добавляем новую закладку: делайте правый клик на панель закладок, и в контекстном меню выбирайте «Новая закладка…»

Для начала добавляем новую закладку

Если у вас не отображается панель закладок, нажмите Alt, вверху появится меню браузера, там выбирайте: Вид – Панель инструментов – Панель закладок:

Если у вас не отображается панель закладок, нажмите Alt

После нажатия на «Новая закладка…», откроется форма, где нужно указать произвольное название закладки (его вы будете видеть на панели закладок в своем браузере):

Нужно указать произвольное название закладки и адрес

А в поле «Адрес:» надо будет добавить один из следующих скриптов:

  1. Букмарклет для проверки индексации домена в Яндексе:
    javascript:void(window.open(‘https://yandex.ru/yandsearch?text=site:’ + location.host))
  2. Букмарклет для проверки индексации домена в Google:
    javascript:void(window.open(‘https://www.google.com/search?q=site:’ + location.host))
  3. Букмарклет для проверки индексации страницы в Яндексе:
    javascript:void(window.open(‘https://yandex.ru/yandsearch?text=url:’ + document.location.href))
  4. Букмарклет для проверки индексации страницы в Google:
    javascript:void(window.open(‘https://www.google.com/search?q=inurl:’ + document.location.href))
  5. Букмарклет, который показывает доступна ли страница к индексации (проверка осуществляется на основании файла /robots.txt, наличия/отсутствия на странице мета-тега robots и link rel=canonical):
    javascript:(function())();void(0);

В панели появится закладка, когда мы нажмем кнопку «Добавить». Теперь можно открыть проверяемый сайт и использовать букмарклет.

Теперь можно открыть проверяемый сайт и использовать букмарклет

В данном случае я использовал первый из списка представленных выше скриптов, который при нажатии перекидывает вас на Яндекс, подставляя адрес сайта и оператор site: .

Букмарклет при нажатии перекидывает вас на Яндекс

Проверка индексации с помощью Яндекс.Вебмастера

Ваш сайт должен быть добавлен в панель Вебмастера!

Заходим на главную страницу Яндекс Вебмастера, видим один или несколько своих сайтов, а напротив количество загруженных и проиндексированных (участвующих в поиске) страниц.

Просмотр сайтов в панели вебмастера Яндекса

Если необходимо узнать подробнее, что это за страницы, заходим в раздел «Индексирование — Страницы в поиске» и тыкаем вкладку «Все страницы»:

Яндекс Вебмастер: Индексирование - Страницы в поиске

А в самом низу, в правом нижнем углу будет кнопка «Скачать таблицу»:

Скачать файл со списком всех страниц сайта в индексе Яндекса

Вы получите файл со списком всех страниц сайта в индексе Яндекса.

Проверка индексации с помощью Google Search Console

Ваши сайты должны быть добавлены в панель вебмастера Google!

На главной странице есть дашборд «Покрытие», где указано число страниц, участвующих в поиске.

Отчет Покрытие в Google Search Console

Чтобы узнать подробнее, что это за страницы:

  • Нажмите «Открыть отчет» в верхнем правом углу дашборда.
  • Перед нами подробный отчет об эффективности. Информация по страницам разбита на 4 раздела: «Страницы с ошибками», «Страницы без ошибок, но с предупреждениями», «Страницы без ошибок и предупреждений» и «Исключенные страницы».
    Нас интересуют отчеты «Страницы без ошибок, но с предупреждениями» и «Страницы без ошибок и предупреждений»:
    Информация по станицам в Google Search Console
  • В блоке «Сведения» нажимаем на интересующую группу страниц:
    Выбираем интересующую группу страниц
  • Попадем в подробный отчет по группе страниц:
    Подробный отчет по группе страниц
  • Ниже в блоке «Примеры» можно увидеть список страниц, либо скачать список на компьютер:
    Можно скачать список проиндексированных в Google страниц

Как ускорить индексацию сайта

Самый надежный способ ускорить индексацию страниц – использовать панели Яндекс.Вебмастера и Google Search Console. А еще можно простимулировать страницу ссылками или соц.сигналами.

Ускорение индексации через Яндекс Вебмастер

Первый способ позволяет ускорить индексацию отдельно взятой страницы (или группы страниц). Заходим в раздел «Индексирование – Переобход страниц»:

Переобход страниц в Яндекс Вебмастере

В текстовое окно нужно вставить ссылки на те страницы, индексацию которых нужно ускорить, и нажать кнопку «Отправить». Под окном ввода указан дневной лимит на количество страниц, которые можно отправить в переобход. У каждого сайта свои лимиты, но не известно, из чего эта цифра складывается (в сети гуляют различные мнения, например, что лимит зависит от суммарного числа страниц на сайте, скорости добавления новых страниц и частоты использования функционала переобхода).

Вот пара примеров для статистики:

  • Для сайта с 16 000 000 загруженными страницами (из них 13 млн. страниц в индексе): «Дневной лимит — 160 адресов для сайта.»
  • Для сайта с 25 000 загруженными страницами (из них 22 тыс. страниц в индексе): «Дневной лимит — 130 адресов для сайта.»
  • Для сайта с 67 000 загруженными страницами (из них 39 тыс. страниц в индексе): «Дневной лимит — 140 адресов для сайта.»
  • Для сайта с 38 000 загруженными страницами (из них 29 тыс. страниц в индексе): «Дневной лимит — 150 адресов для сайта.»
  • Для сайта с 145 000 загруженными страницами (из них 91 тыс. страниц в индексе): «Дневной лимит — 120 адресов для сайта.»
  • Для сайта с 2 600 000 загруженными страницами (из них 2,2 млн. страниц в индексе): «Дневной лимит — 150 адресов для сайта.»

Я даже посмотрел, коррелирует ли это как-то с XML-лимитами, которые выдают сайтам, – нет никакой взаимосвязи.

Второй способ позволяет ускорить индексацию ссылок из файла sitemap.xml, т.е. при желании можно ускорить индексацию всего сайта целиком.

Если вы не в курсе, что это за файл, читайте информацию в разделе помощи Яндекса или в справке Google.

Для ускорения индексирования ссылок из файла sitemap.xml, нужно перейти в раздел «Индексирование – Файлы Sitemap». Если файлы еще не добавлены – добавьте их (в верхней части страницы есть поле ввода с кнопкой «Добавить»). Нажмите на кнопку «Отправить файлы Sitemap на переобход».

Отправить файл Sitemap на переобход

Через какое-то время поисковый робот посетит данный файл и, если там будут страницы, о которых боту неизвестно, то он их обойдет.

Третий способ ускорить индексацию страниц – подключить обход с помощью счётчиков Яндекс.Метрики. Для этого вам потребуется подтвердить права на сайт и в Вебмастере, и в Метрике из одного аккаунта, затем перейти в Вебмастере в раздел «Индексирование — Обход по счётчикам»:

Обход по счётчикам Яндекс Метрики

Отмечаете галочкой «Обход разрешен», сохраняете и тогда все страницы, на которые будут зафиксированы переходы посетителей в Метрике, будут отправляться роботу Яндекса на обход. Раньше эта настройка была в Метрике, но в конце 2018 года ее перенесли.

Ускорение индексации через Google Search Console

Для того, чтобы ускорить индексацию отдельно взятой страницы, необходимо вставить URL в строку проверки, а в открывшейся сводке нажать кнопку «Запросить индексацию». После этого страница встанет в приоритетную очередь для сканирования.

Запросить индексацию URL в Google Search Console

(Практика показывает, что индексация или переиндексация происходит почти мгновенно. Но надо еще это потестить на большей выборке сайтов, чтобы окончательно убедиться.)

Если нужно проиндексировать сразу большое число страниц, то добавьте их в файл sitemap.xml, а саму ссылку на файл добавьте в раздел «Файлы Sitemap». Чтобы ускорить обход файла, добавьте его в строку проверки URL и запросите обход страницы как было рассмотрено в примере выше.

Добавить файла sitemap.xml

(А в данном случае практика показывает, что бот не спешит переобходить или индексировать страницы из sitemap, ощущение, что он только для галочки говорит, что переиндексирует, а по факту обходит тогда, когда это ему положено по стандартному расписанию. То есть можно ждать бота и 3, и 5, и более дней.)

Ускоряем индексацию страниц с помощью ссылок

Чем чаще сайт публикует контент, и чем больше его аудитория, тем чаще поисковой бот сканирует страницы данного сайта в поисках новой информации. Доходит до того, что поисковой бот просто «живет» на сайте, т. е. сканирует его безостановочно (это различные новостные издания, журналы, крупные порталы и т. д.)

Наша задача — найти подобные сайты и разместить с них ссылку на свой сайт. Как правило, поисковые боты относительно быстро находят новую ссылку и переходят на вашу страницу, тем самым запуская процесс ее индексации.

Как именно получить подобные ссылки – это уже отдельный вопрос. Некоторые площадки сами предлагают разместить у них ссылку на платной основе, такие услуги можно найти в специальных биржах. Можно попробовать связаться напрямую с вебмастером (обычно все площадки, которые оказывают подобные услуги, указывают у себя контакты администратора сайта).

Много лет назад можно было ускорить индексацию, размещая ссылки на нужные страницы в соцсетях, самой популярной площадкой для этой цели был Twitter. Но очень быстро в соцсетях прочухали такое злоупотребление и добавили сперва к ссылкам атрибут rel=”nofollow”, запрещающий роботам переходить по ссылкам, а потом стали ставить ссылки через прокладку с редиректом. Поисковики тоже обратили внимание на ситуацию и перестали доверять таким сигналам.

Еще поисковые роботы «живут» на различных блог-платформах, типа ЖЖ, там тоже можно размещать посты со своими ссылками, но если честно, я не вижу в этом большого смысла, сейчас и Яндекс, и Гугл довольно оперативно заходят на сайты и сканируют все полезные страницы, а индексация занимает не больше недели. Раньше поисковикам, видимо, не хватало мощностей, и приходилось прибегать к различным хитростям, иначе можно было ждать индексации неделями, а то и месяцами.

Есть еще один способ мгновенно проиндексировать страницу – запустить рекламную кампанию в Яндекс.Директ или Google Ads (на самом деле, рекламу можно и не запускать, а просто создать объявления). Страница, на которую ведет ссылка из рекламного объявления будет вне очереди добавлена в базу поисковой системы.

Влияет ли название домена и доменная зона на индексацию

Ответ – нет. На сегодняшний день существуют тысячи различных доменных зон, не только связанных с названиями стран, как это было изначально задумано, но и ассоциирующихся с направлением и деятельностью бизнеса, предметами или событиями.

Есть и популярные в нашей стране кириллические доменные зоны. Когда они появились, были проблемы с их индексацией, но теперь это в прошлом. Однако с кириллическими доменными зонами могут возникнуть иные проблемы, например, ограничения для почты для домена, могут возникнуть проблемы со ссылками, потому что для совместимости домены преобразуются в так называемый punycode (например, домен алаичъ.рф будет выглядеть как xn--80aayk6ds.xn--p1ai), а адреса выглядят совершенно непривлекательно (наверняка вы часто такое видите на Википедии): https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0

Как бы то ни было, сейчас все это прекрасно будет индексироваться и ранжироваться во всех поисковых системах.

А когда-то проблемы были, я даже пост писал в 2010 году о том, как заставить Rambler индексировать мой блог, который расположен на .info домене. Рамблер не хотел его индексировать 2 года. Хотя чего уж там… самого поиска Рамблера давно уже не существует (имеется в виду, что собственной поисковой системы не существует, а поиск работает на технологиях Яндекса)!

Как закрыть сайт от индексации

Выше мы рассмотрели примеры, как проверить и ускорить индексацию страниц сайта, но иногда требуется ограничить индексацию отдельных ресурсов. Например, если на сайте есть страницы-дубли и нам нужно оставить в индексе одну страницу, а индексацию второй запретить.

Существует несколько способов:

  1. Запретить индексацию в файле robots.txt – вариант подходит для Яндекса, т.к. все, что закрыто в этом файле от индексации, из выдачи также удаляется. Но Google воспринимает данный файл только как рекомендацию. Если на страницу стоят ссылки с других ресурсов, то эта страница может появиться в индексе, хотя и с пометкой, что ее содержимое скрыто в robots.txt. Я про это подробно писал в посте Особенности индексации сайтов – robots.txt, мета-тег robots.
  2. Поставить на странице мета-тег <meta name=»robots» content=»noindex, nofollow»/>.
    Подобные страницы относительно быстро вываливаются из индекса после переобхода поисковым ботом. Работает хорошо в обоих поисковиках.

  • Вариант только для Яндекса: <meta name=»yandex» content=»noindex, nofollow»/>
  • Вариант только для Google: <meta name=»googlebot» content=»noindex, nofollow»/>

Думаю, на этом можно и остановиться. Я рассказал вам подробно об основных способах проверки индексации сайтов и отдельных страниц, показал инструменты, а также рассказал о том, как можно ускорить попадание страниц в индекс поисковых систем Яндекс и Google.

Но если остались какие-то вопросы или у вас есть, что добавить, смело пишите в комментариях.

Спасибо за внимание, друзья.

Александр «АлаичЪ» Алаев

Вот уже 18 лет я профессионально занимаюсь созданием и продвижением сайтов и 13 лет с удовольствием пишу в любимый блог. Создал заслужившие доверие в seo-сообществе программы FastTrust и ComparseR и известный сервис для проверки траста сайтов CheckTrust.ru.

В 2014 основал веб-студию «АлаичЪ и Ко» в Краснодаре: 1 место в рейтинге агентств интернет-маркетинга (Рейтинг Рунета), 2 место в рейтинге SEO-компаний (CMSmagazine), 12 место в рейтинге известность бренда SEO-компаний в России (SeoNews).

Выступаю на профильных конференциях (All In Top, SEO Conference, SEMPRO, Baltic Digital Days). Веду канал в telegram про seo и бизнес. SEO-специалист года 2019 и 2020 (Sape).

Добавить комментарий

Ваш адрес email не будет опубликован.