Индексирование сайта. Рассказываем, как добавляться в поисковые системы, и отвечаем на важные вопрос
Вы решили создать сайт. Выбрали перспективную тематику, придумали доменное имя и развернули ресурс на хостинге. Что делать дальше? Следующий шаг — добавление сайта в Google и Яндекс. Это очень важно, поскольку пока о сайте не узнают поисковые роботы, пользователи не смогут находить вас через поиск. Ресурс будет нормально работать, но не сможет получать самое ценное — органический трафик.
Забегая вперед отметим, что первые полгода-год рассчитывать на поток органики нет смысла. Молодой сайт по умолчанию попадает в песочницу и его видимость в поиске ограничена. Больше о том, что такое песочница и как из нее быстрее выйти — читайте здесь.
В добавлении в индекс нет ничего сверхсложного. Если коротко: нужно создать учетные записи в вебмастерках Google и Яндекса и подтвердить в них права на владение сайтом; далее создаем карту сайта в xml-формате и забрасываем ее в соответствующие разделы каждого из сервисов. Теперь наглядно и более детально, как это делать. По ходу дела будем давать ответы на самые животрепещущие вопросы, возникающие у новичков.
Индексируем сайт в Google
Основной способ добавить ресурс в поиск Google — сделать это посредством Google Search Console. Вы можете встретить и другие варианты, но связываться с ними мы бы категорически не советовали, ниже расскажем почему.
Google Search Console — это бесплатный сервис для вебмастеров, через который отслеживают все жизненно важные параметры сайта в поисковой системе Google. О назначении и основных фишках консоли можно почитать здесь. Ну, или просто поверьте на слово, что привязка сайта к этому сервису — мастхэв для любого вебмастера, конечно, если вы не намерены пренебрегать трафиком из Гугла.
Подтверждаем права на сайт в Google Search Console
Для начала вам понадобится — аккаунт в Google. Он создается за пару минут здесь. Далее переходим на страницу сервиса и привязываем к нему свой сайт. Но сначала нужно пройти верификацию, что вполне логично, т.к. система должна убедиться, что права на сайт принадлежат вам.
Так приветствует Search Console. Начинаем верификацию. Мы покажем самый популярный (да, он не один) способ подтверждения прав — с помощью DNS.
Сначала указываем сайт. Можно ввести либо просто доменное имя (слева), либо URL ресурса (справа). Подробные подсказки даны в каждом из полей.
Прописав имя сайта, и нажав продолжить, появится окно с перечнем вариантов, каким именно способом вы желаете подтвердить права на сайт. Выбираем «Добавление записи DNS в конфигурацию домена». Вам будет доступно окно, изображенное на скриншоте. Сгенерированная TXT-запись – это персональный ключ верификации, который нужно добавить в конфигурацию DNS домена в панели управления хостингом.
Давайте посмотрим, как это сделать на примере самой популярной панели управления веб-хостингом cPanel. В блоке «Домены» переходим в Zone Editor, выбираем нужный домен (если он не один) и нажимаем «Управлять».
Откроется новое окно.
В нем еще раз выбираем интересующий нас домен (в поле «имя»), а в графу «запись» вводим скопированный TXT-ключ. Нажимаем «Добавить запись».
Права на сайт подтверждены, но нужно подождать несколько часов пока обновится DNS.
Есть и другие способы подтверждения прав в Google Search Console. Возможно, они и несколько сложней для новичков, но хороши тем, что позволяют пользоваться консолью сразу после верификации. Это может быть удобно, когда по каким-то причинам нет времени ждать обновления DNS. Подробно об остальных способах верификации — читайте в справке Google.
Отправляем запрос на индексирование
После того как мы добавили сайт в вебмастерку и прошли верификацию, отправляем запрос на индексирование. Для этого:
1. Переходим во вкладку «Проверка URL».
2. В поисковой строке консоли вбиваем адрес ресурса (или новой страницы).
3. Запрашиваем индексирование.
Если указанный URL доступен для сканирования поисковыми роботами (их также называют краулерами), страница попадает в очередь на индексирование, о чем вас уведомят следующим сообщением.
Но это еще не все.
Создаем и добавляем sitemap.xml
Чтобы помочь краулерам Google корректно проиндексировать сайт, в вебмастерку необходимо загрузить карту сайта. Начинающие вебмастера почему-то думают, что это очень сложно. Расслабьтесь, это не так. Все просто, но давайте по порядку. Sitemap.xml — это список XML-документов, в которые вшиты служебные данные. Вся эта информация — своего рода ориентиры, необходимые поисковым системам для удобной и эффективной индексации всех страниц сайта.
Выглядит sitemap.xml вот так:
Сгенерировать sitemap.xml можно при помощи специальных программ и даже онлайн-сервисов. С сайтами на WordPress, все еще проще: можно использовать плагины Yoast или Google XML Sitemaps, которые сделают большую часть работы сами.
Сгенерировав файл sitemap.xml, далее его нужно загрузить на сервер. Обратите внимание, это актуально, если вы создавали карту сайта с помощью сервисов или программ. В cPanel это делают через «Диспетчер файлов», доступный в блоке «Файлы» на стартовой странице.
Если использовались плагины для WordPress, файл sitemap.xml подтянется на сервер автоматически.
Остался финальный аккорд — забрасываем карту сайта в соответствующий раздел Google Search Console: Индекс → Файлы Sitemap
Об альтернативных способах индексирования
На форумах вебмастеров можно встретить дискуссии, на тему альтернативных способов отправки страниц в индекс. Например, многие оптимизаторы уверены, что если прогрузить в браузере Google Chrome главную или новые страницы сайта, они автоматически залетят в гугловский индекс. Или, что если добавить на непроиндексированные страницы код счетчика Google Analytics, поиск автоматически получит информацию о появлении новых документов, которые необходимо просканировать.
Эти способы, не требующие практически никаких усилий, могут показаться привлекательными для начинающих вебмастеров. Но связываться с ними мы бы категорически НЕ рекомендовали. Нет убедительных оснований считать, что Google Chrome и GA каким-либо образом влияют на индексирование страниц. Это подтверждено, в том числе, экспериментально1. В самом Google также никогда официально не высказывались на этот счет.
Поэтому пользуйтесь только общепризнанным алгоритмом добавления в индекс Google. Еще раз, теперь уже вкратце, подытожим, что нужно делать:
- Создаем аккаунт в Google и добавляем свой сайт в Search Console.
- Подтверждаем права на сайт. Самый простой способ — с помощью DNS.
- Отправляем запрос на индексирование.
- Создаем файл sitemap.xml и добавляем его сначала на сервер, а затем в соответствующий раздел консоли. Если sitemap генерировался через плагины WordPress, загрузка на сервер не нужна.
Добавляем сайт в поиск Яндекса
Чтобы страницы нового сайта начали отображаться в поиске Яндекса их также нужно добавить в индекс. Механика процесса идентична поисковой системе Google. Добавление ресурса в поиск осуществляют через консоль Яндекс.Вебмастер. При этом есть и другие способы (о них мы расскажем ниже), но наиболее рабочим считается именно этот. Возможности вебмастерки Яндекса в целом аналогичны Search Console. Более подробно об этом сервисе можно почитать здесь.
Добавление в Яндекс.Вебмастер и подтверждение прав на сайт
Для привязки сайта к вебмастерке понадобится учетная запись в Яндексе. Если она есть, что вероятнее всего, т.к. многие пользуются почтой и другими яндексовскими сервисами, переходим сюда и указываем адрес сайта.
Как и в случае с гугловской консолью, дальше нужно пройти верификацию и подтвердить права. Сделать это можно по-разному:
- создав HTML-файл с уникальным идентификатором, и поместив его в корневой каталог сайта;
- разместив в HTML-коде главной страницы специальный метатег;
- добавив DNS-запись с идентификатором;
- подтвердив электронный адрес из WHOIS-записи (этот способ не рекомендуется даже самим Яндексом).
Для подтверждения прав удобнее всего использовать первый способ — через HTML-файл. Указав сайт и перейдя во вкладку, отмеченную на скриншоте, система сгенерирует файл с уникальным именем и содержимым. Его нужно скачать и разместить в корневом каталоге сайта. Далее проверяем, что файл открывается по указанной ссылке. Нажимаем кнопку «Проверить». Если все сделано правильно, панель инструментов слева станет кликабельной.
Добавляем сайт в индекс
После верификации и получения доступа к функционалу вебмастерки, выполняем следующие действия.
Переходим во вкладку «Индексирование» → «Переобход страниц»
Добавляем главную страницу и основные разделы сайта — нажимаем «Отправить». Обратите внимание, в Яндексе установлен лимит на количество индексируемых страниц.
Все новые страницы, которые в дальнейшем будут добавляться на сайт, отправляют на переиндексацию по аналогичной схеме.
Дополнительно в Яндекс.Вебмастер необходимо добавить файл sitemap.xml. Здесь работает та же механика, что и в Google. Сначала необходимо создать саму карту. Если это сделано не через плагин — размещаем sitemap на сервере. Далее в разделе «Индексирование» → Файлы Sitemap вписываем в поле URL, по которому доступен файл. Нажимаем «Добавить».
После добавления файл будет какое-то время обрабатываться. Это происходит не быстро, и может занять до двух недель. По завершении обработки напротив файлов должен отображаться статус «OK». Если присутствует статус «Редирект», «Ошибка» или «Не проиндексирован», необходимо определить причину некорректной индексации, исправить ее, после чего сообщить роботам об обновлении.
Индексируем страницы через Яндекс.Метрику
Существует еще один способ сообщить краулерам Яндекса о новых страницах сайта — через Метрику. Этот вариант менее удобен, чем первый, но знать о нем вебмастеру не помешает. Для этого на сайте должен быть добавлен и настроен счетчик Яндекс.Метрики. В любом случае рано или поздно его придется добавить, конечно, если вы намерены серьезно заниматься продвижением своего проекта.
Итак, чтобы роботы Яндекса подтягивали сведения о новых страницах из данных Метрики, нужно разрешить обход страниц, на которых установлен счетчик. Для этого выполняем следующие действия.
Активировав эту опцию, во вкладке Привязка к Яндекс.Метрике отобразится статус «Связан с сайтом в Вебмастере».
Сколько ждать попадания в индекс?
В индекс Google новый сайт залетает в среднем спустя неделю. В Яндексе — это может занимать до двух недель. Эти сроки актуальны, если на сайте не создано никаких препятствий для обхода поисковыми роботами. Важно понимать, попадание в индекс не означает, что страницы со старта получат высокие позиции в поиске. В первое время, скорее всего, они будут на задворках выдачи — на второй-третьей странице. И только постепенно начнут укреплять свои позиции. Также они могут вовсе не отображаться по основным поисковым запросам (находясь при этом в индексе). Второй сценарий больше актуален для молодых сайтов, пребывающих в песочнице.
Как быстро проверить индексацию?
Узнать, попал ли сайт в индекс, вы можете по-разному. Основной способ — через панель вебмастера.
В Google SC сведения представлены в отчете Индекс → Покрытие. Количество страниц, попавших в индекс, доступно в зеленой графе.
Здесь же красным цветом будет отображаться количество страниц с ошибками. Перейдя по вкладке, можно ознакомиться с расширенным отчетом: что конкретно за ошибка и когда она была обнаружена.
В яндексовской вебмастерке интересующая нас информация находится в разделе Индексирование → Проверить статус URL.
Перейдя в отчет «Страницы в поиске» можно ознакомиться со всеми проиндексированными страницами, посмотреть их распределение по разделам, узнать, что исключено из индекса.
Второй способ быстро проверить индексацию в Google и Яндексе — через операторы расширенного поиска. Вбиваем в поисковую строку команду site:+название домена, и получаем сведения о количестве страниц в индексе.
Аналогичным образом можно проверить не только весь сайт, но и конкретную страницу. Для этого вместо доменного имени достаточно ввести URL нужной страницы.
Аналогичным образом оператор работает в выдаче Яндекса.
Вообще, операторы расширенного поиска — очень полезная и недооцененная штука. Больше о том, какую пользу они могут принести сеошникам и вебмастерам — читайте здесь.
Почему не индексируется ресурс?
Прошло недостаточно времени. Владельцам новых сайтов, нужно запастись терпением. Нередко попадание в индекс растягивается больше, чем на две недели.
Не добавлена карта сайта. Если вы решили проигнорировать sitemap.xml, возвращайтесь наверх и читайте, как это исправить.
Запрет на индексацию в файле robots.txt. Некоторые страницы сайта советуют закрывать от индексации. Это делают через прописывание специальных директив в служебном файле robots.txt. Здесь нужно быть предельно аккуратным. Лишний символ — и можно закрыть то, что должно быть доступным для поисковых роботов. В этом случае будут проблемы.
Ошибка с метатегом “robots”. Этот элемент кода сообщает поисковым краулерам о запрете на индексацию страницы. Он помещен между тегами <head> </head>, и выглядит следующим образом:
Метатег может появиться там, где не нужно. Часто это случается при изменении настроек движка или хостинга.
Запрет на индексацию в файле .htaccess. В этом файле прописаны правила работы сервера, и через него также можно закрыть сайт от индексирования.
Тег rel=”canonical”. Этот тег используют на страницах с дублированным содержимым, указывая с его помощью поисковым роботам адрес основного документа. Если страницы не попадают в индекс, причиной может быть наличие этого тега.
X‑Robots-Tag. В файле конфигурации сервера может быть прописана директива X Robots-Tag, запрещающая индексирование документов.
Долгий или неверный ответ сервера. Критически низкий отклик сервера создает сложности поисковым роботам при обходе сайта, из-за чего часть страниц может не залететь в индекс.
Некачественный контент на страницах. Плагиат, дубли, ссылочный переспам, автоматически сгенерированные тексты — все это также создает потенциальные риски.
Как видим, причин, по которым возможны проблемы с индексированием, довольно много. Но не переживайте, все это не нужно тестить вручную. Вебмастерки регулярно оповещают о возникших ошибках. Ваша задача — следить за уведомлениями в Яндекс.Вебмастере и Google Search Console и своевременно исправлять ошибки.
Можно ли индексировать пустой сайт? Или сначала лучше наполнить его контентом?
Мы отправили на индексацию не один десяток сайтов, и убедились, что особой разницы нет. Если сайт новый.
Вы можете сделать 5-10 стартовых страниц, наполнить их контентом и забросить сайт на индексацию. А можете добавить сайт пустым, и не спеша наполнять его контентом. Это не должно отразиться на скорости и качестве индексирования. Конечно, если не растягивать наполнение этих 5-10 страниц на месяцы. А вот с чем можно повременить на первых порах — оттачивание дизайна, создание перелинковки, размещение виджетов и пр. Это не так принципиально, если вы не планируете сразу же лить рекламный трафик на сайт.
Что сделать, чтобы мой сайт видели поисковые системы
В этой статье мы расскажем, как добавить сайт в поисковые системы: как проиндексировать сайт в Яндексе и добавить сайт в поиск Google.
После публикации сайта позаботьтесь о том, чтобы пользователи могли найти его в Интернете. Если пользователь знает URL-адрес сайта, сделать это легко. Сложнее сделать так, чтобы сайт быстро находился через поисковые системы.
Возникает закономерный вопрос: «Я уже создал сайт, как его разместить в Интернете?». Это связано с индексацией сайта. Прежде чем понять, как добавить свой сайт в поисковики Яндекс и Google, разберемся, что такое индексация.
Бесплатный SSL-сертификат
Поисковые системы больше доверяют сайтам с SSL. Получите в подарок SSL-сертификат начального уровня на 1 год и хостинг на 2 месяца бесплатно при регистрации нового домена на сайте REG.RU.
Что такое индексация
Индексация сайта — это добавление его страниц в базу поисковых систем (поиск в Яндекс, Google, Рамблер, Yahoo, Mail, Bing и т.д.). Чтобы проиндексировать веб-страницы, поисковики отправляют на обход специальных роботов. Они анализируют HTML-код сайтов, учитывая:
- правильное наполнение страниц метатегами (description, title, keywords, h1, p) и их соответствие стандартам вёрстки;
- грамотное расположение текста;
- перелинковку;
- наличие карты сайта (sitemap);
- микроразметку.
В результате проверки роботы индексируют сайт, и он начинает отображаться в поисковой выдаче. Как добавить сайт на индексацию в поисковики, читайте ниже.
Почему сайта нет в Yandex и Google
Процесс индексации может занимать несколько недель. Представьте, какое количество новых сайтов нужно обойти роботам. Кроме того, не все страницы одного сайта индексируются одновременно. А если в коде есть то, что не удовлетворяет требованиям поисковых систем, индексация затянется.
Если вы только что разместили сайт в Интернете, он не будет сразу же отображаться в Яндекс и Google. Если вам нужно, чтобы сайт как можно быстрее отображался в поисковой выдаче, ускорьте индексацию вручную.
Ниже рассмотрим, как бесплатно добавить сайт на индексацию в поисковики.
Как ускорить процесс индексации сайта
Как сделать так, чтобы сайт стал быстрее видимым для поисковых систем? Нужно самому указать на свой сайт Яндекс и Google. Это делается через специальные панели, предназначенные для разработчиков сайтов: Яндекс.Вебмастер и Google Search Console. Прежде чем следовать инструкции о том, как разместить сайт в Гугл и в Яндекс, авторизуйтесь в нужной системе.
Как добавить сайт в Яндекс.Вебмастер
Чтобы добавить сайт в поисковую систему Яндекс, следуйте инструкции ниже:
Введите адрес сайта (доменное имя) и нажмите Добавить:
Размещение сайта в Яндекс.Webmaster
Подтвердите права на сайт. Сделать это можно через:
- код-страницы (Метатег);
- загрузку файла на хостинг (HTML-файл);
- или добавление TXT-записи (DNS-запись).
Мы рекомендуем добавить DNS-запись, так как это наиболее простой способ.
Кликните по вкладке «DNS-запись» и скопируйте значение TXT, которое нужно добавить:
Яндекс.Вебмастер: подтверждение прав на сайт
Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:
- если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;
- если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.
Дождитесь обновления зоны домена.
Готово, вы добавили TXT-запись для подтверждения права на домен.
После подтверждения прав нажмите Проверить. Если права подтверждены корректно, вы увидите следующее:
как добавить сайт в поиск яндекса
После мы рекомендуем воспользоваться инструментом Переобход страниц. Через него можно задать, какие страницы сайта стоит проиндексировать в первую очередь.
Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в Вебмастер.
Как добавить сайт в поиск Google
Как разместить сайт в Гугле, вы узнаете по инструкции:
Введите адрес сайта в первом блоке и нажмите Продолжить:
Как добавить url в поисковые системы
Скопируйте значение TXT-записи.
Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:
- если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;
- если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.
Дождитесь обновления зоны домена.
Готово, вы добавили TXT-запись для подтверждения права на домен.
Если права подтверждены корректно, вы увидите уведомление. Нажмите Готово :
Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в поисковики.
Часто задаваемые вопросы о сканировании и индексировании
В этой статье собраны ответы на часто задаваемые вопросы о сканировании и индексировании.
Как добавить сайт в Google?
Новый сайт обычно проходит сканирование и индексирование не сразу. Срок его обработки зависит от многих факторов, поэтому мы не можем гарантировать, что ваши URL будут просканированы и проиндексированы к определенному времени. Проверяя в Search Console статус индексирования сайта, убедитесь, что вы подтвердили право собственности на версии как с префиксом www в URL, так и без него (например, www.example.com и example.com). Если вы отправляете информацию в Google с помощью файла Sitemap, это не значит, что сайт обязательно будет проиндексирован, а его позиции в результатах поиска повысятся.
Почему мой сайт не проиндексирован?
Если сайт не был проиндексирован, то причина чаще всего заключается в том, что он был опубликован совсем недавно. Подождите или отправьте в Google запрос на сканирование и индексирование.
Вот ещё несколько возможных причин:
- Другие сайты редко ссылаются на него.
- Оформление сайта затрудняет сканирование и индексирование. Также не исключено, что сайт блокирует выполнение этих процедур.
- Во время сканирования сайт был временно недоступен. В этом случае в Search Console появляется информация об ошибках сканирования.
- Сайт не соответствует нашим рекомендациям для веб-мастеров, был взломан или иным образом изменен третьими лицами.
- С контентом, который был размещен в вашем домене ранее, возникали проблемы. Если причина в этом, советуем запросить повторную проверку, указав, что у домена появился новый владелец, а контент был изменен.
- Вы недавно перевели сайт на новый адрес, но не следовали нашим инструкциям.
- Предыдущий владелец или другой пользователь с доступом к сайту подал в Search Console запрос на его удаление из результатов поиска. Отменить подобный запрос вы можете с помощью инструмента удаления URL.
В двух моих доменах размещен одинаковый контент. Как сообщить Google, что оба домена относятся к одному сайту?
Настройте переадресацию 301, чтобы перенаправить трафик из дополнительного домена (example2.org) в основной (example.com). Тогда Google будет неизменно искать ваши материалы в одном домене и корректно сканировать и индексировать их. То же касается других поисковых систем. При такой переадресации также корректно учитываются все критерии ранжирования (например, данные системы PageRank и ссылки на сайт с других ресурсов). Если вы планируете сменить домен, ознакомьтесь с нашими рекомендациями.
Что нужно предпринять, если у меня есть страницы с идентичным контентом?
Обычно наличие страниц с идентичным контентом не является поводом для мер, принимаемых вручную. Дополнительные сведения приведены в этой статье. Если у вас остались вопросы, изучите следующие материалы:
Что лучше использовать – подпапки или субдомены?
Выбирайте структуру, удобную для вас. С точки зрения индексирования и ранжирования для Google нет никакой разницы.
Помогает ли проверка кода (например, с помощью валидатора W3C) повысить позиции сайта в сервисах Google?
Напрямую – нет. Однако сайт с корректным кодом HTML лучше обрабатывается в браузерах, и это делает его более удобным для пользователей.
Хостинг-провайдер моего сайта использует фреймы и замаскированные переадресации. Повлияет ли это на сканирование, индексирование или ранжирование сайта?
Мы рекомендуем всегда размещать контент на страницах, которые непосредственно используют ваше доменное имя. Как правило, переадресация с фреймами препятствует сканированию, индексированию и ранжированию контента.
На некоторых из моих страниц изменился текст. Почему он не обновляется в результатах поиска?
Сканирование и индексирование страниц сайта может занять некоторое время. Вот как ускорить этот процесс:
- Запросите повторное сканирование.
- Если у вас есть файл Sitemap, исправьте дату последнего изменения. , если они есть. Так поисковые роботы будут быстрее обнаруживать обновленные материалы.
На моем сайте есть страницы, созданные с помощью PHP, ASP, CGI, JSP, CFM и т. д. Сможет ли поисковый робот проиндексировать их?
Да. Если для просмотра страницы в браузере не нужны специальные плагины, то Google сможет ее просканировать, проиндексировать и назначить ей позицию. Для нас не имеет значения код страницы, если ничто не мешает ее сканированию.
Индексация сайта в Google: проверка и ускорение
Для чего служит индексация сайта в Google? Можно ли обойтись без индексации сайта в Google? Каковы инструменты проверки индексации сайта в Google? Можно ли ускорить индексацию сайта в Google? Какие ошибки могут привести к отказу в индексации в Google?
Генератор Продаж 
Из этой статьи вы узнаете:
- Для чего служит индексация сайта в Google
- Можно ли обойтись без индексации сайта в Google
- Каковы инструменты проверки индексации сайта в Google
- Можно ли ускорить индексацию сайта в Google
- Какие ошибки могут привести к отказу в индексации в Google
Если вы уже завершили работу над созданием корпоративного сайта, блога, интернет-магазина или другой онлайн-площадки, нужно позаботиться о том, чтобы ваш проект могли найти его потенциальные пользователи. Для этого необходимо добавить новый ресурс в поисковые системы. Эта процедура называется индексация сайта в Google, «Яндексе» или других поисковиках. После этого ваша онлайн-площадка будет доступной для пользователей, которые вводят в строку поиска соответствующий запрос.
Почему так важна индексация сайта в Google
Недавно появилась информация о покупке корпорацией Google совместно с NASA особой системы, которую условно можно назвать «квантовый компьютер». На базе устройства, приобретенного у компании из Канады D-Wave Systems, планируется запуск лаборатории по исследованию искусственного интеллекта.
Квантовый компьютер можно представить в виде высокопроизводительной машины, в оперативной памяти которой будет содержаться вся информация, присутствующая в Интернете. После реализации такой идеи необходимость в индексации сайтов отпадет. Все новые ресурсы сразу после публикации будут попадать в память квантовой машины, а следовательно, их можно будет найти в поиске.
Все описанное выше является долгосрочной перспективой, а сейчас без индексации в Google не сможет эффективно работать ни один интернет-ресурс, кроме тех, которые рассчитаны на пользователей закрытых информационных пространств (Китай и Северная Корея).
Сложно представить, какой огромный объем данных находится сегодня во Всемирной паутине. Чтобы поисковые системы могли быстро находить нужные сведения, всю информацию необходимо четко структурировать и разместить в определенных ячейках. В каталогах поисковиков хранятся данные о каждой онлайн-странице всех сайтов, поэтому пользователи могут легко находить то, что их интересует.
Всемирная сеть непрерывно наполняется огромными объемами новой информации. Даже передовые поисковые системы не в состоянии сразу же индексировать все поступающие данные. На интернет-площадках с высоким уровнем посещаемости роботы «Гугла» ежедневно проверяют обновление контента, а на других ресурсах индексация проводится каждую неделю.
Примечательно, что «Гугл» осуществляет проверку новых ресурсов гораздо быстрее других систем. Этот поисковик может вносить в свои каталоги сведения об изменениях информации на онлайн-площадках буквально через несколько часов. Индексация сайта в Google предполагает также внесение такой важной информации, как ссылки, ключевые фразы и т. д.
Как происходит индексация сайта в Google
Скорость индексации разных онлайн-площадок в Google различается. Существует ряд факторов, от которых зависит, как быстро роботы поисковой системы посетят веб-площадку и сколько времени понадобится для внесения в информационную базу обнаруженных изменений. К примеру, новостные ресурсы индексируются быстроботами с интервалом в несколько часов. Есть несколько вариантов добавления онлайн-ресурса в «Гугл». Один из таких способов связан с размещением ссылок на проиндексированных страницах.
После посещения интернет-площадки роботы поисковой системы анализируют всю необходимую информацию и вносят ее в базу данных. Затем происходит ранжирование и определение авторитетности сайта (сортировка по установленным критериям – PageRank). Эти показатели рассчитываются исходя из количества и качества ссылок, которые ведут на него с других веб-страниц. Чем больше ссылочной массы, тем выше PageRank.
Рассмотрим основные факторы, влияющие на индексацию сайта в Google:
- посещаемость;
- релевантность контента (соответствие информации, представленной на сайте, запросам, которые интернет-пользователи вносят в поисковик) обеспечивается с помощью определенного количества ключевых слов в контенте и метатегах;
- внутренняя оптимизация страниц сайта.
Показатели авторитетности интернет-страниц могут находиться в пределах от 0 до 10. У лучших ресурсов PageRank составляет 4–5 пунктов. По шкале авторитетности сам «Гугл» имеет показатель в 10 пунктов. В настоящее время отключен тулбарный показатель PR.
Нужно учитывать, что страницы блогов, сайтов и других ресурсов, имеющие более высокие индексы авторитетности, в выдаче «Гугла» располагаются выше своих конкурентов. При этом каждая из них имеет свой собственный показатель PageRank, поэтому у всех страниц место в выдаче может быть разным.
Индексация осуществляется с помощью Googlebot, который и осуществляет сканирование.
Что такое «Гуглбот»? В чем отличие сканирования от индексирования веб-страниц? Как эти процессы могут ускорить попадание страниц сайта в выдачу «Гугла»? Ответы на эти вопросы приведены ниже:
- Googlebot – специальная программа поисковой системы «Гугл», осуществляющая сбор информации в сети Интернет и сканирование веб-страниц с последующим их размещением в поисковой выдаче.
- Сканирование старых и новых страниц сайтов, которое осуществляется программой Googlebot, необходимо для поиска новой и измененной информации, передаваемой поисковой системе «Гугл». На этот процесс значительное влияние оказывают ссылки.
- После обработки информации, собранной гугл-ботами во время сканирования интернет-страниц, происходит их индексация. При условии, что размещенный контент соответствует качественным требованиям, он добавляется в индекс. В процессе индексации информации, размещенной на страницах, обязательно проводится рассмотрение ключевых слов, анализ alt-тегов и «тайтлов».
Остается только уточнить, как же программа Googlebot обнаруживает новый контент или обновление данных. Этот процесс включает анализ собранной информации об интернет-страницах, проиндексированных «Гуглом», и данных карты сайта, которая размещена его администратором. Далее рассмотрим, что нужно сделать, чтобы пройти индексацию.
Различия индексации сайта в Google и «Яндексе»
Основное различие поисковых систем «Гугл» и «Яндекс» заключается в региональной принадлежности. Если Yandex работает только в русскоязычной части Интернета, то Google является международным поисковиком. Свои системы поиска есть практически в каждой стране. В некоторых случаях региональные сервисы могут составлять серьезную конкуренцию «Гуглу» («Яндекс» в РФ, Seznam – в Чехии, Baidu – в КНР и т. д.). Подтверждением этого факта могут служить переговоры по вопросам выкупа сервиса Yandex компанией «Гугл», которые имели место в 2003 году. Пока такое поглощение не состоялось.
У каждой поисковой системы есть свои программы ботов, осуществляющие проверку сайтов на предмет релевантности и качества представленного на них контента. При этом стандарты работы таких роботов постоянно совершенствуются. Нужно отметить, что разработчики не открывают полностью суть алгоритмов индексации, поэтому специалисты постоянно анализируют поисковые программы и на основании имеющихся практических данных формируют определенные выводы.
Рекомендуемые статьи по данной теме:
Требования, которые предъявляют «Гугл» и «Яндекс» к индексации сайтов, имеют много общего. Поэтому можно сформулировать некоторые универсальные рекомендации:
- Нужно уделять больше внимание качеству контента (уникальность, полезность и грамотность). Программные и орфографические ошибки четко отслеживаются ботами и снижают индекс авторитетности сайта.
- Интернет-площадки должны иметь понятную структуру. Важно, чтобы они были удобными для пользователей и содержали важную и ценную информацию.
- Следует качественно проработать страницы контактов и обратной связи, разместить портфолио и отзывы, а также описать имеющиеся достижения.
- На сайте нужно разместить работающие исходящие ссылки.
- Контент на интернет-площадках должен постоянно обновляться, а их функционал следует дорабатывать с учетом различных нововведений и инноваций. Все это учитывается поисковиками при ранжировании сайтов.
Поисковая система «Яндекса» имеет два робота – основной и быстрый (Orange). Первый осуществляет индексацию Сети в целом, а второй обеспечивает возможность быстрого поиска наиболее свежей и актуальной информации по запросу пользователя. Каждый робот имеет перечень данных, которые необходимо проиндексировать.
По мнению экспертов, «Яндекс» работает медленнее, чем «Гугл». Но при этом поисковая система Рунета индексирует полезные материалы и исключает из выдачи «лишние» результаты.
Преимущество «Гугла» заключается в его универсальности. «Яндекс» же развивается исключительно в русскоязычном Интернете (попытки выйти на другие рынки имели место, но пока не увенчались успехом).
Система Yandex ориентирована на поиск по запросам из ограниченного перечня регионов. Но именно региональный характер во многом определяет его успешность. В настоящее время «Гугл» и «Яндекс» занимают в русскоязычном Интернете примерно одинаковые ниши.
Yandex указывает сайты, для которых необходима привязка по региону:
- Информационные ресурсы, которые имеют региональную направленность. В «Вебмастере» «Яндекса» необходимо прописать предпочтительный регион.
- Площадки, которые предлагают продажу товаров или услуг. В эту категорию попадает широкий перечень сайтов, начиная интернет-магазинами и заканчивая порталами знакомств.
В интернет-пространстве других стран поисковая система Yandex не получила распространение, так как наиболее значимыми факторами поиска там выступают язык и местонахождение пользователя. На основании этих критериев и строится поисковая выдача «Гугла». В системе «Яндекс» индексация по языковым признакам не происходит. Несмотря на то, что этот поисковик определяет место нахождения пользователя, он не учитывает этот фактор при обработке запроса. Классифицировать сайты Рунета по регионам в зависимости от языка запроса не получается. «Яндекс» может настраивать поисковую выдачу исключительно по территориальному признаку, в чем и заключается уникальность этой системы.
Не так давно Yandex запустил новый инструмент – поиск «Андромеда». После этого поисковик предлагает определенные места в городах, дает возможность собирать коллекции пользователя, информирует о событиях из мира спорта, отмечает статус интернет-ресурсов особыми значками в зависимости от их благонадежности и популярности. Каким образом новый инструмент может влиять на индексацию, еще не совсем ясно.
Важным нововведением 2018 года является замена показателя ТИЦ (индекс цитирования) на ИКС (индекс качества сайта). Новый показатель необходимо учитывать при продвижении ресурса.
Как проиндексировать сайт в Google
Индексация сайта в Google требует терпения, так как поисковые системы достаточно медлительны. Этот процесс занимает несколько недель, поэтому не затягивайте с добавлением ресурса в поисковик. Даже если на страницах вашего сайта еще не появились записи, его уже можно добавлять в систему выдачи «Гугла».
Для начала нужно создать свой аккаунт в Google (если у вас есть почта Gmail, то можно считать, что аккаунт уже зарегистрирован) и через него получить доступ ко всем инструментам этой системы.
Этапы регистрации сайта в Google:
- Нужно перейти в раздел «Инструменты веб-мастера» и выбрать «Добавить ресурс». Затем необходимо внести адрес вашего ресурса и нажать «Продолжить».
- После того как вы будете переадресованы на следующую страницу, следует дать подтверждение своих прав на сайт. Сделать это можно несколькими способами, но наиболее простой – вариант с использованием HTML-файла. В этом случае, согласно п. 1 инструкции «Гугла», нужно закачать такой файл в «корень» сайта. Если операция выполнена без ошибок, то кликнув на ссылку, которая находится в 3 пункте инструкции, вы сможете увидеть содержание ресурса. Если же была допущена неточность, то вы перейдете на страницу 404. Если все нормально, то нужно выбрать пункт «Подтвердить».
- Для добавления сайта в поисковую систему «Гугл» и ускорения его индексации нужно указать ботам поисковика местонахождение XML-карты ресурса. Сделать это можно в панели управления сайтом, расположенной в инструментах веб-мастера. Здесь следует нажать кнопку «Сканирование» и выбрать подпункт «Файлы Sitemap». После этого переходите по ссылке «Добавление/проверка файла Sitemap» и вносите в строку адрес до карты (к примеру, «ru/sitemap.xml»). Нужно учесть, что доменное имя в этой строке уже будет прописано, поэтому вводить адрес необходимо без него («sitemap.xml»). Затем нужно нажать кнопку «Отправить файл Sitemap». Предварительно этот файл можно проверить на наличие ошибок, нажав кнопку «Проверить Sitemap».
Если все описанные выше шаги выполнены правильно, то ресурс уже будет добавлен в поисковик. Происходит индексация сайта в Google бесплатно, но этот процесс занимает от 7 дней до 3 недель.
Как проверить индексацию сайта в Google
- Применяйте поисковые операторы (специальные символы, добавляемые к запросам).
Поисковые символы обеспечивают уточнение результатов выдачи. К примеру, оператор «site:» позволяет получить данные об ориентировочном числе страниц сайта, прошедших индексацию в Google. Чтобы выполнить такую проверку, следует ввести в строку поиска следующую комбинацию: «site:[url вашего сайта]». В некоторых случаях значительное расхождение результатов выдачи Google и «Яндекса» может быть показателем существующих проблем с сайтом. С помощью дополнительных поисковых инструментов можно получить информацию относительно индексации страниц сайта за необходимый промежуток времени.
- Применяйте плагины и JavaScript-программы, сохраняемые как закладки браузера (букмарклеты).
С помощью таких инструментов можно выполнять проверку индексации в автоматическом режиме. Вам не придется открывать отдельно поисковую систему и вводить запросы в строку поиска.
- Устанавливайте специальные сервисы, проверяющие индексацию.
Такие инструменты значительно облегчают работу SEO-специалистов. Подобных сервисов достаточно много, к примеру связка Netpeak Spider и Netpeak Checker.
С помощью первого инструмента выполняется сканирование. При этом можно получить не только сведения о количестве страниц, прошедших индексацию в Google, но и другие полезные сведения: каноникал, код ответа, название, заголовки, метаописания, мета robots, robots.txt, переходы, ссылки и т. д. Кроме того, Netpeak Spider уведомляет о наличии ошибок в таких данных.
После получение перечня всех URL его можно ввести в Netpeak Checker и выполнить проверку индексации поисковиками.
Проверка индексации сайта в Google может выполняться с помощью следующих инструментов:
- Оператор «cache:» и индексация страниц.
Данный оператор используется для получения информации по архивированной копии страницы, которая была проиндексирована сервисом Google. Чтобы увидеть последнюю версию главной страницы вашего ресурса и получить сведения по дате формирования кеша, нужно ввести в поиск запрос cache:google.ru. Вы сможете увидеть последнюю версию страницы с обычным текстом. Это очень удобно, так как можно увидеть сайт таким, каким его видит гугл-бот.
Запрос «мета тег noarchive» ограничивает доступ других лиц к результатам поиска кеш-версии, но это не скажется на процессе индексации сайта в Google.
Оператор «related:» позволяет быстро находить сайты-конкуренты. Этот инструмент используется для ресурсов, которые пересекаются по различным признакам.
Как ускорить индексацию сайта в Google
Индексация сайта в Google, проверить которую позволяют инструменты, описанные в предыдущем разделе, может быть ускорена разными способами:
1. Создание Sitemap.
Файл Sitemap XML – перечень страниц ресурса, размещенных на сервере хостинга. При добавлении новых страниц сайта этот документ предоставляет соответствующую информацию «Гуглу» и дает инструкции по необходимому режиму проверки изменений. Частота посещения ресурса может быть выбрана веб-мастером. В случае необходимости можно дать команду поисковым роботам выполнять анализ сайта на наличие обновленных данных (товары, записи и т. д.). При отсутствии такой необходимости можно указать другую периодичность проверок. Если сайт работает на платформе «Вордпресс», то для автоматизации процессов формирования и обновления файла Sitemap необходимо установить плагины Google XML Sitemaps или Yoast SEO.
2. Предоставьте Google Indexing Tool свою карту сайта.
После того как вы создали карту сайта, необходимо перейти в Google Webmaster Tools в аккаунт своей площадки. Если такого аккаунта еще нет, то можно создать бесплатную учетную запись в Google и выполнить регистрацию в сервисе Webmaster Tools. Затем добавляете сайт в «Веб-мастер» и переходите к папке «Сканирование». Здесь необходимо выбрать «Sitemaps» и вставить туда ссылку на свой файл карты сайта. Такое действие позволяет сообщить поисковой системе о новых страницах. Для более эффективного информирования поисковика дополнительно используется консоль Bing. Здесь можно создать еще один аккаунт и включить карту своего ресурса, используя Webmaster Tools. Поисковый робот получает задачу на сканирование с помощью ссылок, поэтому необходимо выполнить проверку файла robots.txt и убедиться, что нужные страницы сайта открыты для индексации.
3. Используйте Google Analytics.
Сервис Google Analytics применяется для анализа источников трафика и поведения посетителей сайта. Но после добавления кода этого ресурса на страницы вашего интернет-ресурса и настройки аккаунта в аналитической системе «Гугла» происходит уведомление поисковика о появлении новой площадки, которую нужно сканировать.
4. Зарегистрируйте сайт в поисковых системах.
Раньше эксперты считали, что для индексации сайта системой «Гугл» веб-мастер должен зарегистрировать свой проект и подать заявку. Сейчас же есть некоторые примеры, когда специалисты по SEO-оптимизации выводят сайты на первые страницы поиска без предварительной регистрации. Но для этого нужны специальные знания и навыки. Если у вас их нет, то стоит потратить время на регистрацию своего ресурса в наиболее популярных поисковиках. Для регистрации сайта в Google используйте инструмент Google Search Console.
5. Сделайте внутреннюю перелинковку.
Чтобы индексация сайта прошла быстрее, стоит провести внутреннюю перелинковку страниц ресурса. Как было отмечено ранее, поисковые боты для перемещения в Интернете используют ссылки. Таким образом, если страницы связаны ссылками, то робот посетит их автоматически. Веб-мастер должен убедиться, что все наиболее важные страницы сайта перелинкованы друг с другом. При правильно организованной структуре ресурса внутренняя перелинковка происходит естественным путем. Для получения более высоких результатов по индексации сайта нужно связать друг с другом как можно больше страниц, поэтому, как только происходит публикация нового контента, не забывайте добавить в него несколько ссылок на другие записи.
6. Своевременно публикуйте качественный и уникальный контент на сайте.
Важно также уделять внимание регулярному появлению на сайте нового материала. Чем чаще это происходит, тем чаще поисковые боты будут посещать ваш ресурс, а значит, увеличится скорость индексации. Стоит создать план появления новых публикаций (1 раз в 3 дня или 2 раза в неделю) и строго придерживаться его. Соблюдение такого графика может увеличить скорость индексации в несколько раз. Поисковые боты будут строго по расписанию посещать сайт для поиска нового контента.
Именно по этой причине новостные площадки ежедневно публикуют десятки страниц. Такой режим публикаций обеспечивает ежедневное посещение сайта поисковыми роботами «Гугла». Такая же ситуация способствует тому, что в поисковой выдаче очень быстро появляются записи в социальных сетях.
В погоне за количеством публикаций не стоит забывать о качестве. Низкокачественный контент отрицательно отражается на индексации страниц сайта. Наиболее негативно влияют на этот процесс такие факторы, как:
- копирование статей с других ресурсов;
- публикация материалов с большим количеством орфографических и других ошибок;
- добавление текстов, перенасыщенных ключевыми словами.
На скорость индексации сайта в Google оказывает влияние и размер публикуемых статей. Их объем должен быть не менее 1,5 тыс. знаков при уникальности от 80–90 %. В каждой статье должна быть хоть одна картинка.
7. Добавьте URL страницы вручную.
В вопросах ускорения индексации сайта многие администраторы интернет-ресурсов забывают о специальных инструментах «Гугла». Их использование точно не принесет никакого вреда ресурсу и не создаст никаких сложностей веб-мастеру. Нужно только лишь зайти в Google-аккаунт и нажать «Отправить URL» в настройках Webmaster Tools.
8. Создавайте и обновляйте свои социальные профили.
Ранее уже отмечалась роль ссылок в вопросах привлечения роботов «Гугла» на сайт, поэтому становится очевидной и полезная роль, которую могут сыграть в вопросах индексации соцсети. Зарегистрируете свои профили LinkedIn, Твиттер, Pinterest, «Фейсбук», YouTube и Google+. Задействуйте для продвижения своего ресурса максимальное количество соцсетей. После появления на сайте нового контента обязательно публикуйте ссылку на него в своих социальных сетях.
9. Использование «правила трех кликов».
Чтобы ускорить индексацию сайта в Google и улучшить поведенческие факторы интернет-ресурса, для посещения любой страницы нужно сделать не больше трех переходов от главной.
10. Добавьте кнопки социальных сетей на сайт.
Для упрощения публикации ссылок на новые материалы в соцсетях следует установить на сайте кнопки таких сетей. Кроме того, посетители ресурса будут пользоваться такими кнопками, что увеличит посещаемость интернет-площадки.
11. Разместите ссылки на новую страницу на внешних ресурсах.
Процесс индексации сайта в Google можно ускорить с помощью наполнения блога, публикации статей, пресс-релизов, постов пользователей и других видов линкбилдинга.
12. Создайте RSS-канал.
RSS-канал не является обязательным элементом, но он не помешает индексации сайта в Google. RSS (с английского Rich Site Summary – «обогащенная сводка сайта») – семейство XML-форматов, которые используются для описания новостных лент, анонсов публикаций, изменений в блогах и др.
Это еще один простой способ уведомления поисковиков об обновлениях сайта, но сегодня этот инструмент считается устаревшим. Тем не менее RSS-канал помогает передать поисковым системам сведения о новом материале сразу же после его появления на сайте.
13. Отслеживайте ошибки индексации (о них будет рассказано ниже).
Достаточно сложно избежать ошибок, мешающих индексации сайта в Google. Часто они связаны с внесением значительных изменений в структуру сайта – с добавлением/удалением и перемещением различных страниц.
Для отслеживания ошибок используется Google Search Console.
Теперь вы знаете о многих методах ускорения индексации сайта в Google. Стоит отметить, что некоторые способы помогут привлечь целевую аудиторию на вашу площадку.
Почему не индексируется сайт в Google
Причины могут быть разными. Рассмотрим наиболее часто встречающиеся:
- Новый сайт. В этом случае нужно только терпение и время. Не все страницы нового ресурса сразу попадают в индекс «Гугла». Иногда процесс индексации может растянуться на несколько месяцев.
- Отсутствие карты сайта (файл Sitemap). Профессионально составленная карта сайта помогает поисковым ботам быстрее сканировать страницы сайта. Ссылка на файл «Сайтмеп» должна быть добавлена в панель веб-мастеров.
- Ошибки на страницах сайта. В панели для веб-мастеров «Гугл» постоянно уведомляет собственников интернет-ресурсов о появляющихся ошибках. Если есть проблема с индексацией сайта в Google, посмотрите, какие ошибки находит поисковый бот, и исправьте их.
- Ошибка с метатегом robots. Она может появиться из-за неправильного изменения настроек CMS или хостинга. В коде интернет-страниц в этом случае появится строка: <meta name=»robots» content fone»>
Проблемы с индексаций сайта в Google могут возникнуть также под влиянием следующих факторов:
- дубли страниц;
- недостаточный процент уникальности контента;
- затрудненный доступ к страницам и длительное время их загрузки.
Часто проблема заключается не в самой индексации, а в методах оптимизации сайта. Чтобы ваш ресурс быстро индексировался в Google, нужно лучше конкурентов удовлетворять запросы пользователей. При таком подходе все, что описано в этом материале, понадобится только для фиксации качественного результата.
Как отключить индексацию сайта в Google
Нужно отметить, что посещение и сканирование станиц ресурса роботами не может быть гарантией их попадания в индекс. В некоторых случаях стоит закрывать определенные страницы от индексации (к примеру, URL с техническими GET-параметрами, служебные файлы и материалы посетителей).