Как ускорить индексацию страницы в гугл
Перейти к содержимому

Как ускорить индексацию страницы в гугл

  • автор:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.

  • Интернет-магазину важно, чтобы новая категория или товар поскорее начали привлекать покупателей.
  • Информационному проекту быстрая индексация нужна, чтобы размещенный материал не потерял актуальность.
  • Сайту услуг тоже нужно соревноваться с конкурентами в поиске.

Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.

Почему не индексируется сайт

Проблемы с индексацией сайта бывают трех типов:

  1. Страницы долго индексируются. Зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает. Также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом.
  2. Страницы не индексируются ни Яндексом, ни Google. В этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt, настройках хостинга или в метатегах robots.
  3. Страницы не индексируются только одним поисковиком. Тогда стоит проверить сайт на фильтры проблемной поисковой системы.

Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.

Давайте разберем способы ускорения индексирования сайта поисковиками.

1. Улучшите внутреннюю SEO-оптимизацию

Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.

Проверьте файл robots.txt

Что нужно сделать:

  • Проверить, есть ли вообще файл robots.txt. Он располагается в корневой папке сайта и должен быть доступен по адресу site.ru/robots.txt. Если его нет — создать и настроить.
  • Убедиться, что в нем нет запрета на индексацию (подлежащие индексации страницы не должны быть закрыты директивой Disallow). Если в файле robots.txt прописана строка «Disallow: /», это значит, что сайт полностью запрещен к индексации поисковыми системами.
  • Закрыть доступ к системным файлам, страницам авторов, архивов, тегов, результатов поиска. В противном случае робот будет тратить время на сканирование бесполезных для поиска страниц и может так и не успеть добраться до основного контента.
  • Проверить правильность синтаксиса robots.txt.

Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Создайте sitemap.xml

Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.

После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:

Также укажите путь в панелях для вебмастеров:

  • Яндекс.Вебмастер – в разделе Инструменты / Анализ файлов Sitemap:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

  • Google Search Console – в разделе Индекс/Файлы Sitemap:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).

Добавьте HTML карту сайта

Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.

Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.

Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.

Проверьте ответы сервера

Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.

Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Подробно о кодах ответа сервера мы рассказывали в этой статье.

Поработайте над внутренней перелинковкой

Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.

В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).

Как ускорить индексацию сайта: 5 способов на все случаи жизни

В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Следите за уровнем вложенности

Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.

Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.

Пишите полезные и уникальные тексты

Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.

Чаще публикуйте записи и обновляйте страницы

Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.

Как поддерживать актуальность сайта:

  • публикуйте новые записи не реже 1 раза в неделю;
  • добавляйте ссылки со старых страниц на новые материалы;
  • актуализируйте и обновляйте информацию на сайте;
  • настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).

Устраните дубли на сайте

Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:

  • явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
  • неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).

Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».

2. Используйте инструменты для вебмастеров

После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.

После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).

В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».

Как ускорить индексацию сайта: 5 способов на все случаи жизни

«Аддурилка» Яндекса

В октябре 2021 года Яндекс представил технологию IndexNow. Это протокол, при помощи которого поисковая система сможет в режиме реального времени узнавать обо всех изменениях на сайте. Технически реализовать IndexNow можно при помощи API или плагинов для популярных CMS. Перед тем, как передавать URL, нужно будет сформировать и разместить на сайте специальный ключ, который подтвердит, что сайт принадлежит вам. Подробная инструкция по использованию протокола — в Справке Вебмастера.

В Google Search Console после обновления интерфейса как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:

Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.

3. Добавьте сайт в RSS-каналы, каталоги, рейтинги и соцсети

Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.

RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:

Добавить блог можно в такие каталоги:

Нелишним будет добавить сайт в бесплатные рейтинги:

  • top100.rambler.ru
  • top.mail.ru
  • liveinternet.ru

Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.

Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.

Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.

Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.

4. Используйте пинг-сервисы

С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Пример списка пинг-сервисов для блога на WordPress

Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.

5. Нарабатывайте «сильные» ссылки

Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.

Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.

Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.

10 способов ускорить индексацию и ранжирование контента в Google

Каждый владелец сайта хочет, чтобы только что опубликованный контент побыстрее проиндексировался и оказался в ТОПе выдачи. Обычно процесс занимает время: сначала нужно ждать, пока он проиндексируется, потом, пока дойдет до хороших позиций в выдаче. Опускаются руки: хорошего ранжирования материала приходится ждать недели, а то и месяцы. Как ускорить индексирование и ранжирование, если терять время не хочется?

На этот вопрос основатель агентства Zyppy Цирус Шепард ответил в еженедельной рубрике Moz Whiteboard Friday, а редакция SEOnews перевела транскрипцию видео с его выступлением.

Индексирование

Используйте инструмент для проверки URL (бывший Fetch & Render)

Google сам предоставляет вебмастерам инструменты для ускорения индексации. Самый простой и быстрый из них – инструмент проверки URL в новом интерфейсе Search Console. Это – новый аналог Fetch&Render, оставшегося только в старой версии Search Console. С помощью URL Inspection Tool можно дать ссылкам приоритет в очереди Google на сканирование: Googlebot найдет и обработает их быстрее.

Файлы Sitemap

Если вы еще не используете файлы Sitemap, начните. Это – один из самых простых и быстрых способов проиндексировать страницу в Google. Добавляя ссылки в файл, вы, наверное, хотите, чтобы Google узнал, что они действительно там. Есть несколько техник, которые помогут оптимизировать этот процесс.

Первый и самый популярный способ – указать в robots.txt путь к файлам Sitemap. Просто пропишите в конце списка директив команду [Sitemap:] и укажите путь к файлу.

Второй способ – добавить Sitemap через Search Console, достаточно указать относительный URL файла на странице с отчетом о файлах Sitemap и нажать «Отправить». Обработка файла начнется сразу, однако для полного сканирования перечисленных URL может понадобиться время. В этом же отчете можно просмотреть историю отправок и сведения об ошибках в файле. То же самое доступно в Search Console API.

Третий, не очень популярный способ – оповестить Google о файлах Sitemap с помощью запроса ping. Это можно сделать в любом браузере, достаточно ввести в строку google.com/ping? и URL, по которому находится файл Sitemap. После этого Google мгновенно поставит Sitemap в очередь на сканирование, благодаря чему содержащиеся в нем URL проиндексируются быстрее, если они конечно отвечают стандартам качества Google.

Google Indexing API

Относительно недавно Google представил Indexing API, который позволяет напрямую уведомить Google о добавлении, изменении и удалении страниц. С его помощью можно за раз обрабатывать тысячи URL.

Google позиционирует Indexing API как инструмент исключительно для работы со страницами с разметкой для вакансий и онлайн-трансляций. Однако SEO-эксперт Девид Соттимано поэкспериментировал с инструментом и выяснил, что на самом он работает для разных типов контента.

Другие советы по ускорению индексирования:

Константин Орешников, Product Owner сервиса Rookee:

  • Настраивайте правила автоматического добавления новых страниц в XML-карту и их обновление.
  • Добавляйте новые страницы на принудительную индексацию в Яндекс.Вебмастер и Google Search Console. Метод актуален для небольших сайтов. Если на сайт ежедневно выкладываются десятки–сотни страниц, вручную их добавить не получится.

Артур Латыпов, руководитель SEO Интеллект:

Индексирование и ранжирование

Инструменты, которые не только ускоряют индексирование, но и помогают контенту быстрее попасть в ТОП.

Ссылки с важных страниц

Опубликовав новый контент, убедитесь, что на него есть ссылки с важных страниц сайта – домашней, блога – любой страницы, которая хорошо ранжируется в поиске. Это основное, что нужно сделать: не бросать страницы без входящих ссылок.

Добавляя ссылки, вы сообщаете Google две вещи. Во-первых, что ссылку нужно добавить в очередь на сканирование. Во-вторых, что это – важная ссылка. Google поймет, что на новый контент ссылаются качественные страницы и будет лучше его ранжировать.

Старый контент

Пункт, о котором часто забывают – обновление старого контента. Стоит линковать не только новые страницы со старыми, но и старые с новыми.

Как понять, с каким старым материалом залинковать новый? Можно воспользоваться поиском по сайту или командой: site: [URL сайта + запрос], вбитой в поиске Google.

Соцмедиа

Очевидный пункт, который нельзя обойти стороной. Существует большая взаимосвязь между количеством репостов публикации в социальных сетях и ранжированием. Особенно полезно делиться статьями в агрегаторах контента, таких как Reddit: Google сканирует такие ссылки и анализирует активность на подобных сайтах. Такие внешние ссылки даже лучше перелинковок с собственным сайтом.

Константин Орешников, Product Owner сервиса Rookee:

Трафик страницы

До сих пор идут споры о том, является ли трафик сигналом для индексирования и ранжирования. Несмотря на это, техника работает раз за разом: сгенерируйте трафик на новую страницу, и она быстрее займет высокие позиции в поиске.

Артур Латыпов, руководитель SEO Интеллект:

Первое – общее про ПФ, тут как раз можно узнать о трафике, как факторе ранжирования.

Второе – как влиять на внутренние и внешние ПФ.

Другие советы по ускорению индексации и ранжирования контента:

Константин Орешников, Product Owner сервиса Rookee:

  • Подключайте Турбо-страницы и AMP-версии, так вы получите значительный рост мобильного трафика.
  • Создавайте сразу качественные страницы, с контентом и корректной оптимизацией метатегов. Если сначала страница проиндексирована пустой, с непонятными метатегами, она может накопить негативную историю и это станет проблемой в дальнейшем.

Ранжирование

Предположим, что мы добились своего и контент проиндексирован. Как же теперь ускорить ранжирование?

Клики из поиска

Генерировать стоит не только трафик, но и переходы из поиска.

Например, делясь материалом в Twitter, добавьте ссылку не на страницу, а на результаты поиска по запросу, по которому ваш материал точно окажется в ТОПе. Вместо https://www.seonews.ru/ дайте ссылку https://www.google.com/search?q=seonews.

На Западе подобная тактика распространена для ТВ-рекламы. Например, в рекламе Суперкубка говорилось: «Идите в Google и введите в поиске [Toyota машины 2019]».

Стратегия позволяет увеличить CTR и лучше ранжироваться по предлагаемым запросам. Чем чаще запрос вводится в поиск, тем больше у него шансов попасть в автозаполнение.

«Свежий» ключевой запрос

Новый контент лучше ранжируется по «свежим» ключевым словам, тем, по которым поиску выгоднее показывать самые последние публикации.

Например, по запросу «кафе открытые в рождество 2019» будут отображаться более новые страницы, так как пользователям интересно получить актуальную информацию. Статьи и подборки подобными ключевиками будут быстрее подниматься в поисковой выдаче.

Сравните с запросом «История второй мировой войны». Введите этот запрос в Google прямо сейчас и вы, скорее всего, увидите много старых материалов. Такие результаты обновляются редко, попасть в ТОП по подобным запросам удастся не сразу.

Введите Google ключевики, по которым вы хотите ранжироваться, и посмотрите, насколько старые материалы попадают в ТОП. Выберите «свежие» ключевые слова и добавьте их в свой материал.

Структура URL

В прошлом в Google говорили, что позиция URL в структуре сайта влияет на ранжирование.

Когда Google видит новую страницу, ему не хватает сигналов, чтобы ранжировать ее. Существует много алгоритмов, которые «пытаются понять», какой позиции заслуживает сайт.

Например, The New York Times размещает все обзоры на книги в одном разделе newyorktimes.com/book-reviews. Все страницы в нем высоко ранжируются. Из-за этого новый URL, появившийся в том же разделе, может временно получить сигналы ранжирования раздела, что поможет быстрее начать хорошо ранжироваться.

У нового контента, опубликованного в «авторитетных» разделах временно будет преимущество в ранжировании перед остальными страницами, пока алгоритмы Google не проанализируют саму страницу.

Артур Латыпов, руководитель SEO Интеллект:

Заключение

Это – неполный список техник, которые позволят новым страницам быстрее индексироваться и ранжироваться. А какими способами, повышающими скорость индексации и ранжирования, пользуетесь вы?

Индексация сайта в Google: проверка и ускорение

Для чего служит индексация сайта в Google? Можно ли обойтись без индексации сайта в Google? Каковы инструменты проверки индексации сайта в Google? Можно ли ускорить индексацию сайта в Google? Какие ошибки могут привести к отказу в индексации в Google?
Генератор Продаж Индексация сайта в Google: проверка и ускорение

Из этой статьи вы узнаете:

  • Для чего служит индексация сайта в Google
  • Можно ли обойтись без индексации сайта в Google
  • Каковы инструменты проверки индексации сайта в Google
  • Можно ли ускорить индексацию сайта в Google
  • Какие ошибки могут привести к отказу в индексации в Google

Если вы уже завершили работу над созданием корпоративного сайта, блога, интернет-магазина или другой онлайн-площадки, нужно позаботиться о том, чтобы ваш проект могли найти его потенциальные пользователи. Для этого необходимо добавить новый ресурс в поисковые системы. Эта процедура называется индексация сайта в Google, «Яндексе» или других поисковиках. После этого ваша онлайн-площадка будет доступной для пользователей, которые вводят в строку поиска соответствующий запрос.

Почему так важна индексация сайта в Google

Почему так важна индексация сайта в Google

Недавно появилась информация о покупке корпорацией Google совместно с NASA особой системы, которую условно можно назвать «квантовый компьютер». На базе устройства, приобретенного у компании из Канады D-Wave Systems, планируется запуск лаборатории по исследованию искусственного интеллекта.

Квантовый компьютер можно представить в виде высокопроизводительной машины, в оперативной памяти которой будет содержаться вся информация, присутствующая в Интернете. После реализации такой идеи необходимость в индексации сайтов отпадет. Все новые ресурсы сразу после публикации будут попадать в память квантовой машины, а следовательно, их можно будет найти в поиске.

Все описанное выше является долгосрочной перспективой, а сейчас без индексации в Google не сможет эффективно работать ни один интернет-ресурс, кроме тех, которые рассчитаны на пользователей закрытых информационных пространств (Китай и Северная Корея).

Сложно представить, какой огромный объем данных находится сегодня во Всемирной паутине. Чтобы поисковые системы могли быстро находить нужные сведения, всю информацию необходимо четко структурировать и разместить в определенных ячейках. В каталогах поисковиков хранятся данные о каждой онлайн-странице всех сайтов, поэтому пользователи могут легко находить то, что их интересует.

Всемирная сеть непрерывно наполняется огромными объемами новой информации. Даже передовые поисковые системы не в состоянии сразу же индексировать все поступающие данные. На интернет-площадках с высоким уровнем посещаемости роботы «Гугла» ежедневно проверяют обновление контента, а на других ресурсах индексация проводится каждую неделю.

Примечательно, что «Гугл» осуществляет проверку новых ресурсов гораздо быстрее других систем. Этот поисковик может вносить в свои каталоги сведения об изменениях информации на онлайн-площадках буквально через несколько часов. Индексация сайта в Google предполагает также внесение такой важной информации, как ссылки, ключевые фразы и т. д.

Как происходит индексация сайта в Google

Скорость индексации разных онлайн-площадок в Google различается. Существует ряд факторов, от которых зависит, как быстро роботы поисковой системы посетят веб-площадку и сколько времени понадобится для внесения в информационную базу обнаруженных изменений. К примеру, новостные ресурсы индексируются быстроботами с интервалом в несколько часов. Есть несколько вариантов добавления онлайн-ресурса в «Гугл». Один из таких способов связан с размещением ссылок на проиндексированных страницах.

После посещения интернет-площадки роботы поисковой системы анализируют всю необходимую информацию и вносят ее в базу данных. Затем происходит ранжирование и определение авторитетности сайта (сортировка по установленным критериям – PageRank). Эти показатели рассчитываются исходя из количества и качества ссылок, которые ведут на него с других веб-страниц. Чем больше ссылочной массы, тем выше PageRank.

Как происходит индексация сайта в Google

Рассмотрим основные факторы, влияющие на индексацию сайта в Google:

  • посещаемость;
  • релевантность контента (соответствие информации, представленной на сайте, запросам, которые интернет-пользователи вносят в поисковик) обеспечивается с помощью определенного количества ключевых слов в контенте и метатегах;
  • внутренняя оптимизация страниц сайта.

Показатели авторитетности интернет-страниц могут находиться в пределах от 0 до 10. У лучших ресурсов PageRank составляет 4–5 пунктов. По шкале авторитетности сам «Гугл» имеет показатель в 10 пунктов. В настоящее время отключен тулбарный показатель PR.

Нужно учитывать, что страницы блогов, сайтов и других ресурсов, имеющие более высокие индексы авторитетности, в выдаче «Гугла» располагаются выше своих конкурентов. При этом каждая из них имеет свой собственный показатель PageRank, поэтому у всех страниц место в выдаче может быть разным.

Индексация осуществляется с помощью Googlebot, который и осуществляет сканирование.

Что такое «Гуглбот»? В чем отличие сканирования от индексирования веб-страниц? Как эти процессы могут ускорить попадание страниц сайта в выдачу «Гугла»? Ответы на эти вопросы приведены ниже:

  1. Googlebot – специальная программа поисковой системы «Гугл», осуществляющая сбор информации в сети Интернет и сканирование веб-страниц с последующим их размещением в поисковой выдаче.
  2. Сканирование старых и новых страниц сайтов, которое осуществляется программой Googlebot, необходимо для поиска новой и измененной информации, передаваемой поисковой системе «Гугл». На этот процесс значительное влияние оказывают ссылки.
  3. После обработки информации, собранной гугл-ботами во время сканирования интернет-страниц, происходит их индексация. При условии, что размещенный контент соответствует качественным требованиям, он добавляется в индекс. В процессе индексации информации, размещенной на страницах, обязательно проводится рассмотрение ключевых слов, анализ alt-тегов и «тайтлов».

Остается только уточнить, как же программа Googlebot обнаруживает новый контент или обновление данных. Этот процесс включает анализ собранной информации об интернет-страницах, проиндексированных «Гуглом», и данных карты сайта, которая размещена его администратором. Далее рассмотрим, что нужно сделать, чтобы пройти индексацию.

Различия индексации сайта в Google и «Яндексе»

Различия индексации сайта в Google и «Яндексе»

Основное различие поисковых систем «Гугл» и «Яндекс» заключается в региональной принадлежности. Если Yandex работает только в русскоязычной части Интернета, то Google является международным поисковиком. Свои системы поиска есть практически в каждой стране. В некоторых случаях региональные сервисы могут составлять серьезную конкуренцию «Гуглу» («Яндекс» в РФ, Seznam – в Чехии, Baidu – в КНР и т. д.). Подтверждением этого факта могут служить переговоры по вопросам выкупа сервиса Yandex компанией «Гугл», которые имели место в 2003 году. Пока такое поглощение не состоялось.

У каждой поисковой системы есть свои программы ботов, осуществляющие проверку сайтов на предмет релевантности и качества представленного на них контента. При этом стандарты работы таких роботов постоянно совершенствуются. Нужно отметить, что разработчики не открывают полностью суть алгоритмов индексации, поэтому специалисты постоянно анализируют поисковые программы и на основании имеющихся практических данных формируют определенные выводы.

Рекомендуемые статьи по данной теме:

Требования, которые предъявляют «Гугл» и «Яндекс» к индексации сайтов, имеют много общего. Поэтому можно сформулировать некоторые универсальные рекомендации:

  1. Нужно уделять больше внимание качеству контента (уникальность, полезность и грамотность). Программные и орфографические ошибки четко отслеживаются ботами и снижают индекс авторитетности сайта.
  2. Интернет-площадки должны иметь понятную структуру. Важно, чтобы они были удобными для пользователей и содержали важную и ценную информацию.
  3. Следует качественно проработать страницы контактов и обратной связи, разместить портфолио и отзывы, а также описать имеющиеся достижения.
  4. На сайте нужно разместить работающие исходящие ссылки.
  5. Контент на интернет-площадках должен постоянно обновляться, а их функционал следует дорабатывать с учетом различных нововведений и инноваций. Все это учитывается поисковиками при ранжировании сайтов.

Поисковая система «Яндекса» имеет два робота – основной и быстрый (Orange). Первый осуществляет индексацию Сети в целом, а второй обеспечивает возможность быстрого поиска наиболее свежей и актуальной информации по запросу пользователя. Каждый робот имеет перечень данных, которые необходимо проиндексировать.

По мнению экспертов, «Яндекс» работает медленнее, чем «Гугл». Но при этом поисковая система Рунета индексирует полезные материалы и исключает из выдачи «лишние» результаты.

Преимущество «Гугла» заключается в его универсальности. «Яндекс» же развивается исключительно в русскоязычном Интернете (попытки выйти на другие рынки имели место, но пока не увенчались успехом).

Система Yandex ориентирована на поиск по запросам из ограниченного перечня регионов. Но именно региональный характер во многом определяет его успешность. В настоящее время «Гугл» и «Яндекс» занимают в русскоязычном Интернете примерно одинаковые ниши.

Yandex указывает сайты, для которых необходима привязка по региону:

  • Информационные ресурсы, которые имеют региональную направленность. В «Вебмастере» «Яндекса» необходимо прописать предпочтительный регион.
  • Площадки, которые предлагают продажу товаров или услуг. В эту категорию попадает широкий перечень сайтов, начиная интернет-магазинами и заканчивая порталами знакомств.

В интернет-пространстве других стран поисковая система Yandex не получила распространение, так как наиболее значимыми факторами поиска там выступают язык и местонахождение пользователя. На основании этих критериев и строится поисковая выдача «Гугла». В системе «Яндекс» индексация по языковым признакам не происходит. Несмотря на то, что этот поисковик определяет место нахождения пользователя, он не учитывает этот фактор при обработке запроса. Классифицировать сайты Рунета по регионам в зависимости от языка запроса не получается. «Яндекс» может настраивать поисковую выдачу исключительно по территориальному признаку, в чем и заключается уникальность этой системы.

Не так давно Yandex запустил новый инструмент – поиск «Андромеда». После этого поисковик предлагает определенные места в городах, дает возможность собирать коллекции пользователя, информирует о событиях из мира спорта, отмечает статус интернет-ресурсов особыми значками в зависимости от их благонадежности и популярности. Каким образом новый инструмент может влиять на индексацию, еще не совсем ясно.

Важным нововведением 2018 года является замена показателя ТИЦ (индекс цитирования) на ИКС (индекс качества сайта). Новый показатель необходимо учитывать при продвижении ресурса.

Индекс качества сайта

Как проиндексировать сайт в Google

Индексация сайта в Google требует терпения, так как поисковые системы достаточно медлительны. Этот процесс занимает несколько недель, поэтому не затягивайте с добавлением ресурса в поисковик. Даже если на страницах вашего сайта еще не появились записи, его уже можно добавлять в систему выдачи «Гугла».

Как проиндексировать сайт в Google

Для начала нужно создать свой аккаунт в Google (если у вас есть почта Gmail, то можно считать, что аккаунт уже зарегистрирован) и через него получить доступ ко всем инструментам этой системы.

Этапы регистрации сайта в Google:

  1. Нужно перейти в раздел «Инструменты веб-мастера» и выбрать «Добавить ресурс». Затем необходимо внести адрес вашего ресурса и нажать «Продолжить».
  2. После того как вы будете переадресованы на следующую страницу, следует дать подтверждение своих прав на сайт. Сделать это можно несколькими способами, но наиболее простой – вариант с использованием HTML-файла. В этом случае, согласно п. 1 инструкции «Гугла», нужно закачать такой файл в «корень» сайта. Если операция выполнена без ошибок, то кликнув на ссылку, которая находится в 3 пункте инструкции, вы сможете увидеть содержание ресурса. Если же была допущена неточность, то вы перейдете на страницу 404. Если все нормально, то нужно выбрать пункт «Подтвердить».
  3. Для добавления сайта в поисковую систему «Гугл» и ускорения его индексации нужно указать ботам поисковика местонахождение XML-карты ресурса. Сделать это можно в панели управления сайтом, расположенной в инструментах веб-мастера. Здесь следует нажать кнопку «Сканирование» и выбрать подпункт «Файлы Sitemap». После этого переходите по ссылке «Добавление/проверка файла Sitemap» и вносите в строку адрес до карты (к примеру, «ru/sitemap.xml»). Нужно учесть, что доменное имя в этой строке уже будет прописано, поэтому вводить адрес необходимо без него («sitemap.xml»). Затем нужно нажать кнопку «Отправить файл Sitemap». Предварительно этот файл можно проверить на наличие ошибок, нажав кнопку «Проверить Sitemap».

Если все описанные выше шаги выполнены правильно, то ресурс уже будет добавлен в поисковик. Происходит индексация сайта в Google бесплатно, но этот процесс занимает от 7 дней до 3 недель.

Как проверить индексацию сайта в Google

  • Применяйте поисковые операторы (специальные символы, добавляемые к запросам).

Поисковые символы обеспечивают уточнение результатов выдачи. К примеру, оператор «site:» позволяет получить данные об ориентировочном числе страниц сайта, прошедших индексацию в Google. Чтобы выполнить такую проверку, следует ввести в строку поиска следующую комбинацию: «site:[url вашего сайта]». В некоторых случаях значительное расхождение результатов выдачи Google и «Яндекса» может быть показателем существующих проблем с сайтом. С помощью дополнительных поисковых инструментов можно получить информацию относительно индексации страниц сайта за необходимый промежуток времени.

  • Применяйте плагины и JavaScript-программы, сохраняемые как закладки браузера (букмарклеты).

С помощью таких инструментов можно выполнять проверку индексации в автоматическом режиме. Вам не придется открывать отдельно поисковую систему и вводить запросы в строку поиска.

  • Устанавливайте специальные сервисы, проверяющие индексацию.

Такие инструменты значительно облегчают работу SEO-специалистов. Подобных сервисов достаточно много, к примеру связка Netpeak Spider и Netpeak Checker.

Netpeak Spider

С помощью первого инструмента выполняется сканирование. При этом можно получить не только сведения о количестве страниц, прошедших индексацию в Google, но и другие полезные сведения: каноникал, код ответа, название, заголовки, метаописания, мета robots, robots.txt, переходы, ссылки и т. д. Кроме того, Netpeak Spider уведомляет о наличии ошибок в таких данных.

После получение перечня всех URL его можно ввести в Netpeak Checker и выполнить проверку индексации поисковиками.

Проверка индексации сайта в Google может выполняться с помощью следующих инструментов:

  1. Оператор «cache:» и индексация страниц.

Данный оператор используется для получения информации по архивированной копии страницы, которая была проиндексирована сервисом Google. Чтобы увидеть последнюю версию главной страницы вашего ресурса и получить сведения по дате формирования кеша, нужно ввести в поиск запрос cache:google.ru. Вы сможете увидеть последнюю версию страницы с обычным текстом. Это очень удобно, так как можно увидеть сайт таким, каким его видит гугл-бот.

Запрос «мета тег noarchive» ограничивает доступ других лиц к результатам поиска кеш-версии, но это не скажется на процессе индексации сайта в Google.

Оператор «related:» позволяет быстро находить сайты-конкуренты. Этот инструмент используется для ресурсов, которые пересекаются по различным признакам.

Как ускорить индексацию сайта в Google

Индексация сайта в Google, проверить которую позволяют инструменты, описанные в предыдущем разделе, может быть ускорена разными способами:

1. Создание Sitemap.

Файл Sitemap XML – перечень страниц ресурса, размещенных на сервере хостинга. При добавлении новых страниц сайта этот документ предоставляет соответствующую информацию «Гуглу» и дает инструкции по необходимому режиму проверки изменений. Частота посещения ресурса может быть выбрана веб-мастером. В случае необходимости можно дать команду поисковым роботам выполнять анализ сайта на наличие обновленных данных (товары, записи и т. д.). При отсутствии такой необходимости можно указать другую периодичность проверок. Если сайт работает на платформе «Вордпресс», то для автоматизации процессов формирования и обновления файла Sitemap необходимо установить плагины Google XML Sitemaps или Yoast SEO.

2. Предоставьте Google Indexing Tool свою карту сайта.

После того как вы создали карту сайта, необходимо перейти в Google Webmaster Tools в аккаунт своей площадки. Если такого аккаунта еще нет, то можно создать бесплатную учетную запись в Google и выполнить регистрацию в сервисе Webmaster Tools. Затем добавляете сайт в «Веб-мастер» и переходите к папке «Сканирование». Здесь необходимо выбрать «Sitemaps» и вставить туда ссылку на свой файл карты сайта. Такое действие позволяет сообщить поисковой системе о новых страницах. Для более эффективного информирования поисковика дополнительно используется консоль Bing. Здесь можно создать еще один аккаунт и включить карту своего ресурса, используя Webmaster Tools. Поисковый робот получает задачу на сканирование с помощью ссылок, поэтому необходимо выполнить проверку файла robots.txt и убедиться, что нужные страницы сайта открыты для индексации.

3. Используйте Google Analytics.

Google Analytics

Сервис Google Analytics применяется для анализа источников трафика и поведения посетителей сайта. Но после добавления кода этого ресурса на страницы вашего интернет-ресурса и настройки аккаунта в аналитической системе «Гугла» происходит уведомление поисковика о появлении новой площадки, которую нужно сканировать.

4. Зарегистрируйте сайт в поисковых системах.

Раньше эксперты считали, что для индексации сайта системой «Гугл» веб-мастер должен зарегистрировать свой проект и подать заявку. Сейчас же есть некоторые примеры, когда специалисты по SEO-оптимизации выводят сайты на первые страницы поиска без предварительной регистрации. Но для этого нужны специальные знания и навыки. Если у вас их нет, то стоит потратить время на регистрацию своего ресурса в наиболее популярных поисковиках. Для регистрации сайта в Google используйте инструмент Google Search Console.

5. Сделайте внутреннюю перелинковку.

Чтобы индексация сайта прошла быстрее, стоит провести внутреннюю перелинковку страниц ресурса. Как было отмечено ранее, поисковые боты для перемещения в Интернете используют ссылки. Таким образом, если страницы связаны ссылками, то робот посетит их автоматически. Веб-мастер должен убедиться, что все наиболее важные страницы сайта перелинкованы друг с другом. При правильно организованной структуре ресурса внутренняя перелинковка происходит естественным путем. Для получения более высоких результатов по индексации сайта нужно связать друг с другом как можно больше страниц, поэтому, как только происходит публикация нового контента, не забывайте добавить в него несколько ссылок на другие записи.

6. Своевременно публикуйте качественный и уникальный контент на сайте.

Уникальный контент

Важно также уделять внимание регулярному появлению на сайте нового материала. Чем чаще это происходит, тем чаще поисковые боты будут посещать ваш ресурс, а значит, увеличится скорость индексации. Стоит создать план появления новых публикаций (1 раз в 3 дня или 2 раза в неделю) и строго придерживаться его. Соблюдение такого графика может увеличить скорость индексации в несколько раз. Поисковые боты будут строго по расписанию посещать сайт для поиска нового контента.

Именно по этой причине новостные площадки ежедневно публикуют десятки страниц. Такой режим публикаций обеспечивает ежедневное посещение сайта поисковыми роботами «Гугла». Такая же ситуация способствует тому, что в поисковой выдаче очень быстро появляются записи в социальных сетях.

В погоне за количеством публикаций не стоит забывать о качестве. Низкокачественный контент отрицательно отражается на индексации страниц сайта. Наиболее негативно влияют на этот процесс такие факторы, как:

  • копирование статей с других ресурсов;
  • публикация материалов с большим количеством орфографических и других ошибок;
  • добавление текстов, перенасыщенных ключевыми словами.

На скорость индексации сайта в Google оказывает влияние и размер публикуемых статей. Их объем должен быть не менее 1,5 тыс. знаков при уникальности от 80–90 %. В каждой статье должна быть хоть одна картинка.

7. Добавьте URL страницы вручную.

В вопросах ускорения индексации сайта многие администраторы интернет-ресурсов забывают о специальных инструментах «Гугла». Их использование точно не принесет никакого вреда ресурсу и не создаст никаких сложностей веб-мастеру. Нужно только лишь зайти в Google-аккаунт и нажать «Отправить URL» в настройках Webmaster Tools.

8. Создавайте и обновляйте свои социальные профили.

Ранее уже отмечалась роль ссылок в вопросах привлечения роботов «Гугла» на сайт, поэтому становится очевидной и полезная роль, которую могут сыграть в вопросах индексации соцсети. Зарегистрируете свои профили LinkedIn, Твиттер, Pinterest, «Фейсбук», YouTube и Google+. Задействуйте для продвижения своего ресурса максимальное количество соцсетей. После появления на сайте нового контента обязательно публикуйте ссылку на него в своих социальных сетях.

9. Использование «правила трех кликов».

Чтобы ускорить индексацию сайта в Google и улучшить поведенческие факторы интернет-ресурса, для посещения любой страницы нужно сделать не больше трех переходов от главной.

10. Добавьте кнопки социальных сетей на сайт.

Для упрощения публикации ссылок на новые материалы в соцсетях следует установить на сайте кнопки таких сетей. Кроме того, посетители ресурса будут пользоваться такими кнопками, что увеличит посещаемость интернет-площадки.

11. Разместите ссылки на новую страницу на внешних ресурсах.

Процесс индексации сайта в Google можно ускорить с помощью наполнения блога, публикации статей, пресс-релизов, постов пользователей и других видов линкбилдинга.

12. Создайте RSS-канал.

RSS-канал не является обязательным элементом, но он не помешает индексации сайта в Google. RSS (с английского Rich Site Summary – «обогащенная сводка сайта») – семейство XML-форматов, которые используются для описания новостных лент, анонсов публикаций, изменений в блогах и др.

Это еще один простой способ уведомления поисковиков об обновлениях сайта, но сегодня этот инструмент считается устаревшим. Тем не менее RSS-канал помогает передать поисковым системам сведения о новом материале сразу же после его появления на сайте.

13. Отслеживайте ошибки индексации (о них будет рассказано ниже).

Ошибки индексации

Достаточно сложно избежать ошибок, мешающих индексации сайта в Google. Часто они связаны с внесением значительных изменений в структуру сайта – с добавлением/удалением и перемещением различных страниц.

Для отслеживания ошибок используется Google Search Console.

Теперь вы знаете о многих методах ускорения индексации сайта в Google. Стоит отметить, что некоторые способы помогут привлечь целевую аудиторию на вашу площадку.

Почему не индексируется сайт в Google

Причины могут быть разными. Рассмотрим наиболее часто встречающиеся:

  1. Новый сайт. В этом случае нужно только терпение и время. Не все страницы нового ресурса сразу попадают в индекс «Гугла». Иногда процесс индексации может растянуться на несколько месяцев.
  2. Отсутствие карты сайта (файл Sitemap). Профессионально составленная карта сайта помогает поисковым ботам быстрее сканировать страницы сайта. Ссылка на файл «Сайтмеп» должна быть добавлена в панель веб-мастеров.
  3. Ошибки на страницах сайта. В панели для веб-мастеров «Гугл» постоянно уведомляет собственников интернет-ресурсов о появляющихся ошибках. Если есть проблема с индексацией сайта в Google, посмотрите, какие ошибки находит поисковый бот, и исправьте их.
  4. Ошибка с метатегом robots. Она может появиться из-за неправильного изменения настроек CMS или хостинга. В коде интернет-страниц в этом случае появится строка: <meta name=»robots» content fone»>

Проблемы с индексаций сайта в Google могут возникнуть также под влиянием следующих факторов:

  • дубли страниц;
  • недостаточный процент уникальности контента;
  • затрудненный доступ к страницам и длительное время их загрузки.

Часто проблема заключается не в самой индексации, а в методах оптимизации сайта. Чтобы ваш ресурс быстро индексировался в Google, нужно лучше конкурентов удовлетворять запросы пользователей. При таком подходе все, что описано в этом материале, понадобится только для фиксации качественного результата.

Как отключить индексацию сайта в Google

Нужно отметить, что посещение и сканирование станиц ресурса роботами не может быть гарантией их попадания в индекс. В некоторых случаях стоит закрывать определенные страницы от индексации (к примеру, URL с техническими GET-параметрами, служебные файлы и материалы посетителей).

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.

  • Интернет-магазину важно, чтобы новая категория или товар поскорее начали привлекать покупателей.
  • Информационному проекту быстрая индексация нужна, чтобы размещенный материал не потерял актуальность.
  • Сайту услуг тоже нужно соревноваться с конкурентами в поиске.

Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.

Проблемы с индексацией сайта бывают трех типов:

  1. Страницы долго индексируются. Зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает. Также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом.
  2. Страницы не индексируются ни Яндексом, ни Google. В этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt, настройках хостинга или в метатегах robots.
  3. Страницы не индексируются только одним поисковиком. Тогда стоит проверить сайт на фильтры проблемной поисковой системы.

Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.

Давайте разберем способы ускорения индексирования сайта поисковиками

Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.

Что нужно сделать:

  • Проверить, есть ли вообще файл robots.txt. Он располагается в корневой папке сайта и должен быть доступен по адресу site.ru/robots.txt. Если его нет — создать и настроить.
  • Убедиться, что в нем нет запрета на индексацию (подлежащие индексации страницы не должны быть закрыты директивой Disallow). Если в файле robots.txt прописана строка «Disallow: /», это значит, что сайт полностью запрещен к индексации поисковыми системами.
  • Закрыть доступ к системным файлам, страницам авторов, архивов, тегов, результатов поиска. В противном случае робот будет тратить время на сканирование бесполезных для поиска страниц и может так и не успеть добраться до основного контента.
  • Проверить правильность синтаксиса robots.txt.

Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:

В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:

В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.

Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.

После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:

Также укажите путь в панелях для вебмастеров:

  • Яндекс.Вебмастер – в разделе Инструменты / Анализ файлов Sitemap:

Google Search Console – в разделе Индекс/Файлы Sitemap:

Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).

Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.

Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.

Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.

Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.

Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.

Подробно о кодах ответа сервера мы рассказывали в этой статье.

Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:

Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.

В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).

В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:

Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.

Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.

Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.

Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.

Как поддерживать актуальность сайта:

  • публикуйте новые записи не реже 1 раза в неделю;
  • добавляйте ссылки со старых страниц на новые материалы;
  • актуализируйте и обновляйте информацию на сайте;
  • настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).

Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:

  • явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
  • неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).

Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».

После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.

После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).

В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».

В Google Search Console после обновления интерфейса в 2018 году как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:

Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:

Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.

Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.

RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:

Добавить блог можно в такие каталоги:

Нелишним будет добавить сайт в бесплатные рейтинги:

  • top100.rambler.ru
  • top.mail.ru
  • liveinternet.ru

Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.

Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.

Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.

Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.

С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:

Пример списка пинг-сервисов для блога на WordPress

Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.

Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.

Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.

Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.

Добавить комментарий

Ваш адрес email не будет опубликован.