Как удалить сайт из поиска «Яндекс» и Google
Сергей Ломакин Редакция «Текстерры»
Для удаления страницы из индекса можно использовать разные методы, и все они заметно различаются по принципу действия. Какой из них выбрать в вашем случае и как не навредить сайту, пытаясь удалить страницу из SERP? Узнаем сегодня.
Зачем удалять страницу из индекса
Удаление страниц из результатов поиска целесообразно проводить в следующих случаях:
- страница содержит устаревший контент;
- страница содержит персональные данные;
- страница с дублированным контентом;
- страница с неуникальным контентом;
- удаление технических / служебных страниц;
- страницы с ограниченным доступом.
Проверяем индексацию страницы
Прежде чем удалять страницу, необходимо проверить, находится ли она в индексе вообще. Отдельно проверяем индексацию в Google и отдельно – в «Яндекс». Начнем с первого.
Откроется Google Search Console. Мы должны выбрать домен, на котором размещается проверяемая страница:
Вводим полный адрес интересующей веб-страницы и нажимаем Enter:
Если проблемная веб-страница уже «выпала» из индекса Google, вы получите такое сообщение:
Это значит, что проблемная веб-страница в настоящий момент не может присутствовать в поиске.
Еще один способ проверить индексацию любой веб-страницы в Google (и, кстати, в «Яндексе» тоже) – ввести ее полный URL в поисковую строку:
Да, так просто. Если искомая веб-страница уже проиндексирована, вы увидите соответствующий результат:
Проверить индексацию любой веб-страницы в «Яндексе» можно при помощи инструментов «Яндекс.Вебмастер». Просто открываем его и в разделе «Индексация» выбираем пункт «Проверить статус URL». Можно проверять индексацию только у тех веб-страниц, которые относятся к подтвержденным доменам (у вас должны быть права на сайт, чтобы вы могли «стереть» URL). Если веб-страница находится в индексе отечественного поисковика, вы увидите у нее соответствующий статус:
Почему не стоит проверять индексацию оператором site:
Как удалить страницу сайта из поиска Google
Не срочное удаление страницы
В вышеуказанном случае можно порекомендовать просто удалить содержимое страницы целиком.
Удаление веб-страницы немного отличается в каждой CMS. Например, в WordPress необходимо открыть страницу в редакторе и выбрать пункт «Удалить в корзину»:
Удаленная страница со временем начнет отдавать ошибку 404. Через несколько дней краулеры Google автоматически исключат такую страницу из индекса.
Объединение нескольких страниц и указание главной
В таком случае нужно использовать единый каноникал-тег. О том, как указать каноническую страницу – в справке Google.
Учите, что rel canonical указывает на веб-страницу, которая является главной, а не второстепенной.
Здесь следует иметь в виду, что каноникал-тег не является прямой директивой. Соответственно, краулеры могут его игнорировать.
Кстати, кроме тега можно использовать перенаправление (лучше 301-ое) и параметры после URL (параметры следуют сразу после знака «?»). О том, как блокировать обход дублированного контента, содержащего параметры, —в справке Google Search Console.
Каноникализацию можно сделать несколькими способами. Выбирайте тот инструмент, которым владеете лучше.
Срочное удаление страницы из результатов поиска
В этом случае нужно использовать «Инструмент удаления URL». Открываем инструмент и выбираем сайт:
Указываем полный URL страницы, которую нужно скрыть:
Кстати, здесь же можно удалить все URL с текущим префиксом и скрыть кэшированную копию страницы. Подтверждаем запрос:
Инструмент не удаляет страницу из индекса в буквальном смысле, а лишь убирает ее оттуда на 6 месяцев, после чего вы должны принять финальное решение: удалить все содержимое страницы целиком либо ограничить доступ к странице.
Инструмент действует не мгновенно: скрывает проблемную страницу в течение 24-х часов.
Это самый быстрый способ показать Google, что страница должна быть удалена из результатов поиска.
Страницу нужно удалить из поиска, но она должна быть доступной
В этом случае нужно использовать ограничение доступа к странице. Сервисов и инструментов для этого много, но чаще всего используется ограничение по IP или организация доступа к странице по паролю. Здесь, опять же, сложно советовать что-то конкретное, так как ваши конечные цели сложно предугадать. По сложности внедрения оба способа примерно одинаковые.
Ограничить доступ к определенной странице можно при помощи учетных записей на сайте, но это трудоемкий способ.
Ограничить доступ к странице всем пользователям и сохранить его для некоторых посетителей можно при помощи мета-тега robots. Для этого необходимо добавить в него директиву noindex. На практике выглядит такой тег следующим образом:
При помощи директивы noindex в robots вы даете понять краулеру: выбранная страница не должна находиться в SERP.
Удаление изображения из результатов поиска
Здесь я рекомендую использовать атрибут disallow, который нужно указать в robots.txt. Никаких сложностей с этим точно не возникнет.
Вы можете ограничить обход как одной, так и сразу всех картинок. Все, что нужно для этого, – знать имя краулера. Это Googlebot – Image.
Например, мы хотим удалить картинку, значит, прописываем такой атрибут:
Удаление ссылки на страницу с контентом, защищенным копирайтом
Вам необходимо создать заявление в специальном инструменте для вебмастеров Google (называется DMCA).
Выбираем пункт «Создать новое заявление» и заполняем всю контактную информацию:
Указываем персональные данные, электронную почту, название компании и страну проживания:
Как видим, потребуется описать произведение, защищенное копирайтом, и указать ссылку, где оно размещается легально. Потребуется указать и точное расположение материалов (в виде ссылки), ущемляющих ваши авторские права:
Не забываем отметить чекбоксы и дать согласие на то, что эта форма заполняется «под присягой»:
Удаление ссылки на страницу, содержащую персональные данные
Для этого используйте инструмент «Удаления конфиденциальности». Он создан специально для ЕС, но мне известны как минимум 2 случая, когда он помогал удалить персональные данные и граждан РФ.
Понадобится заполнить страну проживания, фамилию и имя, электронную почту. Можно отправить запрос от имени родственника / члена семьи / друга / клиента. В этом случае понадобится указать степень родства (если речь идет о родственнике):
Далее указываем ссылки на действующие веб-страницы, содержащие ваши персональные данные:
Указываем поисковую фразу (в этом случае – имя и фамилия), по которой в результатах поиска выводятся ссылки на веб-страницы, содержащие персональные данные (ваши или доверенного лица):
Читаем соглашение Google о ПДн, отмечаем чекбоксы и подписываем документ:
Как удалить / стереть страницу из результатов поиска «Яндекс»
Теперь о том, что предлагает «Яндекс» для удаления URL из поиска.
Для эффективного удаления URL навсегда отечественный поисковик советует использовать уже знакомую директиву disallow. Ее следует указывать прямо robots-файле.
Второй способ. На удаляемой странице нужно прописать метатег robots (не забываем про директиву noindex).
Здесь стоит отметить, что бот-краулер отечественного поисковика первым делом анализирует именно robots-файл и только потом начинает сканировать саму веб-страницу. Убедитесь, что robots.txt содержит корректные указания. Для этого вы можете использовать специальный инструмент:
Еще один вариант – настроить HTTР-статус (он должен быть настроен у самой удаляемой веб-страницы). В последнем случае вы должны настроить точное перенаправление (404-ый или же 403-ий редирект).
Если вы сделали прямое запрещение на сканирование веб-страницы в системной файле robots, краулеры перестанут сканировать проблемную веб-страницу примерно спустя 24 часа (или быстрее).
Другой сценарий. Вы «сотрете» веб-страницу при помощи robots-тега (или же сразу настроите редирект http-статусом), а краулер продолжит сканирование проблемной веб-страницы (точно сказать нельзя, но в течение нескольких дней). Страница и спустя пару дней остается недоступной и не обновляется? Значит, она будет автоматически удалена из SERP «Яндекса » в ближайшее время.
Как ускорить удаление URL в «Яндексе»
Вы можете повлиять на скорость удаления URL. Первым делом уничтожьте веб-страницу через админку используемой CMS (URL должна отдавать 404-ой код). Вы можете удалить и целую группу URL, если в этом возникает необходимость.
Кстати, «Яндекс» позволяет удалить страницу из поиска даже в том случае, если вы не являетесь владельцем сайта и у вас отсутствуют права на домен (где размещается страница, которую вы хотите удалить) в «Яндекс.Вебмастере». Откройте инструмент и укажите проблемный URL:
Этот инструмент может помочь вам, только если для удаления URL есть какие-либо основания. К ним можно отнести 403-ий / 404-ый / 410-ый коды, прямое ограничение индексирования в robots.txt или запрещение метатегом noindex.
Если права на сайт в «Я.В» у вас подтверждены, вы сразу сможете стереть до пятисот URL в сутки.
Это все способы, при помощи которых Вы можете удалить страницу из индекса «Яндекс» и Google. Теперь предлагаю рассмотреть самые распространенные ошибки, которые могут возникнуть при удалении страниц.
Как не надо удалять страницу из поиска
Nofollow – только рекомендация
Этот способ вообще не работает, так как nofollow – всего лишь рекомендация для краулера и он, скорее всего, не будет ее соблюдать.
Тег noindex уже не работает
Раньше этот способ частично работал, но еще в 2019 году Google объявил, что отныне noindex в robots.txt не поддерживается.
Каноникал на другой URL
Каноникал используется для указания главной страницы, требующей индексации. Noindex же говорит краулерам, что страница не должна находиться в индексе. Тут возникает конфликт. Поэтому не используйте страницы с каноникл-тегом, указывающие на другие URL.
Блокировка поисковых роботов в robots.txt
Так вы лишь рекомендуете краулеру не обходить страницу, но он все равно может ее просканировать по своему усмотрению и даже включить ее в SERP.
Канониклы настраиваем в тех случаях, когда проблемная страница нужна в рамках сайта. Когда не нужна, настраиваем 301-ое / 404-ое перенаправление.
В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров
Удаление страниц из поиска в Google Search Console: пошаговая инструкция
Удаление страниц из поиска Google позволяет исключить старые ссылки из поисковой выдачи или избавиться от технических URL или дублей.
Удаление страниц из поиска Google
Для этого потребуется подключить сайт к Google Search Console и использовать данный инструмент:
Выбрав нужный ресурс необходимо кликнуть на «Создать запрос», который можно создать в пунктах:
- Временное удаление URL;
- Кэшированной копии страницы.
После этого вводим запрос с протоколом и вводим указав:
- Удалить только этот URL;
- Удалить все URL с этим префиксом. Аналогично URL начинаются с этого адреса.
После этого подтверждаем отправку.
Теперь видим, что в системе появился запрос, который будет обработан в течение 1-3 дней.
Как удалить сайт из поисковой системы
197110, Россия, Санкт-Петербург, а/я 144, ООО «Юми» +7 (812) 309-68-23 
Подобным вопросом задаются те пользователи, чьи веб-ресурсы потеряли свою актуальность или были заменены более функциональными версиями. Сразу оговоримся, что удалить сайт из поиска может только его владелец, у которого есть доступ к панели Яндекс Вебмастера и самой площадке. Если вы надеетесь, что сможете удалять сайты конкурентов из поисковых систем, то так не получится:)
В этой публикации мы расскажем вам, как полностью удалить свой ресурс или его отдельные страницы из Google и Яндекс.
Удаляем сайт через Яндекс Вебмастер
Перед тем, как перейти к непосредственному удалению вашего ресурса через панель Вебмастера, необходимо поставить запрет на индексирование сайта с помощью мета-тегов. Для этого просто скопируйте код ниже и вставьте в поле «Подтверждение владения сайтом» в разделе «Реклама/SEO» панели управления (если у вас сайт на конструкторе 1С-UMI).
Затем авторизуйтесь в своем аккаунте Вебмастера. Перейдите в раздел «Инструменты» и нажмите на пункт «Удалить URL». В поле справа укажите ссылку на ту страницу, которую желаете удалить, либо домен сайта, если необходимо удалить весь ресурс. После этого нажмите на кнопку «Удалить».
На удаление Яндексом вашего сайта или его отдельной страницы понадобится несколько дней, а в некоторых случаях будет достаточно пары часов.
Удаляем сайт через Google Search Console
Здесь никаких предварительных действий не требуется. Но и удалить навсегда свой ресурс при помощи этого сервиса у вас не получится. Зато можно заморозить доступ к нему на срок до 3 месяцев.
Для этого авторизуйтесь в панели вебмастера, выберите свой сайт, в разделе «Индекс Google» отыщите инструмент «Удалить URL-адреса». Нажмите на кнопку «Временно скрыть», введите адрес сайта или конкретной страницы и отправьте запрос. Он обрабатывается в течение 24 часов.
Если же вы захотите насовсем удалить сайт из поисковой системы, воспользуйтесь одним из методов, о которых пойдет речь ниже.
Удаляем сайт при помощи ошибки 404
Наверняка вы уже сталкивались с подобным, когда пытались перейти на какие-либо сайты. Вам показывалась данная ошибка, которая означает, что такой страницы больше нет. Для своего ресурса вы можете сделать то же самое.
Чтобы активировать эту ошибку на UMI, деактивируйте главную страницу сайта при помощи кнопки «Сделать неактивным» в разделе «Контент → Структура и меню».
Поисковые системы будут посылать запросы, которые покажут им, что данного ресурса больше нет. Как только это станет очевидно, Google и Яндекс удалят такую страницу из своей выдачи.
Помните, что само по себе выключение вами страницы на сайте не удалит его из поиска, это произойдет только после переиндексации. Она может занять от одного дня до месяца. Если на ваш веб-ресурс ссылаются другие источники, то будет правильнее его удалить с использованием 301 редиректа.
Удаляем сайт при помощи 301 редиректа
Применение этого способа не просто удалит сайт из индекса, но и сделает его контент недоступным для всех пользователей и даже самого владельца, администратора. Метод заключается в перенаправлении посетителя на другой раздел сайта, если он искал страницу, которая перестала существовать.
Преимущество 301 редиректа в том, что он позволяет сохранять текущие позиции в выдаче поисковых систем. Новый домен, на который устанавливается редирект, перенимает позиции. А это означает, что ваши усилия по SEO-продвижению своего ресурса не пойдут прахом, а результаты останутся в полной сохранности.
Для сайтов на 1С-UMI 301 редиректы легко подключаются через панель управления ― в разделе «Реклама/SEO» → «Перенаправления страниц (редиректы)».
Скрываем сайт при помощи robots.txt
Этот способ не удалит ваш веб-сайт из поиска, но позволит его скрыть от поисковых роботов. Чаще всего он используется, когда есть необходимость скрыть определенных разделов или документов. В таких случаях просто прописывается запрет на индексацию. Но при желании можно скрыть и весь сайт целиком. Например, на срок его редизайна или иной доработки.
Там, где вы видите пункт User-agent, укажите звездочку, если хотите скрыть сайт от всех поисковых систем. Если желаете, чтобы сайт не индексировался конкретным поисковиком, вместо звездочки впишите, соответственно, Googlebot или Yandex.
Удаляем сайт при помощи мета-тега robots
Об этом методе мы уже говорили ранее, когда описывали способ удаления сайта через Яндекс Вебмастер. Но тут есть еще ряд важных нюансов и полезных фишек. Вы можете удалить сайт или отдельную его страницу не для всех поисковых систем, а для одной конкретной. Допустим, вы хотите, чтобы ваш ресурс не присутствовал в Google, но продолжал быть на виду в Яндексе. Сделать это вполне реально и без каких-либо проблем. Для этого вставьте следующий код в поле «Подтверждение владения сайтом»в разделе «Реклама/SEO» панели управления (если у вас сайт на конструкторе 1С-UMI).
Чтобы удалить сайт из Яндекса:
<meta name=»yandex» content=»noindex,nofollow»>
Чтобы удалить сайт из Google:
<meta name=»googlebot» content=»noindex,nofollow»>
Таким образом, вы скрываете сайт от поисковой системы, но при этом он продолжает работать для вас, ваших сотрудников и всех тех, кто приходит из других источников. Как видите, способов удалить или скрыть свой веб-ресурс от «глаз» поисковиков много. Выбирайте тот, что лучше всего вам подходит.
Google Search Console: руководство для начинающих вебмастеров
От того, как ранжируется ваш сайт на поиске Google, напрямую зависит его посещаемость. На позиции в выдаче влияет релевантность контента поисковому запросу, скорость загрузки страниц, поведенческие сигналы, наличие технических ошибок и многие другие факторы. Получить полную картину эффективности ресурса на Google-поиске можно с помощью Search Console.
Рассказываем, как работать с этим сервисом и использовать его отчеты для оптимизации сайта.
Google Search Console — бесплатный инструмент для вебмастеров и SEO-специалистов, который показывает, как Google сканирует и представляет сайт в результатах поиска.
Какие задачи можно решить с помощью информации в Google Search Console:
- Собрать данные о целевой аудитории — по каким запросам были переходы на сайт, в каких странах находятся пользователи, какими устройствами пользуются.
- Проанализировать ключевые слова, по которым посетители сайта нашли его в поиске Google — по каждому ключевому слову можно посмотреть его позицию, количество показов, переходов, кликабельность.
- Определить эффективные и неэффективные страницы с точки зрения скорости загрузки.
- Найти непроиндексированные страницы и ускорить их индексацию.
- Определить среднюю позицию сайта на поиске Google, в том числе, позицию сайта по определенному запросу.
- Выявить проблемы в мобильной версии — слишком мелкий шрифт, не задано значение метатега viewport и т. д.
- Проанализировать ссылочную массу — какие внешние источники ссылаются на сайт и на какие конкретно страницы.
Авторизуемся в Google, переходим в Google Search Console и для начала выбираем тип ресурса, который нужно добавить. От этого зависят способы, которыми можно подтвердить права на него.
Доступно два варианта:
- Доменный ресурс. Проверяется не отдельный протокол, а весь ресурс, в том числе все домены, протоколы и директории. Например, при добавлении ресурса promopult.ru, проверка будет распространяться и на его поддомен — blog.promopult.ru. Подтвердить права на доменный ресурс можно только с помощью DNS.
- Ресурс с префиксом в URL. Проверка прав осуществляется только по конкретному адресу с определенным протоколом. Например, только по адресу https://blog.promopult.ru. В этом случае возможны разные способы подтверждения.
Как подтвердить права на доменной ресурс
Вводим домен или субдомен:
Подтверждаем права собственности на домен. Для этого копируем запись TXT и добавляем ее в конфигурацию DNS своего домена. Кликаем «Подтвердить».
Как подтвердить права на ресурс с префиксом в URL
Выбираем доступный способ подтверждения прав:
- Скачать созданный сервисом HTML-файл и загрузить на свой сайт.
Другие способы подтверждения. Можно добавить тег HTML в код главной страницы, добавить в код главной страницы фрагмент кода analytics.js или gtag.js., использовать аккаунт Диспетчера тегов, добавить записи DNS в конфигурацию домена.
Если нужно добавить в Search Console еще один ресурс, разворачиваем список напротив надписи «Ресурс» и выбираем «Добавить ресурс»:
Далее повторяем процедуру верификации.
После добавления ресурса в Search Console открывается доступ к его инструментам и отчетам. Остановимся на каждом и опишем функционал.
Разворачиваем список напротив «Ресурс» и выбираем нужный ресурс:
После этого попадаем на главную страницу, где представлен отчет «Обзор». Это общий отчет по основным показателям.
Разделы отчета «Обзор»:
- Эффективность. Представлены данные о том, сколько кликов получил сайт за месяц в Google Поиске и общее количество кликов.
- Покрытие. Показывается количество проиндексированных страниц.
Улучшения. Сколько страниц сайта проиндексированы без ошибок, а сколько — с ошибками.
Получить подробные данные по каждому пункту можно двумя способами: перейти в соответствующий раздел меню («Эффективность», «Обзор» или «Улучшения») или кликнуть «Открыть отчет» в строке таблицы.
Это ключевой отчет для SEO-специалистов. В старой версии Search Console его аналогом был отчет «Анализ поисковых запросов».
Из отчета можно узнать:
- По каким запросам пользователи попадали на ресурс.
- Динамику трафика и показов на сайте.
- Средний CTR ресурса, страницы с высоким и низким CTR.
- Среднюю позицию сайта на поиске Google и позиции ресурса по конкретным запросам.
- Определить, из каких стран и с каких устройств пользователи заходят на сайт (мобайл, десктоп).
В верхней части отчета находится линейный график, на котором отображается динамика кликов и показов за последние 3 месяца. Также указывается средний CTR и средняя позиция сайта на поиске.
По умолчанию на графике представлены только клики и показы:
На график можно добавить показатели среднего CTR и/или средней позиции сайта.
Например, добавим на график показатель CTR. Для отображения показателя поставим галочку в блоке «Средний CTR»:
Также в отчете «Эффективность» можно задать статистику за другой период. Для этого нажимаем «Дата: за последние 3 месяца»:
Указываем нужный период:
В результате мы получим график за последние 12 месяцев:
В Search Console можно посмотреть статистику по конкретному запросу или слову, которое должен содержать запрос. Для этого воспользуемся фильтром.
Допустим, мы хотим посмотреть статистику по всем запросам, которые содержат слово «завод». Для этого кликаем на «+Новый»:
В меню выбираем пункт «Запрос»:
Выбираем фильтр «Запросы, содержащие». Ниже пишем слово «завод» и применяем изменения:
Получаем линейный график по ключевым запросам, содержащим слово «завод»:
Внизу находится таблица с подробной статистикой за три месяца по всем словам, которые содержат слово «завод»:
Из таблицы мы видим, что больше всего кликов было по запросу «ярославский завод композитов». Больше всего показов было по запросу «завод композитных материалов».
Посмотрим, с каких устройств пользователи переходили на сайт по запросам, которые содержат слово «завод композитных материалов». Для этого перейдем на вкладку «Устройства»:
Из таблицы мы видим, что большинство пользователей переходили с десктопных устройств — 26 кликов. Но переходы с мобильных устройств также были — всего 9 кликов.
Воспользуемся фильтром, чтобы посмотреть по каким запросам ранжируется страница. Для этого нажимаем на «+Новый» и в меню выбираем «Страница»:
В выпадающем списке выбираем «Точный URL» и указываем адрес:
Внизу отчета появится список запросов, по которым эта страница ранжируется на поиске Google:
Указанная страница ранжируется по шести запросам. Больше всего показов было по запросу «композитная арматура купить». Ни по одному из запросов не было кликов.
Переходим к таблице со статистикой по запросам. Нажимаем на значок фильтра и в выпадающем меню выбираем пункт «CTR»:
Отфильтруем запросы, у которых CTR меньше 10%. Кликаем на «Готово»:
Получаем список всех запросов с низким CTR:
Из результатов видно, что по многим запросам не было кликов. Поэтому они имеют нулевой CTR.
Проверка URL показывает, попала ли страница в индекс. Аналогичная функция в старой версии Search Console — «Посмотреть как Googlebot».
Для выполнения проверки вводим URL в строку поиска:
Система выполнит проверку:
По результатам проверки мы видим, что никаких ошибок не обнаружено: URL есть в индексе Google, страница оптимизирована для мобильных устройств.
Зачем нужно использовать проверку URL:
- Ускорить индексацию новой страницы. Если проверка показала, что URL не проиндексирован, то можно ускорить процесс индексации. Для этого необходимо запросить индексирование.
Ускорить переиндексацию. Если произошло обновление страницы (например, изменились цены, ассортимент, описание товара, описание компании и т. д.), то также можно запросить индексирование повторно.
Устранить ошибки. В ходе проверки URL система может обнаружить ошибки. Для получения подробной информации нажимаем «Изучить просканированную страницу»:
Здесь можно посмотреть HTML-код страницы (вкладка «HTML»). Перейдем на вкладку «Скриншот», чтобы посмотреть, как видит страницу Google.
Оказывается, Google видит эту страницу совсем не так как пользователь. Для уточнения причин переходим на вкладку «Подробнее»:
Причина в том, что при индексации не все ресурсы страницы удалось загрузить. Также обнаружены две ошибки кода JavaScript.
В отчете «Покрытие» содержится информация о количестве проиндексированных страниц и ошибках. Аналогичный инструмент в предыдущей версии Search Console назывался «Статус индексирования».
Перейдем на вкладку «Покрытие». Здесь мы видим, что 98 страниц проиндексировано Google без ошибок. Исключено из поиска 113 страниц.
Посмотрим отчет о проиндексированных страницах. Для этого устанавливаем галочку в блоке «Страницы без ошибок».
Внизу в разделе «Сведения» отображается информация о типе проверки и количестве страниц. Нажимаем на ссылку «Страница без ошибок»:
Попадаем в отчет, в котором показывается, какие страницы и когда были проиндексированы:
Аналогичным образом узнаем о страницах, исключенных из индекса. Устанавливаем галочку в блоке «Исключено»:
Переходим в раздел «Сведения». Там указано сколько страниц:
- исключено из-за переадресации;
- просканировано, но пока не проиндексировано;
- заблокировано в файле robots.txt и т. д.
Посмотрим отчет по страницам, которые просканированы роботом Google, но еще не попали в индекс. Для этого нажимаем на нужную строку:
Из этого отчета можно посмотреть URL страницы и дату сканирования. Например, мы видим что последняя в таблице страница была просканирована более двух месяцев назад, но так и не попала в индекс.
Кликаем два раза по этой строке — справа откроется окно с подробностями по данному URL.
Проверим блокировку URL в robots.txt:
Проверка не обнаружила директив, которые запрещают индексацию страницы.
Для ускорения процесса индексации URL запросим индексирование. Для этого нажимаем «Проверить URL»:
Проверка показывает, что URL нет в индексе. Нажимаем «Запросить индексирование»:
После этих действий Google проверит возможность индексирования страницы. Если никаких ошибок не будет обнаружено, то страница попадет в индекс.
Для ускорения индексации, а также передачи поисковому роботу информации о последнем обновлении и приоритетности обхода страниц составляется xml-карта сайта. Отправить карту сайта для сканирования гуглоботом и выявления возможных ошибок можно через Search Console в разделе «Файлы Sitemap».
Для добавления карты сайта вносим ее адрес в поисковую строку и нажимаем «Отправить»:
В блоке «Файлы на проверке» можно посмотреть информацию о добавленной карте. Здесь отображается тип файла, дата его отправки, статус, дата последней обработки, количество выявленных URL.
Для получения более подробной информации о проверке кликаем на любое место в строке с данными:
Из отчета видно, что все URL успешно обработаны. Ошибки, предупреждения или исключения отсутствуют.
Если обнаружены ошибки, посмотрите отчет об индексировании. Это важно, потому что все страницы в карте сайта должны быть проиндексированы.
С помощью этого инструмента Search Console можно временно (примерно на 6 месяцев) удалить из результатов поиска Google URL, текущее описание страницы или ее кешированную версию.
Покажем, как временно удалить URL. Перейдем в раздел «Удаление» — вкладка «Временные удаления». Нажимаем кнопку «Создать запрос»:
Вводим URL, выбираем опцию «Удалить только этот URL» и подтверждаем свои действия:
Готово! Временно можно удалить конкретную страницу или целую папку.
Из отчета «Основные интернет-показатели» можно узнать, насколько эффективно работают страницы сайта для ПК и мобильных устройств. Источник данных — отчет об удобстве пользования браузером Chrome. Этот отчет приобрел особую значимость в связи с введением Google новых факторов оценки качества сайта — Core Web Vitals. Это три показателя, которые потенциально будут влиять на ранжирование ресурса в Google:
- LCP (Largest Contentful Paint) — скорость загрузки основного контента на странице;
- FID (First Input Delay) — время, которое проходит до возможности первого взаимодействия с контентом;
- CLS (Cumulative Layout Shift) — стабильность верстки (как сильно сдвигается верстка в процессе загрузки контента).
Данные по всем трем показателям и представлены в этом отчете.
Важно: вы не сможете посмотреть здесь данные о скорости загрузки для отдельной страницы. Данные сгруппированы по статусу, показателям и группам URL. Задача отчета — получить полную картину эффективности ресурса в целом и устранить неполадки. Узнать о скорости загрузки конкретного URL можно с помощью сервиса PageSpeed Insights.
Перейдем в раздел «Основные интернет-показатели». Здесь представлены данные о количестве:
- эффективных URL-адресов;
- неэффективных URL-адресов;
- страниц, скорость которых надо увеличить.
Посмотрим подробнее отчет по основным интернет-показателям страниц сайта для ПК. Для этого кликнем на «Открыть отчет»:
В отчете URL сгруппированы по следующим параметрам:
- Низкая скорость (показатель LCP больше 4 с).
- Нужно увеличить скорость загрузки (меньше 4 с, но больше 2,5 с). Это URL-адреса, которые не являются неэффективными, но скорость их загрузки можно увеличить.
- Вполне надежный (2,5 с и меньше). Это страницы, которые быстро загружаются и благоприятно воспринимаются пользователями.
Из нашего отчета видно, что в течение трех месяцев неэффективных URL-адресов обнаружено не было. Но есть рекомендации по увеличению скорости загрузки страниц.
В разделе «Сведения» представлена информация о рекомендациях, проверках и тенденциях. В столбце «Статус» мы видим рекомендацию по увеличению скорости. Для получения более развернутых сведений кликаем по этой строке:
После работ по оптимизации страницы проверим в Search Console, устранена ли проблема. Для этого нажимаем «Проверить исправление»:
Проверка занимает до 28 дней. Но система не сможет ее выполнить, если на странице будет низкая посещаемость.
Отчет предоставляет информацию о том, какие страницы сайта не оптимизированы под мобильный трафик.
Вверху отображается число страниц, которые неудобно просматривать на мобильных устройствах. Мы видим, что на 8 страницах обнаружено 2 проблемы. На 38 страницах проблем не обнаружено.
По умолчанию на графике отображаются данные только по ошибкам. Установим галочки напротив показателей «Страница без ошибок» и «Показы». Так мы можем отследить в динамике количество просмотров с мобильных устройств:
Ниже в разделе «Сведения» указаны ошибки.
В нашем случае их две (и они самые распространенные):
- Интерактивные элементы расположены слишком близко. Ошибка показывается в том случае, когда элементы навигации на странице находятся настолько близко, что пользователь не может пользоваться одним, не задевая второй.
- Контент шире экрана. Ошибка выдается в том случае, если для просмотра страницы приходится пользоваться горизонтальной прокруткой.
Также к ошибкам относятся: слишком мелкий шрифт, не задано значение метатега viewport, в метатеге viewport не задано значение device-width.
Для получения более подробной информации об ошибке кликаем на нужную строку:
В открывшемся отчете перечислены URL страниц, на которых обнаружена ошибка:
После оптимизации страницы можно проверить, решена ли проблема:
Не знаете, с чего начать оптимизацию сайта под мобильные устройства? Изучите гайд по Mobile First — часть 1, часть 2, часть 3.
Для тех, кто внедрил на сайте технологию ускоренных AMP-страниц, в Search Console есть специальный отчет для отслеживания их эффективности. Он показывает, какие AMP-страницы сайта проиндексированы Google, и выявляет ошибки.
Как и многие отчеты в Search Console, этот состоит из двух частей — диаграммы и таблицы. На диаграмме наглядно показано количество страниц с ошибками, предупреждениями и без ошибок. В табличной части представлена информация о конкретных проблемах: URL не найден или заблокирован в robots.txt, размер изображения меньше рекомендуемого и другие (полный перечень возможных ошибок — здесь).
Из этой группы отчетов можно узнать, какие данные для расширенных результатов Google смог найти в контенте страниц, и есть ли в этих данных ошибки.
Search Console поддерживает отчеты о таких типах расширенных результатов: строки навигации, товар, логотип, вакансии, набор данных, мероприятие, видео и другие (полный список — здесь). Эти типы робот определяет по наличию в коде страницы определенного вида микроразметки.
О том, как самостоятельно внедрить микроразметку Schema.org, мы писали в этой статье, OpenGraph — в этой. А здесь рассказали о синтаксисе JSON-LD, который Google рекомендует использовать для разметки данных.
Покажем принцип организации данных на примере отчетов «Строки навигации» и «Продукты».
Перейдем в раздел «Строки навигации». В верхней части отчета мы видим диаграмму и три вкладки: «Ошибка», «Без ошибок, есть предупреждения», «Страница без ошибок». Ниже представлена таблица с подробной расшифровкой типа проблем и количества элементов, в которых найдены ошибки или есть предупреждения.
Чтобы посмотреть примеры URL с ошибкой, нужно кликнуть на строку таблицы.