Как удалить сайт из поиска гугл
Перейти к содержимому

Как удалить сайт из поиска гугл

  • автор:

Как удалить сайт или его отдельные страницы из поиска Яндекс и Googlе

Неактуальное содержимое, закрытие ресурса, приостановка деятельности, обновление контента после покупки другого сайта. Да что угодно может послужить причиной для удаления сайта или его страниц из поиска. Этот мертвый груз в поиске не нужен, к тому же он может вводить людей в заблуждение. Также несуществующие страницы ухудшают продвижение в поисковой выдаче. Поэтому их лучше удалить из поиска вовсе.

Еще один важный аспект непопадания страниц в выдачу – это личные данные. Если вдруг на одной из страниц сайта есть чьи-то персональные данные, да даже просто ФИО с годом рождения, это может оказаться поводом для проблем, ведь не каждый хочет, чтобы в поиске красовались личные данные. Вконтакте, кстати, решили эту проблему: теперь человек сам выбирает, можно его найти в поиске Яндекс или Google или нет.

Решается это довольно просто: необходимо встроить на сайт авторизацию, через неё уж точно поисковые роботы пройти не смогут.

Зачастую несуществующие ссылки появляются в поиске из-за того, что пользователь не даёт наводку роботу о том, что страницы не существует. Страницу с сайта удалили, но не принудили сделать переобход роботом.

Так вот, ниже мы разберемся, как удалить свой сайт или отдельную его страницу из поиска Яндекс или Google.

Удаление сайта из поиска Google

Для этого потребуется аккаунт в Search Console с подтвержденными правами владельца сайта.

Google предоставляет 3 варианта удаления:

  • временный;
  • удаление сайта навсегда;
  • удаление сайта из-за нежелательного контента.

Рассмотрим каждый по отдельности.

Временное удаление сайта

Изначально Google предполагает удаление сайта из поиска Google на 6 месяцев, а также его описание и кэшированную версию. Нельзя по клику удалить сайт навсегда.

Для этого в Search Console переходим в раздел «Индекс» =>"Удаления" и нажимаем на кнопку «Создать запрос», далее вводим URL сайта или страницы, который нужно удалить из поиска.

После клика по этой кнопке необходимо указать адрес страницы, который хотим удалить. Но если требуется ликвидировать весь сайт, то вводим его доменное имя.

Google даст на выбор два варианта удаления:

  1. Скрыть страницу из выдачи и кэша поисковика (на 6 месяцев)
  2. Скрыть весь каталог и страницы, которые с ним связаны

Дополнительно проверяем, доступна ли удаляемая страница (если удаляем страницу отдельно) по другим адресам, если да, то проделываем вышенаписанные манипуляции и с ними. Отправленные запросы будут отображены на той же странице.

Важно понимать, что во время этого удаления Google продолжит сканировать страницы в штатном режиме, если пользователь не установит на неё пароль. По истечении срока страница появится в выдаче. Временное удаление можно включить повторно в этом же разделе.

Удаление страниц или сайта навсегда

Для удаления сайта навсегда из поиска Google нет волшебной кнопки, как для временного удаления, но Google рекомендует дополнительные меры:

  • Удалить или изменить контент ресурса и удостовериться в том, что веб-сервер отдает код статуса HTTP 404 (не найдено) или 410 (удалено)
  • Установить пароль, чтобы заблокировать доступ к контенту
  • С помощью метатега noindex запретить сканирование страницы: <meta name="googlebot" content="noindex«>
  • Документы в формате PDF рекомендуется удалять с сервера полностью

Удаление сайта из-за нежелательного контента

Если кого-то лично задел контент сайта (неприемлемое содержание, например), то можно наябедничать.

Проходим по ссылке, выбираем продукт Google, где находится нежелательный контент.

Далее выбираем причину блокировки и нажимаем на кнопку «Следуйте инструкциям на этой странице». И следом заполняем форму от Google.

Далее Google поблагодарит вас за содействие. В этом варианте нет какой-то формы отслеживания заявки. Придется вручную проверять доступность ресурса.

Мы привели способы удалить сайт из поиска Google штатными средствами самих Google, теперь пора разобраться с Яндексом.

Удаление сайта из поиска Яндекс

В случае с Яндексом удаление страницы из поиска начинаем с robots.txt.

Если страница уже удалена с сайта, то прописываем директиву Disallow в robots.txt для User Agent Яндекса.

Далее настраиваем сервер так, чтобы при обращении робота к адресу страницы он отправлял статус с кодом 404 (Not Found), 403 (Frobidden) или 410 (Gone), для этого в файле .htaccess прописываем строку: ErrorDocument 404 http://example.com/404.html. и не забываем указать на странице, которую удаляем из поиска, метатег robots с директивой noindex в <head>:

Далее для ускорения удаления страницы переходим в Вебмастер с аккаунта с подтвержденными правами на доступ к управлению сайтом. Затем в раздел «Инструменты» и в «Удаление страниц из поиска» и вводим URL либо отдельной страницы, либо всего сайта. Этим мы сообщаем роботу, что данные страницы должны быть в приоритете при обходе роботом.

После этого можно отслеживать состояние статуса в данном разделе:

  • в очереди на добавление
  • в процессе
  • удалена
  • отклонено

После очередного обхода страниц роботу станет известно о запрете на индексирование, и страница пропадет из результатов поиска в течение нескольких дней. После этого адрес страницы отобразится в разделе Индексирование => Страницы в поиске Вебмастера в списке исключенных.

Другие способы удаления страниц сайта из поиска

Редиректы

Убираем страницу из поиска с помощью 301 и 302 редиректа (переадресации).

Если на сайте есть страница с неактуальным контентом, и этот контент актуальным явно не станет в будущем (товар больше не появится в продаже, например), то и индексировать этот URL больше не нужно, и, следовательно, нужно убрать его из поля взора поисковых роботов. Взамен этой показать пользователям другую, актуальную страницу. Здесь и спасет 301 и 302 редирект.

  • 301 редирект для навсегда удаленных или перемещенных страниц
  • 302 редирект для временно неактуальных страниц, которые останутся в поиске

Для настройки редиректа можно воспользоваться специальным сервисом, указав там нужные ссылки. В первом поле вводим URL старой страницы, с которой будет осуществляться переадресация, а во втором поле вводим URL новой страницы, на которую будет переадресация. Далее в файле .htaccess вставляем сгенерированный код и сохраняем.

Метатег noindex

Noindex – сокрытие от поисковых ботов контента (целиком страницы или куска кода). Можно настроить для определенного бота, таким образом закрыть страницу от индексации отдельно для Яндекса или Google.

Устанавливается в HTML-коде страницы в <head>. Метатег блокирует работу ботов Яндекса и Google во время очередного обхода для вывода страницы в выдачу.

Прописывается noindex так:

Ищем страницу, которую нужно скрыть. Открываем HTML-файл этой страницы и прописываем meta-тег:

Для определенного бота, если вдруг хотим запретить индексацию конкретно для робота Яндекса или Google.

После этих манипуляций страница больше не будет выводиться в поиске, а роботы не будут обращать на неё внимание.

Также метатег noindex можно использовать совместно с тегом nofollow. Например, <meta name="robots" content="noindex, nofollow" /> дает запрет на индексацию контента на странице и запрещает роботам переходить по ссылкам.

Важно понимать, что для удаления контента может потребоваться не один день.

Disallow в robots.txt

Благодаря этой директиве в robots.txt пользователь дает указания роботу не посещать список внесенных страниц или всего ресурса. Обычно директиву используют для системных разделов, но если пользователю важно закрыть страницу с неактуальным контентом, то она подойдет.

Чтобы запретить индексацию всего сайта, достаточно в robots.txt прописать Disallow: /, если нужен запрет на определенную страницу, то пишем Disallow: /page

Если на эту страницу ссылаются другие страницы на сайте, то она может все равно быть проиндексирована, так что стоит обратить на это внимание заранее.

Также стоит помнить о том, что данные действия для поисковиков несут лишь рекомендательный характер для GoogleBot. Например, если на сайт есть внешние ссылки, то страница может быть проиндексирована.

Пароль на странице или разделе

Если раздел или сайт защитить паролем, то поисковики не смогут получить доступ к страницам, и из-за этого страницы не смогут попасть в индекс.

Вывод

На самом деле удалить страницу или даже сайт из поиска не так уж и трудно, главное – соблюдать некоторые правила, описанные выше. Также можно комбинировать эти способы.

Если у вас возникнут трудности при удалении страниц или сайта из поиска или любые другие технические проблемы, то всегда можно обратиться к нам – мы обязательно поможем.

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна.

Технический SEO-специалист сервиса 1PS.RU

Понравилась статья?

Спасибо, мы старались!

Кстати, вы подписаны на нашу рассылку? Если нет, то самое время познакомиться с Катей.

Сожалеем, что не оправдали ваши ожидания ((
Возможно, вам понравятся другие статьи блога.

12 чел. оценили, средняя оценка 5

Чек-лист для самостоятельного
SEO-аудита сайта

В рамках услуги SEO-аудит мы проанализировали более 1000 ресурсов. Ошибки на сайтах зачастую типичные – они повторяются из сайта в сайт. Проверьте свой самостоятельно.

Часто задаваемые вопросы об удалении информации из результатов поиска Google

В этой статье собраны ответы на часто задаваемые вопросы об удалении информации из результатов поиска Google.

Как удалить страницу из индекса Google?

Google не отвечает за содержание сайтов в интернете. Чтобы страница была удалена из нашего индекса, владелец сайта должен ее изменить или удалить. Если страница принадлежит вам, просто отредактируйте ее. При следующем сканировании робот Google обнаружит это и обновит индекс.

Чтобы быстрее удалить ненужную страницу, запросите удаление URL. Если сайт принадлежит не вам, а его владелец не соглашается удалить какой-либо контент, вы можете попросить нас скрыть конфиденциальную или личную информацию, например номер удостоверения личности, номер банковского счета или подпись.

Как удалить кешированную версию страницы?

Если страница изменилась и вам нужно срочно обновить ее копию в индексе Google, можно воспользоваться Инструментом удаления устаревшего контента. Если вы хотите, чтобы в Google никогда не показывалась ссылка на кешированную версию вашей страницы, добавьте на нее метатег noarchive .

Как удалить страницы стороннего ресурса, на котором незаконно используется мой контент или нарушаются мои авторские права?

Даже если кто-то опубликует ваш контент, это не должно сказаться на рейтинге вашего сайта в результатах поиска Google. Но если вы столкнулись с нарушением своих прав, то можете заявить, что контент принадлежит вам, подав жалобу в соответствии с законом США «Об авторском праве в цифровую эпоху» (DMCA). После этого мы удалим разместивший его сайт из поискового индекса.

Как сделать так, чтобы мой контент не появлялся в результатах поиска Google?

Чтобы заблокировать доступ к личному контенту, настройте серверную аутентификацию (защита паролем). Обратите внимание, что файл robots.txt, метатеги и теги заголовка не защищают от раскрытия личной информации, потому что пользователи могут находить страницы не только через поисковые системы, но и другими способами.

Наш поисковый робот не будет индексировать страницу, если на ней есть метатег noindex . Не блокируйте доступ к таким страницам в файле robots.txt. В противном случае робот не будет знать, что на них есть этот метатег, и сможет проиндексировать их по ссылкам с других сайтов.

Контролировать доступ поисковых роботов к видео, таблицам и другим файлам, в которых не используются теги HTML, можно при помощи HTTP-заголовка X-Robots-Tag. Он позволяет добавить в документ метатеги протокола REP.

Почему мой запрос на удаление URL был отклонен?

Рядом с сообщением об отклонении есть значок с надписью «Стоп» или ссылка на дополнительную информацию. Нажав на значок или ссылку, вы сможете узнать причины отклонения.

Проверьте, отвечает ли указанный вами URL требованиям к удалению. Если у вас остались вопросы, задайте их на форуме, подробно описав ситуацию. Не забудьте указать, какой именно контент вы пытаетесь удалить и в чем причина отказа.

Как сообщить о веб-спаме, платных ссылках и вредоносном ПО

Если вы обнаружили в результатах поиска Google информацию, связанную с веб-спамом, платными ссылками или вредоносным ПО, сообщите нам об этом.

Не удалось найти ответ?

Если вы не нашли ответ на свой вопрос на этой странице, воспользуйтесь справочными ресурсами Google для владельцев сайтов.

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Как удалить сайт из поиска «Яндекс» и Google

Как удалить сайт из поиска «Яндекс» и Google

Сергей Ломакин Редакция «Текстерры»

Для удаления страницы из индекса можно использовать разные методы, и все они заметно различаются по принципу действия. Какой из них выбрать в вашем случае и как не навредить сайту, пытаясь удалить страницу из SERP? Узнаем сегодня.

Зачем удалять страницу из индекса

Удаление страниц из результатов поиска целесообразно проводить в следующих случаях:

  • страница содержит устаревший контент;
  • страница содержит персональные данные;
  • страница с дублированным контентом;
  • страница с неуникальным контентом;
  • удаление технических / служебных страниц;
  • страницы с ограниченным доступом.

Проверяем индексацию страницы

Прежде чем удалять страницу, необходимо проверить, находится ли она в индексе вообще. Отдельно проверяем индексацию в Google и отдельно – в «Яндекс». Начнем с первого.

Выбираем пункт INDEX COVERAGE REPORT

Откроется Google Search Console. Мы должны выбрать домен, на котором размещается проверяемая страница:

Выбор сайта в Google Search Console

Вводим полный адрес интересующей веб-страницы и нажимаем Enter:

Google Search Console

Если проблемная веб-страница уже «выпала» из индекса Google, вы получите такое сообщение:

Проверка статуса страницы в Google Search Console

Это значит, что проблемная веб-страница в настоящий момент не может присутствовать в поиске.

Еще один способ проверить индексацию любой веб-страницы в Google (и, кстати, в «Яндексе» тоже) – ввести ее полный URL в поисковую строку:

Как удалить сайт из поиска «Яндекс» и Google

Да, так просто. Если искомая веб-страница уже проиндексирована, вы увидите соответствующий результат:

Проверить индексацию любой веб-страницы в «Яндексе» можно при помощи инструментов «Яндекс.Вебмастер». Просто открываем его и в разделе «Индексация» выбираем пункт «Проверить статус URL». Можно проверять индексацию только у тех веб-страниц, которые относятся к подтвержденным доменам (у вас должны быть права на сайт, чтобы вы могли «стереть» URL). Если веб-страница находится в индексе отечественного поисковика, вы увидите у нее соответствующий статус:

Проверка статуса страницы в «Яндекс.Вебмастере»

Почему не стоит проверять индексацию оператором site:

Как удалить страницу сайта из поиска Google

Не срочное удаление страницы

В вышеуказанном случае можно порекомендовать просто удалить содержимое страницы целиком.

Удаление веб-страницы немного отличается в каждой CMS. Например, в WordPress необходимо открыть страницу в редакторе и выбрать пункт «Удалить в корзину»:

Удаление страницы в админке WordPress

Удаленная страница со временем начнет отдавать ошибку 404. Через несколько дней краулеры Google автоматически исключат такую страницу из индекса.

Объединение нескольких страниц и указание главной

В таком случае нужно использовать единый каноникал-тег. О том, как указать каноническую страницу – в справке Google.

Учите, что rel canonical указывает на веб-страницу, которая является главной, а не второстепенной.

Здесь следует иметь в виду, что каноникал-тег не является прямой директивой. Соответственно, краулеры могут его игнорировать.

Кстати, кроме тега можно использовать перенаправление (лучше 301-ое) и параметры после URL (параметры следуют сразу после знака «?»). О том, как блокировать обход дублированного контента, содержащего параметры, —в справке Google Search Console.

Каноникализацию можно сделать несколькими способами. Выбирайте тот инструмент, которым владеете лучше.

Срочное удаление страницы из результатов поиска

В этом случае нужно использовать «Инструмент удаления URL». Открываем инструмент и выбираем сайт:

Выбор сайта для удаления страницы в Google Search Console

Создание запроса на удаление страницы в Google Search Console

Указываем полный URL страницы, которую нужно скрыть:

Временное удаление URL в Google Search Console

Кстати, здесь же можно удалить все URL с текущим префиксом и скрыть кэшированную копию страницы. Подтверждаем запрос:

Удаление URL в GSC

Инструмент не удаляет страницу из индекса в буквальном смысле, а лишь убирает ее оттуда на 6 месяцев, после чего вы должны принять финальное решение: удалить все содержимое страницы целиком либо ограничить доступ к странице.

Инструмент действует не мгновенно: скрывает проблемную страницу в течение 24-х часов.

Это самый быстрый способ показать Google, что страница должна быть удалена из результатов поиска.

Страницу нужно удалить из поиска, но она должна быть доступной

В этом случае нужно использовать ограничение доступа к странице. Сервисов и инструментов для этого много, но чаще всего используется ограничение по IP или организация доступа к странице по паролю. Здесь, опять же, сложно советовать что-то конкретное, так как ваши конечные цели сложно предугадать. По сложности внедрения оба способа примерно одинаковые.

Ограничить доступ к определенной странице можно при помощи учетных записей на сайте, но это трудоемкий способ.

Ограничить доступ к странице всем пользователям и сохранить его для некоторых посетителей можно при помощи мета-тега robots. Для этого необходимо добавить в него директиву noindex. На практике выглядит такой тег следующим образом:

Ограничение доступа

При помощи директивы noindex в robots вы даете понять краулеру: выбранная страница не должна находиться в SERP.

Удаление изображения из результатов поиска

Здесь я рекомендую использовать атрибут disallow, который нужно указать в robots.txt. Никаких сложностей с этим точно не возникнет.

Вы можете ограничить обход как одной, так и сразу всех картинок. Все, что нужно для этого, – знать имя краулера. Это Googlebot – Image.

Например, мы хотим удалить картинку, значит, прописываем такой атрибут:

Как удалить сайт из поиска «Яндекс» и Google

Удаление ссылки на страницу с контентом, защищенным копирайтом

Вам необходимо создать заявление в специальном инструменте для вебмастеров Google (называется DMCA).

Выбираем пункт «Создать новое заявление» и заполняем всю контактную информацию:

Создаем новое заявление

Указываем персональные данные, электронную почту, название компании и страну проживания:

Как видим, потребуется описать произведение, защищенное копирайтом, и указать ссылку, где оно размещается легально. Потребуется указать и точное расположение материалов (в виде ссылки), ущемляющих ваши авторские права:

Оставляем ссылки на произведение интеллектуальной собственности

Не забываем отметить чекбоксы и дать согласие на то, что эта форма заполняется «под присягой»:

«Подписываем» заявление

Удаление ссылки на страницу, содержащую персональные данные

Для этого используйте инструмент «Удаления конфиденциальности». Он создан специально для ЕС, но мне известны как минимум 2 случая, когда он помогал удалить персональные данные и граждан РФ.

Понадобится заполнить страну проживания, фамилию и имя, электронную почту. Можно отправить запрос от имени родственника / члена семьи / друга / клиента. В этом случае понадобится указать степень родства (если речь идет о родственнике):

Указываем контактные данные

Далее указываем ссылки на действующие веб-страницы, содержащие ваши персональные данные:

Как удалить сайт из поиска «Яндекс» и Google

Указываем поисковую фразу (в этом случае – имя и фамилия), по которой в результатах поиска выводятся ссылки на веб-страницы, содержащие персональные данные (ваши или доверенного лица):

Поисковая фраза, которая открывает доступ к персональным данным

Читаем соглашение Google о ПДн, отмечаем чекбоксы и подписываем документ:

Соглашение и подпись документа

Как удалить / стереть страницу из результатов поиска «Яндекс»

Теперь о том, что предлагает «Яндекс» для удаления URL из поиска.

Для эффективного удаления URL навсегда отечественный поисковик советует использовать уже знакомую директиву disallow. Ее следует указывать прямо robots-файле.

Второй способ. На удаляемой странице нужно прописать метатег robots (не забываем про директиву noindex).

Здесь стоит отметить, что бот-краулер отечественного поисковика первым делом анализирует именно robots-файл и только потом начинает сканировать саму веб-страницу. Убедитесь, что robots.txt содержит корректные указания. Для этого вы можете использовать специальный инструмент:

Проверить robots.txt можно прямо в «Я.Вебмастере»

Еще один вариант – настроить HTTР-статус (он должен быть настроен у самой удаляемой веб-страницы). В последнем случае вы должны настроить точное перенаправление (404-ый или же 403-ий редирект).

Если вы сделали прямое запрещение на сканирование веб-страницы в системной файле robots, краулеры перестанут сканировать проблемную веб-страницу примерно спустя 24 часа (или быстрее).

Другой сценарий. Вы «сотрете» веб-страницу при помощи robots-тега (или же сразу настроите редирект http-статусом), а краулер продолжит сканирование проблемной веб-страницы (точно сказать нельзя, но в течение нескольких дней). Страница и спустя пару дней остается недоступной и не обновляется? Значит, она будет автоматически удалена из SERP «Яндекса » в ближайшее время.

Как ускорить удаление URL в «Яндексе»

Вы можете повлиять на скорость удаления URL. Первым делом уничтожьте веб-страницу через админку используемой CMS (URL должна отдавать 404-ой код). Вы можете удалить и целую группу URL, если в этом возникает необходимость.

Кстати, «Яндекс» позволяет удалить страницу из поиска даже в том случае, если вы не являетесь владельцем сайта и у вас отсутствуют права на домен (где размещается страница, которую вы хотите удалить) в «Яндекс.Вебмастере». Откройте инструмент и укажите проблемный URL:

Удалить страницу можно через «Яндекс.Вебмастер»

Этот инструмент может помочь вам, только если для удаления URL есть какие-либо основания. К ним можно отнести 403-ий / 404-ый / 410-ый коды, прямое ограничение индексирования в robots.txt или запрещение метатегом noindex.

Если права на сайт в «Я.В» у вас подтверждены, вы сразу сможете стереть до пятисот URL в сутки.

Это все способы, при помощи которых Вы можете удалить страницу из индекса «Яндекс» и Google. Теперь предлагаю рассмотреть самые распространенные ошибки, которые могут возникнуть при удалении страниц.

Как не надо удалять страницу из поиска

Nofollow – только рекомендация

Этот способ вообще не работает, так как nofollow – всего лишь рекомендация для краулера и он, скорее всего, не будет ее соблюдать.

Тег noindex уже не работает

Раньше этот способ частично работал, но еще в 2019 году Google объявил, что отныне noindex в robots.txt не поддерживается.

Каноникал на другой URL

Каноникал используется для указания главной страницы, требующей индексации. Noindex же говорит краулерам, что страница не должна находиться в индексе. Тут возникает конфликт. Поэтому не используйте страницы с каноникл-тегом, указывающие на другие URL.

Блокировка поисковых роботов в robots.txt

Так вы лишь рекомендуете краулеру не обходить страницу, но он все равно может ее просканировать по своему усмотрению и даже включить ее в SERP.

Канониклы настраиваем в тех случаях, когда проблемная страница нужна в рамках сайта. Когда не нужна, настраиваем 301-ое / 404-ое перенаправление.

В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров

Как удалить страницы из индекса поисковых систем? Какие страницы нужно удалить из выдачи? Зачем?

Исходя из задач поисковой оптимизации, в поисковых системах Google и Yandex должны находиться не все страницы сайта.

Как удалить страницы из поисковой выдачи?

Зачем удалять страницы?

Какие страницы следует удалить из поисковых систем?

Разберемся с вопросами далее.

Как удалить страницы из поисковой выдачи Google и Yandex?

Есть различные способы, применяя которые можно удалить страницы из индекса поисковых систем. Но есть важные нюансы.

Главные способы такие:

  1. Директива noindex. Применение данной директивы допустимо в метатегах и HTTP-заголовках. Директива noindex является наиболее эффективным способом удаления страниц из индекса, если сканирование страниц разрешено в принципе;
  2. 404 и 410 HTTP коды ответа сервера.
  3. Директива Disallow в файле robots.txt. Есть важный нюансы. Ошибка с использованием директивы disallow зачастую приводит к проблемам с ранжированием;
  4. Защиты паролем;
  5. Google Search Console Remove URL. Инструмент является простым и быстрым способом удалить страницу из результатов поисковой выдачи. Но есть нюансы;

Способ 1 — Noindex

Директива noindex поддерживается поисковыми системами только в тех случаях, если запись прописана в метатеге и/или HTTP-ответе страницы.

Ранее применение директивы допускалось в файле robots.txt. Но стандарт Robots Exclusion Protocol был изменен и теперь использование директивы в файле является недопустимым.

Рекомендованный материал в блоге MegaIndex по теме robots.txt по ссылке далее — Google обновляет правила для robots.txt. Что изменится и что делать?

На практике для запрета индексации следует использовать метатег robots. Например, если для сайта indexoid требуется запретить индексацию страницы, то на страницах подлежащих запрету следует использовать такой код:

Если требуется запретить индексацию страницы применяя для этого HTTP-заголовок, то в коде ответа сервера следует указать следующее:

Пример кода ответа сервера:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT

Как результат, поисковая система удалит страницы из индекса после следующей итерации краулинга.

Метатег noindex и заголовок X-Robots-Tag - как удалить страницы из индекса поисковых систем

Способ 2 — 404 и 410 HTTP коды ответа сервера

Как инструмент для запрета индексации можно использовать 404 и 410 HTTP коды ответа сервера.

Оба кода означают, что страница не существует:

  • 404 Not Found/Страница не найдена;
  • 410 Gone/Страница удалена.

Поисковые системы такие как Google и Yandex удаляют такие страницы после повторного краулинга и обработки.

Статус код ответа 404 или 410 - как удалить страницы из индекса поисковых систем

Способ 3 — Disallow в файле robots.txt

Директива Disallow поддерживается стандартом Robots Exclusion Protocol.

Применяя данную директиву можно задать список страниц, которые поисковому краулеру следует игнорировать, то есть не посещать.

Robots txt - Как удалить страницы из индекса поисковых систем

Но есть важный нюанс.

Несмотря на запрет директивы Disallow, страницы сайта все равно могут быть добавлены в индекс, если на такие страницы есть ссылки с других страниц. Данная информация является проверенной на практике.

В результате такой подход является неэффективным.

Итак, директива Disallow используется для указания ссылок на страницы, которые не должны быть проиндексированы, но контент все же может попасть в индекс. К примеру, в случае наличия любых открытых ссылок на закрытые страницы с других страниц.

Robots txt - Как удалить страницы из индекса поисковых систем

Способ 4 — Защита страниц паролем

Защита страницы паролем не позволяет поисковой системе получить доступ к содержанию страницы сайта.

Такая защита обычно используется для ограничения доступа к разделам сайта, которые доступны по модели платной подписки.

Поисковые системы индексируют страницы защищенные паролем, на зачастую удаляют такие страницы из индекса.

Способ 5 — Google Search Console Remove URL

Инструменты от поисковых систем позволяют исключить страницы из индекса, но есть нюансы.

Применяя инструменты поисковых систем страницы сайта можно исключить из индекса, но на временной основе.

Значит в перспективе такие страницы будут проиндексированы снова.

Еще данный способ требует подтверждения прав на сайт, поэтому не всегда удобно использовать такой инструмент. В частности такой способ усложняет работу, если речь про частную сеть сайтов.

Ссылка на инструмент Google — Google URL Removal.

Применяя данный инструмент на практике удалить страницу сайта можно как из индекса, так и из кеша поисковой системы.

Какие страницы следует удалить из поисковой выдачи? Для достижения каких целей такие страницы следует удалить из индекса поисковой системы?

Какие страницы следует удалить из индекса? Зачем?

Из поисковых систем Google и Yandex следует удалить все ненужные страницы.

Под ненужными страницами подразумеваются страницы, по которым не планируется привлечения трафика из поисковой выдачи.

Зачем удалить страницы? Есть ряд причин для таких действий.

Например, цели могут быть следующие:

  • Улучшение хостовых поведенческих факторов на поисковой выдаче.
  • Скрытие анкет пользователей и защита от парсинга клиентской базы или e-mail;
  • Безопасность;
  • Удаление из индекса страниц копий;
  • Замена сайта. Например, при регистрации освобожденного доменного имени для последующего создания на нем нового сайта;
  • Повышение релевантности контента сайта в отношении тематики;

Итак, под хостовыми факторами на поисковой выдаче подразумеваются такие факторы как:

  • Среднее значение СTR страниц;
  • Среднее значение Dwell Time;
  • Прочее.

Что такое Dwell Time? Рекомендованный материал в блоге MegaIndex по теме Dwell Time по ссылке далее — Dwell Time (Длина клика) — что это за фактор ранжирования и как его оптимизировать?

Итак, если в поисковой выдаче находится множество страниц по которым не бывает кликов, то значение хостовых факторов на поисковой выдаче занижается.

Поведенческие факторы на выдаче поисковой системы Google implicit user feedback

Если в поисковой выдаче находятся только те страницы, которые должны привлекать трафик, то значение хостовых факторов на поисковой выдаче будет выше.

Поведенческие факторы на выдаче поисковой системы

На открытых к индексации страницах сайта следует провести комплекс мер по улучшению сниппетов. Инвестиции в оптимизацию сниппетов проводят к повышению метрики кликабальности и улучшению поведенческих факторов на выдаче.

Идеи по созданию кликабельных сниппетов можно подсмотреть у конкурентов, или у компаний с большими бюджетами на маркетинг. Например, если вы продвигаете автосалон в регионе, вы можете посмотреть как сделаны сниппеты на сайте московского автосалона.

MegaIndex индексирует сниппеты всех сайтов в интернете и предоставляет пользователям собранные данные о сниппетах всех сайтов в сервисе анализа сниппетов.

Анализ сниппетов

Пример использования сервиса:

Вопросы и ответы

Через какое время страницы будут удалены из поисковой выдачи?

Страницы будут удалены после переиндексации. Иными словами, после визита краулера и дальнейшей обработки страниц поисковой системой.

На практике переиндексацию можно ускорить.

Рекомендованный материал в блоге MegaIndex по теме индексации по ссылке далее — Как добавить страницы сайта в поисковую выдачу? Нестандартные способы.

Следует ли удалять из поисковой выдачи дубли страниц?

Следует удалить копии страниц.

Дубли страниц из поисковой выдачи удалять не следует.

В чем разница между дублем и копией страницы?

Google различает дубликаты (duplicate) и копии (copy) контента.

Сайты с копиями подвергаются санкциям от поисковой системы.

К скопированному контенту относятся все виды контента с уникализацией. Например:

  • Spinning content;
  • Контент с заменой слов (если заменить в тексте слово «найти» на «поиск», то контент останется копией);
  • Контент содержащий набор копий из разных источников;
  • Страницы копирующие контент с динамических страниц.

Дубликатом считается скопированный контент, но с добавочной ценностью.

Выводы

Какие страницы не должны находиться в индексе поисковых систем? В индексе не должны находиться ненужные страницы. Зачастую в индексе находятся различные страницы, по которым не планируется привлечение трафика. Такие страницы являются ненужными.

Почему в индексе поисковых систем должны быть не все страницы? Есть различные причины. Как пример, исключение ненужных страниц позволяет улучшить релевантность сайта, удалить копии, улучшить поведенческие хостовые факторы на выдаче.

Как удалить ненужные страницы из индекса? Есть 5 основных способов для удаления страниц из поисковой выдачи:

  • Директива noindex;
  • Коды ответа сервера 404 и 410;
  • Директива Disallow;
  • Защита страниц паролем.
  • Инструменты поисковых систем.

Директива Disallow указывает поисковому краулеру на то, что в индексации контента нет необходимости. Такие страницы все равно могут быть проиндексированы. Например, в случае наличия ссылок на такие страницы с других страниц.

Итак, использование директивы Disallow в файле robots.txt для скрытия страниц сайта, которые находятся в разработке является ошибкой. Скрытые страницы все равно могут попадать в индекс поисковых систем.

Защита страниц паролем является эффективным способом, но создает сложности для пользователей.

Инструменты поисковых систем Google и Yandex позволяют быстро удалить из индекса страницы сайта, но страницы вновь появятся в индексе после следующей волны индексации.

Наиболее эффективными способами для удаления URL из поисковой выдачи являются такие — директива noindex и 404, 410 коды ответа сервера.

Размещение директивы noindex допускается в метатеге и HTTP-заголовке X-Robots-Tag. Директиву следует размещать на каждой странице, которая подлежит исключению из индекса.

Применение директивы noindex и/или кодов ответа сервера 404 и 410 позволяет исключить страницы из поисковой выдачи сразу после следующей волны индексации. Статус коды 404 и 410 не указывают на запрет индексации как таковой, но позволяют исключить страницы из индекса Google и Yandex.

Мусорные страницы следует удалить из поисковой выдачи, так как наличие таких страниц в индексе приводит к ряду проблем при продвижении сайта. Например, к занижению поведенческих факторов на выдаче, что приводит к занижению хостовых факторов и сказывается на ранжировании.

Остались ли у вас вопросы, замечания или комментарии по теме удаления страниц из индекса поисковых систем?

Добавить комментарий

Ваш адрес email не будет опубликован.