Adsbot google что это

бот Google Ad Checker люто нагружает сервер

Начал сильно грузиться сервер, по логам метрики это делает бот Google Ad Checker.

Раньше он заходил на сайт 120-150 раз в сутки, теперь до 10-15 тысяч раз. На сайте рекламы нет. А вот на сам сайт реклама с Google Adwords имеется. В поддержке гугла ничем помочь не могут. Вопрос на форуме поднимался, но ответ так никто и не дал. Что это за бот, какая от него польза, и как ему запретить доступ на сайт?

Может кто сталкивался, помогите!

Почему Topics API нельзя назвать заменой файлов cookie
Реклама приложений Google Ads станет чаще показываться в браузерах на iOS
Google не фиксирует частоту сканирования сайта GoogleBot

jsmith820, этот бот проверяет работоспособность сайта, рекламы и проч.

Заходов действительно много, у вас такая активная реклама на сайт идет? Стоит проверить Эдвордс, может, какие-то объявления имеют некорректный урл и робот долбится туда, пытаясь постоянно проверить «а вдруг что-то изменилось».

Радикальный способ — вообще прекратить рекламироваться в Эдвордс 🙂

от эдвордза отказаться низзя, это кормилец.

другое дело, может как-то можно для этого робота crawl-delay задать, но как тогда его в user-agent е назвать?

по поводу некорректных урлов логичное предположение. посмотрел — нет таких, вроде всё норм.

IP адреса ботов проверяли по whois, они принадлежат Google?

Под ботов гугла иногда маскируются не относящие к гуглу боты, парсеры и т.д. и .т.п.

jsmith820,покажите user agent этого бота и его ip из логов веб-сервера

209.85.238.36 «Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

jsmith820, похож на настоящий.

Если у вас нет рекламы adsense на сайте, что мешает запретить боту сканировать сайт ?

crawl-delay уже давно не работает для ботов google, они его игнорируют

пропишите в robots.txt и всех то делов

Этот бот относится к adwords, а не adsense. Гугл пугает неприятностями:

Важно! Запрет сканирования даже одной страницы может иметь серьезные последствия:

Прекращение показа объявлений. Рейтинг объявлений может существенно снизиться, так как у Google будет недостаточно данных для оценки качества и релевантности целевой страницы. Тогда ваши объявления будут показываться гораздо реже (или вообще перестанут появляться), пока вы не поднимете максимальную цену за клик. Но и в этом случае с показом рекламы возникнут существенные проблемы или она вовсе перестанет появляться.

Отклонение объявлений. Если вы ограничите доступ к конечному URL целевой страницы, на которую ведут ваши объявления, согласно нашим правилам они могут быть отклонены и не будут показываться. Воспользуйтесь Руководством Google для веб-мастеров, чтобы убедиться, что ваши страницы доступны для сканирования.

Проанализировав изменения в аккаунте adwords, выявил причину, почему гуглобот adwords так взбесился.

Мы добавили ландинг по схожей тематике, что и основной проект. При этом рекламу по основному проекту тормознули, смотрим какие конверсии даст ландинг.

В результате гуглобот обнаружил два афелированных ресурса, и люто их проверяет, чтобы они не рекламировались в одно и то же время. Отсюда пиковые атаки бота на сайт.

И это ппц, на самом деле. Нагрузки бота очень большие, так что скорее всего придётся переносить сайт на VPS.

И бл*ть, действительно даже в crawl-delay не ограничить эту тварь, и не запретить ей посещать сайт. Вот Оптимизайка верные ссылки дал, санкции будут.

Общие сведения о поисковых роботах Google (агентах пользователей)

Поисковый робот (или «паук») – это программа, которая автоматически обнаруживает и сканирует сайты, переходя по ссылкам от страницы к странице. Наш основной поисковый робот называется Googlebot. В таблице ниже можно посмотреть, какие роботы Google обычно упоминаются в журналах переходов и как их указывать в файле robots.txt, метатегах robots и X-Robots-Tag HTTP-директивах.

Поисковые роботы обеспечивают работу различных продуктов и сервисов Google.

Токен агента пользователя указывается в строке User-agent: файла robots.txt и позволяет выбирать, на каких поисковых роботов будет распространяться то или иное правило сканирования. Как видно из таблицы, некоторым роботам соответствует несколько токенов, но для того, чтобы правило действовало, достаточно одного. Приведенный ниже перечень не является исчерпывающим, но содержит информацию о роботах, которые с наибольшей вероятностью будут посещать ваш сайт.
Полная строка агента пользователя – это подробное описание поискового робота. Оно указывается в HTTP-запросах и журналах. Внимание! Строка агента пользователя может быть подделана. Узнайте, как проверить, является ли посетитель поисковым роботом Google.

Поисковые роботы

APIs-Google

AdsBot Mobile Web Android

Проверяет качество рекламы на веб-страницах, предназначенных для устройств Android.

AdsBot Mobile Web

Проверяет качество рекламы на веб-страницах, предназначенных для устройств iOS.

AdsBot

Проверяет качество рекламы на веб-страницах, предназначенных для компьютеров.

AdSense

Googlebot Image

Googlebot-Image
Googlebot

Googlebot News

Googlebot-News
Googlebot

Googlebot Video

Googlebot-Video
Googlebot

Googlebot Desktop

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone

Mobile AdSense

Mobile Apps Android

Проверяет качество рекламы в приложениях для устройств Android. Этот робот действует в соответствии с теми же правилами, что и AdsBot-Google .

Feedfetcher

Google Read Aloud

Текущие агенты пользователя:

Версия для компьютеров:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
Версия для мобильных устройств:
Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

Прежняя версия (больше не поддерживается):

Duplex в интернете

Google Favicon

Googlebot-Image
Googlebot

Web Light

Google StoreBot

Версия для компьютеров:

Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Примечание о компоненте Chrome/W.X.Y.Z в строках агентов пользователей

В строках, которые содержат элемент Chrome/W.X.Y.Z, сочетание символов W.X.Y.Z – это плейсхолдер для версии браузера Chrome, используемой агентом пользователя. Пример: 41.0.2272.96 . Это значение соответствует последней версии Chromium, используемой роботом Googlebot, и поэтому со временем оно будет возрастать.

При поиске агента пользователя в журнале или на сервере не указывайте точное значение версии, а используйте подстановочные знаки.

Агенты пользователей в файлах robots.txt

Если в файле robots.txt обнаружится несколько токенов агентов пользователей, робот Google последует правилу с наиболее точно соответствующим ему токеном. Если вы хотите оставить сайт доступным для всех наших роботов, такой файл вообще не нужен. Чтобы запретить или разрешить всем поисковым роботам Google доступ к определенному контенту, укажите в правиле агент пользователя Googlebot. К примеру, чтобы все страницы сайта появлялись в Google Поиске, а на самих страницах показывались объявления AdSense, не используйте файл robots.txt. Если же вы решите полностью запретить Google сканировать некоторые страницы, правило для агента пользователя Googlebot заблокирует доступ к контенту и всем остальным нашим роботам.

Можно указать агент пользователя более точно. Предположим, вы хотите, чтобы все страницы сайта показывались в Google Поиске, но чтобы при этом не сканировались изображения из вашего личного каталога. В таком случае в файле robots.txt запретите агенту пользователя Googlebot-Image сканировать файлы в каталоге /personal. При этом робот Googlebot по-прежнему будет иметь доступ к файлам во всех каталогах. Запись должна выглядеть следующим образом:

Рассмотрим другой пример. Вы хотите разместить на всех страницах рекламу, но сами страницы не должны появляться в Google Поиске. В таком случае следует полностью заблокировать доступ агенту пользователя Googlebot, но разрешить сканирование агенту пользователя Mediapartners-Google . Запись должна выглядеть так:

Агенты пользователей в метатегах robots

Некоторые страницы содержат несколько метатегов, в которых указаны инструкции для различных поисковых роботов. Примеры:

В этом случае Google будет следовать всем запрещающим инструкциям, а Googlebot выполнит обе директивы: noindex и nofollow . Подробнее о сканировании и индексировании сайтов роботами Google…

Управление скоростью сканирования

Поисковые роботы Google посещают сайты с разными целями. Периодичность их появлений тоже отличается. Чтобы определить оптимальную частоту обработки каждого сайта, Google использует ряд алгоритмов. Если наш поисковый робот посещает ваш ресурс слишком часто, вы можете уменьшить частоту сканирования.

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Клоакинг в Google Ads

LeoTheGreat написал 07.04.2022

1 Что такое клоакинг
- 1.1 Клоакинг в SEO
- 1.2 Таргет-клоакинг
- 2.1 Редирект с помощью HTML-тега meta
- 2.2 Редирект с помощью JavaScript
- 2.3 Редирект с помощью серверного скрипта (пример на PHP)
- 2.4 Редирект с помощью файла htaccess
- 4.1 Подмена контента
- 4.2 Редирект
- 4.3 Iframe
- 4.4 Сервисы Google
- 4.5 Онлайн сервисы
- 5.1 Этап 1. Создание кампании
- 5.2 Этап 2. Способы прохождения модерации в Google
- 5.3 С использованием Tracking template
- 5.4 С использованием ленда/преленда
- 6.1 Этап 1. Добавление домена
- 6.2 Этап 2. Добавление лендинга
- 6.3 Этап 3. Создание новой кампании
- 6.4 Этап 4. Создание оффера
- 6.5 Этап 5. Создание потока
- 6.6 Этап 5. Сохранение и добавление скрипта
- 7.2 AdsBridge
- 7.3 MagicChecker
- 7.4 Binom
- 7.5 Traffic Armor
Google Ads (или Adwords по старому) – признанный мировой лидер сетевого маркетинга. Эта рекламная площадка пользуется огромной популярностью в среде арбитражников, поскольку является поистине неиссякаемым источником качественного трафика. Однако условия использования Google Ads содержат многочисленные запреты и ограничения, которые не позволяют партнерам проводить наиболее прибыльные рекламные кампании. Если модераторы Google установят, что арбитражник использует недопустимые приемы продвижения оффера или рекламирует запрещенные товары, его аккаунт немедленно отправляют в перманентный бан. Тем не менее, потенциальная возможность получения сверхприбылей, по мнению многих арбитражников, часто перевешивает риск блокировки аккаунта. Чтобы снизить вероятность немедленного разоблачения и тем самым продлить время жизни рекламной кампании, опытные арбитражники активно используют клоакинг.

Что такое клоакинг

Клоакинг (от англ. cloaking – сокрытие, маскировка) метод оптимизации трафика, суть которого заключается в сокрытии и подмене одной или нескольких страниц сайта. То есть одной категории посетителей сайта показывается один вариант определенной страницы, другим – другой. На практике это означает, что «настоящая» страница показывается только целевым посетителям, а модераторам и поисковым ботам выдается, «поддельная» страница, часто не имеющая ничего общего с «настоящей». Страница, выдаваемая модераторам и ботам, также называется «белой» (white page), а та, что показывается целевым посетителям – «черной» (black page). Клоакинг условно делится на черный, серый и белый:
- черный клоакинг – «белая» и «черная» страницы не имеют ничего общего. «Черная» страница содержит откровенный скам, с помощью различных мошеннических схем у пользователей попытаются выманить деньги или узнать реквизиты их банковских карт. Также с «черной» страницы могут распространяться вирусы, шпионские программы и другое вредоносное программное обеспечение;
- серый клоакинг – видимое содержимое страницы, выдаваемой поисковым ботам, не вполне совпадает с содержимым страницы, предназначенной целевым посетителям. Обычно на «черной» странице содержится контент, нарушающий правила Google, часто непристойного содержания, или рекламируется запрещенный товар или услуга и т.д. «Черная» страница может быть переполнена нежелательными рекламными ссылками или содержать более агрессивную рекламу, которую потенциально могут не одобрить модераторы Google Ads. Наконец, «белая» страница может быть просто более SEO-оптимизированной по сравнению с «черной».
- белый клоакинг организовывается исключительно для удобства посетителей сайта. Основной контент страницы для всех посетителей одинаков, но, в зависимости от предпочтений пользователя и его геолокации, в содержимое страницы вносятся те или иные изменения. Например, если сайт многоязычный, то пользователю будет представлена страница на том языке, который он выбрал основным в настройках браузера. Другой пример: если система определит, что посетитель – женщина, то наряду с основным контентом на странице будет показываться реклама, нацеленная исключительно на женскую аудиторию. Эту технику используют все международные торговые площадки (Amazon, eBuy), да и сам Гугл. Таргет-клоакинг, о котором будет рассказано далее, считается разновидностью белого клоакинга.
Заметьте, что с точки зрения администрации Google, «серый» клоакинг является «черным», а «белый» клоакинг считается «белым» до тех пор, пока основной контент страницы остается одинаковым для всех категорий посетителей. «Серый» и «черный» клоакинг в Google Ads возможен только на достаточно «старых», проверенных аккаунтах Google, поскольку все новые аккаунты проходят тщательную премодерацию в ручном режиме. Читайте больше о прохождении модерации в Google Ads.

Клоакинг в SEO

SEO-клоакинг – самый старый вид клоакинга, вебмастера начали его использовать еще в конце прошлого века, чтобы вывести свои сайты в топ выдачи. Суть SEO клоакинга в следующем: в то время как видимая обычным посетителям «черная» страница содержит обычный удобочитаемый текст, «белая» страница, предназначенная для поисковых ботов, перенасыщается ключевыми словами, поисковыми запросами и фразами, благодаря чему ее поисковой рейтинг резко повышается. Сейчас использовать клоакинг для SEO оптимизации не имеет смысла, поскольку, после обнаружения Гуглом или Яндексом «черной» страницы, (а это рано или поздно произойдет, скорее рано, чем поздно) поисковый рейтинг сайта резко падает, а если будут найдены грубые нарушения, сайт вообще удалят из выдачи.

Таргет-клоакинг

С помощью таргет-клоакинга отсеивается нецелевая аудитория. Например, допустим, арбитражник продвигает оффер, целевая аудитория которого – лица мужского пола старше 18 лет, проживающие исключительно в странах Дальнего Востока. Используя таргет-клоакинг можно отсечь почти всех нецелевых посетителей, уменьшая таким образом нагрузку на лендинговую страницу. Очевидно, что таргет-клоакинг выгодно применять в том числе и тем арбитражникам, которые продвигают исключительно «белые» офферы.

Клоакинг партнерских ссылок в Google

Этот вид клоакинга стоит особняком. Он считается полностью «белым», если не нарушает правила Google Ads, то есть, если не используется для переадресации на запрещенный контент. Его применяют, когда у вебмастера возникает необходимость скрыть от посетителей (а также от конкурентов!) партнерскую ссылку, которая может быть слишком длинной или просто некрасивой. При этом надо учитывать, что по правилам Google аффилиатам нельзя скрывать источник перехода на партнерский сайт, то есть нельзя пользоваться сторонними сервисами редиректа и сокращения ссылок типа всем известного Goo.gl. Простейший способ клоачить партнерские ссылки и не нарушить правила – создать редирект на сайте с помощью HTML-тега meta или с помощью JavaScript или серверного скрипта или файла htaccess. То есть, вместо партнерской ссылки на лендинге дается ссылка на другую страницу сайта, с которой и осуществляется автоматическое перенаправление на сайт рекламодателя.

Редирект с помощью HTML-тега meta

На страницу редиректа между тегами <head> и </head> вставляется следующий код:

<meta http-equiv=»refresh» content=»0;URL= https://www.your-affiliate-site.com/your-affiliate-link/»>

(Здесь и в остальных примерах ниже замените фиктивный URL на свою собственную партнерскую ссылку.)

Редирект с помощью HTML-тега meta не будет работать, если пользователь заблокировал у себя в браузере автоматическое перенаправление.

Редирект с помощью JavaScript

Вот простейший скрипт редиректа:

Также для редиректа можно использовать функцию setTimeout:

setTimeout( ‘location=»https://www.your-affiliate-site.com/your-affiliate-link/»;’, 0 );

Этот способ не сработает, если в браузере пользователя отключен JavaScript. Следует помнить, что поисковые системы категорически не одобряют автоматическое перенаправление с веб-страницы. Поэтому оба вышеприведенных способа можно использовать только в крайнем случае, если нет возможности осуществить описанный ниже серверный редирект.

Редирект с помощью серверного скрипта (пример на PHP)

Страница редиректа должна содержать следующий код:

Редирект с помощью файла htaccess

Перенаправление сделает веб-сервер, используя директиву, записанную в файле htaccess. Файл .htaccess должен находиться в корневой папке сайта. Пример директивы переадресации:

Redirect 301 /your-link.html https://www.your-affiliate-site.com/your-affiliate-link/

Если пользователь щелкнет по ссылке https://www.your- site.com/your-link.html, то веб-сервер, руководствуясь приведенной выше директивой, перенаправит его на партнерский сайт https://www.your-affiliate-site.com/your-affiliate-link/. (При этом саму страницу your-link.html создавать нет необходимости.)

Что запрещено в Google Ads

Как уже упоминалось выше, администрация Google Ads проводит строгую политику в отношении содержания рекламных объявлений, запрещая или ограничивая показ нежелательного контента. Подробно о том, что нельзя делать в Google Ads, можно прочитать в правилах рекламы Гугла. Вот неполный перечень продуктов и услуг, которые администрация Google запрещает рекламировать:
- контрафактные товары, то есть те, которые имитируют изделия известных брендов;
- любые продукты, нарушающие авторские права;
- наркотики, табачные изделия, оружие, взрывчатые вещества и другие опасные продукты, а также инструкции по их изготовлению;
- любое программное обеспечение, предназначенное для совершения противозаконных действий (например, шпионские программы или программы, осуществляющие незаконную прокрутку рекламы на устройстве пользователя);
- запрещается рекламировать ресурсы, которые пропагандируют расовую, религиозную и классовую нетерпимость, насилие и жестокое обращение с людьми и животными.
Показ некоторых видов рекламы ограничен и иногда должен быть предварительно согласован с администрацией Google Ads. К материалам, распространяемым на ограниченной основе, относится реклама любых алкогольных напитков, сайтов знакомств, онлайн казино и других игровых сайтов, а также Интернет-ресурсов, оказывающих различные финансовые услуги. Лекарства и медицинские услуги могут рекламировать только сертифицированные с Google рекламодатели. Отсюда следует, что рядовым арбитражникам не разрешается рекламировать любые медицинские и псевдо медицинские препараты.

Также администрация Google Ads строго контролирует поведение рекламодателей. Любое злоупотребление рекламной сетью Google немедленно пресекается. Подмена контента – главное нарушение правил Google Ads. То есть рекламное объявление должно соответствовать товарам или услугам, которые описываются на лендинге, а лендинг в свою очередь должен соответствовать офферу. Категорически запрещается вводить в заблуждение пользователей, предоставляя им нерелевантную информацию о рекламируемых продуктах. О том, что ждет нарушителей правил Google Ads, служба поддержки Гугла разъяснила в соответствующей статье.

Способы клоакинга в Google Ads

Самостоятельно создать полноценную клоаку для Google Ads в состоянии только опытные программисты. Подавляющее большинство арбитражников клоачат с помощью платных онлайн сервисов, о которых будет рассказано ниже.

Подмена контента

На сайте создаются две страницы – white page и black page. Серверный скрипт, анализируя строку User-agent HTTP-запроса, определяет, кто зашел на сайт – человек (запрос от браузера) или поисковый бот-паук. Для бота выдается white page, а для человека (браузера) – black page. Более продвинутый скрипт также определяет, с какого IP-адреса пришел запрос и сравнивает его с имеющейся базой IP-адресов модераторов и ботов Гугла. Если IP-адрес посетителя отсутствует в этой базе – выдается black page, в противном случае выдается white page. Такой скрипт можно настроить так, чтобы black page показывалась только посетителям из определенной страны или региона, а для всех остальных – white page. Самостоятельно создать подобный скрипт могут только продвинутые веб-программисты, но в сети можно найти готовые решения, например, здесь.

Редирект

С помощью редиректа пользователя автоматически перенаправляют на нужную веб-страницу. Подробнее об этом способе клоакинга было рассказано выше, в разделе «клоакинг партнерских ссылок».

Iframe

Работает как описанная выше подмена контента, но black page загружается во фрейм, который отображается поверх white page.

Сервисы Google

Арбитражники могут использовать сервисы Google для создания white page и трастовых партнерских ссылок, которые бы одобрили боты Google Ads. Для этого прекрасно подходят Google сайты и Google презентации.

Онлайн сервисы

Сервисы, с помощью которых можно создать клоаку, называются TDS (Traffic Distribution System – система распределения трафика). Многие популярные трекеры помимо своего основного назначения в состоянии таргетировать трафик, то есть имеют функцию TDS. Лучшие из них – Keitaro и AdsBridge.

Клоакинг Google Ads на примере Keitaro – пошаговая инструкция

Keitaro – это трекер, специальное программное обеспечение для мониторинга рекламных кампаний. Но с помощью Keitaro можно не только собирать статистику для анализа, но и клоачить Гугл. Для работы с Keitaro нужно иметь собственный сервер с установленной на ней CentOS 8 Stream (другие серверные операционные системы не поддерживаются).

Этап 1. Создание кампании

Войдите в Кейтаро и щелкните по пункту меню «Кампании»:

Вход в меню сервиса Keitaro

Создайте новую кампанию, щелкнув по соответствующей кнопке:

Создание новой кампании в сервисе

Придумайте название кампании. В источниках трафика выберите Google Ads:

Источник трафика – Google Ads

Этап 2. Способы прохождения модерации в Google

С использованием Tracking template

Создайте новый поток для своей кампании:

Создание нового потока

В диалоговом окне задайте название потока (остальные основные настройки оставьте без изменений):

Нужно задать название кампании

В разделе «Схема» выбираем «Прямой URL». Для поля «Редирект» задаем значение «HTTP-редирект», в поле URL введите адрес вашего лендинга или оффера, например https://myoffer.ru/:

Выбрав необходимые настройки, нужно сохранить их

Сохраните изменения и закройте диалоговое окно. На странице потоков получаем ссылку на созданный поток.

В настройках рекламной кампании Google Ads перейдите в раздел «Campaign URL options» (через пункт меню «Settings») и в поле «Tracking template»вставьте полученную ссылку:

Протестируйте работу кампании, щелкнув по ссылке «Test».

С использованием ленда/преленда

Перейдите в раздел «Лендинги» и щелкните по кнопке «Создать»:

Кнопка для создания нового лендинга

В диалоговом окне «Создание лендинга» придумайте название, выберите способ подключения лендинга «Предзагрузка» и введите его URL:

Сохраните изменения и закройте диалоговое окно. Создайте новую кампанию, как это было написано в предыдущем разделе.

Теперь нужно создать поток, который бы приводил на лендинговую площадку целевую аудиторию. Щелкните по кнопке «Создать поток» и в диалоговом окне введите его название и задайте тип потока – «Обычный»:

Выбор типа потока для лендинга

Перейдите в раздел «Схема» и добавьте только что созданный лендинг:

Добавление созданных лендингов

Сохраните настройки и закройте диалоговое окно. Теперь необходимо создать поток, отсеивающий боты и нецелевую аудиторию. Для этого в меню «Обслуживание» выберите пункт «Настройки»:

Настройки для отсеивания ботов и нецелевой аудитории

На странице настройки перейдите в раздел «Боты» и установите «Да» для всех ботов. Затем щелкните по кнопке «Добавить» в строке «Дополнительный список IP»:

Нужно добавить список ботов

Добавьте список ботов и сохраните настройки. Создайте новый поток. Задайте название потока и тип – «Перехватывающий»:

Тип потока – перехватывающий

Перейдите в раздел «Схема» и выберите опцию «Действие» – «Ничего не делать».

Выбор действия в разделе схем

Перейдите в раздел «Фильтры». Установите отношения «или» и добавьте фильтры Прокси, Бот, IPv6, UserAgent и, если необходимо, другие, например, Страны. В поле UserAgent выберите и вставьте все поисковые боты Google (список ботов Google есть в конце статьи.):

При редактировании потока нужно вставить ботов

Теперь перейдите в раздел «Интеграция» настроек вашей кампании. В поле «Выберите способ подключения» нужно выбрать «KClient PHP»:

Способ подключения «KClient PHP»

Скопируйте полученный Код для лендинга и вставьте его в самый верх файла index.php вашего лендинга. Затем скачайте файл kclient.php (ссылка внизу раздела «Интеграция») и поместите его в корневую папку вашего лендинга, то есть рядом с index.php:

Размещение кода для лендинга

Для получения наилучших результатов, на время прохождения модерации отключите поток для целевой аудитории, то есть оставьте работающим только поток для ботов.

Клоакинг Google Ads на примере AdsBridge – пошаговая инструкция

Трекер AdsBridge имеет интуитивно понятный русскоязычный интерфейс и отзывчивую техподдержку, с которой можно общаться по Скайпу или через Телеграм (у вас обязательно должны быть аккаунты в одном из этих мессенджеров).

Чтобы начать клоачить Google с помощью AdsBridge необходимо создать кампанию, добавить лендинг и оффер и настроить правило распределения потоков, по которому боты Google будут отсекаться.

Этап 1. Добавление домена

Щелчком по кнопке меню «Домены» переходим в соответствующий раздел, после чего щелкаем по синей кнопке «+» вверху (см. рисунок) и добавляем свой домен:

Добавление домена в AdsBridge

В настройках DNS своего домена укажите псевдоним поддомена.

Указание имени поддомена

Этап 2. Добавление лендинга

Выберите в меню «Лендинг страницы» и далее в открывшемся подменю «Управление лендингами». В разделе «Лендинг страницы» щелкаем по зеленой кнопке «Создать лендинг».

Создание лендинга в сервисе

Если у вас есть готовая лендинговая площадка на вашем сервере – выберите соответствующий пункт, задайте имя, выберите язык и вертикаль и введите URL в поле «Сылка на лендинг». Затем выберите Sub ID для получения подробной информации о трафике (подробнее о значениях Sub ID можно узнать здесь). Скопируйте код для CTA-кнопок вашей лендинговой площадки. Щелкните по кнопке «продолжить» для создания лендинга.

Ввод ссылки на лендинг

Если у вас нет готового лендинга, вы можете его создать с нуля, используя визуальный редактор или загрузить готовый HTML-код лендинговой страницы. В этом случае лендинговая площадка будет находиться на сервере AdsBridge.

Этап 3. Создание новой кампании

Перейдите в раздел «Кампании» и создайте новую кампанию, щелкнув по соответствующей кнопке:

Кнопка для создания новой кампании

Задаем ее имя, выбираем домен и вводим URL лендинговой страницы. Тип кампании – Без редиректа. Сохраняем изменения и переходим к странице целевых настроек:

Переход к странице целевых настроек

На странице целевых настроек щелкаем по кнопке «Добавить лендинг», добавляем уже созданный лендинг и сохраняем изменения:

Добавление landing-page

Этап 4. Создание оффера

Оффер можно создать, перейдя в соответствующий раздел панели управления. Для этого выберите пункт меню «Офферы» и далее «Управление офферами» (оффер создается так же, как лендинг). Но можно создать новый оффер не уходя со страницы «Управление кампаниями». Для этого щелкните по кнопке «Оффер» внизу справа и выберите пункт «Создать новый оффер»:

В диалоговом окне вводим необходимые данные, задаем настройки и сохраняем изменения:

Создане нового оффера

Этап 5. Создание потока

Щелкните по кнопке «Создать правило» (зеленая кнопка справа вверху на странице вашей рекламной кампании) и создайте правило, по которому все боты Гугла будут отсекаться:

Необходимо настроить отсечение ботов

Также можно отсеять боты Гугла по их ай-пи адресам:

Можно настроить отсев ботов по IP

Добавьте в пути распределения созданные лендинг и оффер:

Добавление оффера и лендинга в пути распределения

Этап 5. Сохранение и добавление скрипта

Сохраните созданную и настроенную кампанию:

Сохранение настроенной кампании

Скопируйте скрипт и вставьте его в исходный HTML-код вашей лендинговой страницы:

Нужно скопировать скрипт для вставки в код

ТОП 5 сервисов для клоакинга в Google Ads

Из множества сервисов, помогающих клоачить Гугл, самыми популярными являются Keitaro, AdsBridge, MagicChecker, Binom и Traffic Armor.

Keitaro Страница сервиса Кейтаро

Keitaro – вероятно, самый популярный трекер для арбитража трафика. Содержит множество опций для мониторинга рекламных кампаний. Масса готовых фильтров поможет максимально точно настроить таргетинг и гарантированно отсечь нежелательный трафик. Регулярно обновляемая база IP-адресов позволяет надежно скрыть лендинговые площадки от ботов и модераторов Google Ads.

Тарифы: Имеется три тарифных плана: Basic – 25 евро в месяц, Pro – 40 евро в месяц, Business – 70 евро в месяц. При оплате за год вперед – скидка 30%.

Испытательный период: Trial-период 7 дней.

Функционал: Он включает множество инструментов для тестирования и анализа рекламных кампаний. Имеется несколько десятков фильтров для точной настройки таргетинга. Клоака для Гугла создается фильтрацией нежелательных IP-адресов. С сервисом можно работать через API.
- сервис имеет регулярно обновляемую базу IP-адресов модераторов и ботов Гугла;
- больше 30 фильтров для точного таргетинга;
- документация на русском языке;
- сравнительно невысокая цена.
- сервис труден в освоении для начинающих арбитражников;
- для работы с Keitaro необходимо иметь или арендовать собственный сервер;
- по отзывам реальных пользователей, техподдержка работает неэффективно.
AdsBridge

Главная страница AdsBridge

AdsBridge – полнофункциональный облачный трекер рекламных кампаний. Позволяет проводить сбор статистики в режиме реального времени и, на основании анализа трафика, автоматически направлять потоки на самые прибыльные лендинговые площадки и офферы. Настраиваемый фильтр с множеством параметров надежно отсеет нежелательный трафик. Имеется собственный конструктор сайтов для создания лендинговых площадок. Возможно, лучший сервис для профессиональных арбитражников.

Директива User-agent: примеры использования, роботы Яндекс и Google

User-agent – это директива, указывающая, для какой поисковой системы и какого конкретно робота прописываются инструкции в файле robots.txt.

С данного правила начинается любой корректный Robots. Все боты при обращении к файлу проверяют записи, начинающиеся с User-Agent, где учитываются подстроки с названиями ботов поисковиков (Yandex, Google и пр.) либо «*».

На заметку.Если строки User-agent: *, User-agent: Yandex или User-agent: Google не указаны в файле, то по умолчанию робот считает, что никаких ограничений на индексацию у него нет.

Примеры использования директивы User-agent в robots.txt

Если в файле задавать конкретного робота, то он будет следовать инструкциям, которые относятся только к нему.

Пример использования нескольких User-agent в robots.txt

Данная инструкция лишь обращается к определенному поисковому роботу или всем роботам, а уже под директивой прописываются непосредственно команды для него/них.

Для корректной настройки файла Robots не стоит допускать пустые строки между директивами User-agent и Disallow, Allow, идущими в пределах одной директивы User-agent, к которой они относятся.

Пример некорректного отображения строк в файле Robots:

Пример корректного отображения строк в файле Robots:

Как видите, директории в роботсе делятся на блоки, и в каждом из них прописываются указания для всех ботов или для определенного.

Роботы Яндекс и Google

У популярнейших поисковых систем присутствует большое количество роботов, и все они выполняют определенные функции. Благодаря robots.txt вы можете контролировать действия каждого из них. Но некоторые роботы держатся в секрете поисковыми системами. Ниже перечислены все публичные роботы Яндекса и Гугла с кратким описанием.

Роботы Яндекс:
1. YandexBot. Это основной индексирующий робот Яндекса. Он работает с органической выдачей поисковика.
2. YandexDirect. Робот, отвечающий за контекстную рекламу. Посещает сайты и оценивает их на основе того, в каком месте располагается контекстная реклама.
3. YandexDirectDyn. Выполняет похожие функции, что и предыдущий бот, но с тем лишь отличием, что оценивает динамические объявления.
4. YandexMedia. Индексирует мультимедийные файлы. Сканирует, загружает и оценивает видео, аудио.
5. YandexImages. Обрабатывает изображения и контролирует раздел поисковика “Картинки”.
6. YandexNews. Новостной бот, отвечающий за раздел Яндекса “Новости”. Индексирует все, что связано с изданиями новостных сайтов.
7. YandexBlogs. Занимается постами, комментариями, ответами и прочим контентом в блогах.
8. YandexMetrika. Как понятно из названия, это робот Яндекс Метрики, анализирующей трафик сайтов и их поведенческие факторы.
9. YandexPagechecker. Отвечает за распознание микроразметки на сайте и ее индексацию.
10. YandexCalendar. Бот, индексирующий все, что связано с Календарем Яндекса.
11. YandexMarket. Робот сервиса Яндекс.Маркет, добавляющий в индекс товары, описания к ним, цены и прочую информацию, полезную для Маркета.
Роботы Google:
1. Googlebot. Это основной робот поискового гиганта, индексирующий главный текстовый контент страниц и обеспечивающий формирование органической выдачи.
2. GoogleBot (Google Smartphone). Главный индексирующий бот Гугла для смартфонов и планшетов.
3. Googlebot-News. Робот, индексирующий новостные публикации сайта.
4. Googlebot-Video. Включает в поисковую выдачу видеофайлы.
5. Googlebot-Image. Робот, занимающийся графическим контентом веб-ресурсов.
6. AdsBot-Google. Проверяет качество целевых страниц – скорость загрузки, релевантность контента, удобство навигации и так далее.
7. AdsBot-Google-Mobile-Apps. Оценивает качество мобильных приложений по тому же принципу, что и предыдущий бот.
8. Mediapartners-Google. Робот контекстной рекламы, включающий сайт в индекс и оценивающий его для дальнейшего размещения рекламных блоков.
9. Mediapartners-Google (Google Mobile AdSense). Аналогичный предыдущему бот, только отвечает за размещение релевантной рекламы для мобильных устройств.
Зачастую в файле Robots прописывают директории сразу для всех роботов поисковиков Google и Яндекс. Но для специфических задач оптимизаторы дают указания роботам разных поисковых систем отдельно.

Я всегда стараюсь следить за актуальностью информации на сайте, но могу пропустить ошибки, поэтому буду благодарен, если вы на них укажете. Если вы нашли ошибку или опечатку в тексте, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
Похожие публикации: