Google боты. Список популярных Google Bot агентов. Поисковые роботы Google

Под термином «поисковые роботы» понимаются любые программы, которые автоматически обнаруживают и сканируют веб-сайты. В таблице ниже приведены сведения о ключевых поисковых роботах Google, которые попадают в журналы источников ссылок

Google боты. Список популярных Google Bot агентов

» » Сообщение:

Под термином «поисковые роботы» понимаются любые программы, которые автоматически обнаруживают и сканируют веб-сайты, переходя по ссылкам от страницы к странице. Основной поисковый робот называется Googlebot.
В таблице ниже приведены сведения о ключевых поисковых роботах Google, которые попадают в журналы источников ссылок.

Поисковый робот Токен агента пользователя Полная строка агента пользователя (указана в файлах журнала сайта)
Googlebot (Google Поиск) Googlebot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
ИЛИ
Googlebot/2.1 (+http://www.google.com/bot.html) – редко используется
Googlebot News Googlebot-News
(Googlebot)
Googlebot-News
Googlebot Images Googlebot-Image
(Googlebot)
Googlebot-Image/1.0
Googlebot Video Googlebot-Video
(Googlebot)
Googlebot-Video/1.0
Google Mobile (для мобильных телефонов) Googlebot-Mobile SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Google Smartphone Googlebot ​Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSense Mediapartners-Google

ИЛИ

Mediapartners
(Googlebot)
[различные типы мобильных устройств] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSense Mediapartners-Google
Mediapartners
(Googlebot)
Mediapartners-Google
Google AdsBot (проверка качества целевой страницы) AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html)
Робот Google для приложений
(сканирование ресурсов для мобильных приложений, подчиняется тем же правилам, что и Google AdsBot)
AdsBot-Google-Mobile-Apps AdsBot-Google-Mobile-Apps

© support.google.com




Похожие темыКомментарии ПросмотрыПоследнее сообщение
0412HTML теги. Полный список тегов HTML
Сообщение от: Admin
02169Операторы шаблонов и системные коды...
Сообщение от: Admin
06551Основные значения User Agent клиент...
Сообщение от: Admin
02393Адекватный список User-Agent поиско...
Сообщение от: Admin
0685Как получить список файлов в папке?
Сообщение от: Admin