Fake Googlebot и YandexBot: как проверить настоящего поискового робота

Почему User-Agent недостаточно

HTTP-заголовок User-Agent полностью контролируется клиентом. Любой скрипт может отправить строку, похожую на Googlebot или YandexBot. Поэтому правило if UA contains Googlebot → ALLOW создаёт обход антибота.

Проверка Googlebot

Google указывает, что crawler/fetcher можно проверять через reverse DNS или сопоставление IP с опубликованными диапазонами. Для common crawlers reverse DNS-имена относятся к доменам Googlebot, после чего нужно убедиться в соответствии IP.

1. Получить source IP из access log.
2. Выполнить reverse DNS (PTR).
3. Проверить допустимый hostname suffix согласно документации Google.
4. Сделать forward lookup hostname и убедиться, что исходный IP присутствует в результате — либо использовать официальные IP range lists.

Проверка YandexBot

Яндекс предупреждает, что роботы могут маскироваться под Yandex User-Agent. Рекомендованный порядок: reverse DNS исходного IP, проверка hostname на домены yandex.ru, yandex.net или yandex.com, затем forward DNS hostname и сравнение IP.

Что делать при ошибке DNS

DNS — внешняя зависимость. Timeout или временная ошибка не должны автоматически превращать заявленного crawler в fake. Практичная модель хранит TEMP_ERROR и повторяет проверку/использует cache в безопасной freshness policy.

Что хранить в диагностике

• declared crawler family;
• source IP с учётом trusted proxy chain;
• verification method;
• verified/fake/temp-error state;
• hostname/IP range evidence;
• freshness/cache age;
• финальное действие и override reason.