Adaptive Intelligence
Ищет повторяемые последовательности и аномалии при достаточном числе наблюдений.
Подробнее →
Scraping protection · защита от парсеров
Защита сайта от парсеров: находить автоматизированный сбор данных по поведению и техническим сигналам
Парсер может работать быстро или медленно, менять IP, использовать обычный браузер и обходить примитивный rate limit. AntiPF сочетает правила, Browser/Network/Adaptive evidence, Risk Engine и Challenge, при этом отдельно сохраняет доступ настоящих поисковых роботов.
Sequence analysisBrowser automation signalsRate + behaviorCrawler safe
Scraping evidence
URL patterncatalog pagination / filters
REPEATEDSequencemany products · low dwell
ANOMALYBrowserautomation consistency
EVIDENCECrawler checknot verified search bot
NORMAL POLICYНизкий rate не делает парсер человеком: важны последовательность URL, visitor identity и корреляция сигналов.
Парсинг
Сбор данных не всегда выглядит как «100 запросов в секунду»
Современные парсеры умеют распределять нагрузку, делать паузы, использовать browser automation, anti-detect браузеры и residential proxy. robots.txt останавливает только добровольно соблюдающих его crawler, поэтому защита должна учитывать характер обхода сайта, а не один IP или User-Agent.
Медленный scraping
Парсер идёт по каталогу с человеческой скоростью, но систематически покрывает большой объём URL.
Ротация IP и residential proxy
Каждый запрос может приходить с нового адреса, поэтому одиночный IP‑rate limit теряет эффективность.
Headless / anti-detect browser
Автоматизация исполняет JavaScript, меняет fingerprint и выглядит ближе к обычному браузеру.
AI crawlers и другие известные боты
Их policy может отличаться от Googlebot/YandexBot: решение должно зависеть от идентичности и правил владельца сайта.
SEO‑краулеры рядом
Googlebot/YandexBot и полезные технические crawler нельзя блокировать по тем же правилам, что и неизвестный scraper.
Как работает
Как отличать парсинг от нормального просмотра
AntiPF рассматривает не один URL, а паттерн запроса, identity и доступные сигналы в динамике.
01Path context
Каталог, фильтры, карточки, API или системный endpoint.
02Identity
Visitor/session и crawler verification.
03Sequence
Последовательность URL, rate, повторяемость и breadth.
04Browser / Network
Automation markers, consistency и сетевой контекст.
05Response
Observe, Challenge, ограничение или explicit rule.
Парсинг ≠ любой частый обход. Поисковый робот, интеграция и реальный пользователь могут генерировать нетипичные последовательности — поэтому hard‑решения требуют подтверждения.
Возможности AntiPF
Инструменты AntiPF против scraping‑сценариев
Сильнее всего работает комбинация нескольких слоёв — особенно против распределённого и browser‑based парсинга.
Browser Signals
Даёт automation и browser consistency evidence.
Подробнее →Risk Engine
Объединяет rate/sequence/browser/network evidence в объяснимый score.
Подробнее →Challenge Studio
Позволяет подтвердить подозрительную visitor session вместо мгновенного permanent ban.
Подробнее →Rule Engine
Явные правила для известных URL, API, сетей и сигнатур.
Подробнее →Crawler Verification
Не смешивает настоящих поисковых роботов с неизвестным parser User‑Agent.
Подробнее →Реалистичные ожидания
Нельзя гарантировать, что публичные данные невозможно скопировать
Если информация доступна обычному посетителю, технически её можно собирать. Практическая защита сочетает robots.txt для добросовестных crawler, scoped anti-flood/rate limiting, cache/CDN, authentication/quotas для API и application-level анализ автоматизации. Задача AntiPF — повысить стоимость scraping, выявлять паттерны, применять Challenge/ограничения и сохранять evidence для правил.
TLS/JA3/JA4 fingerprinting и сетевой edge-filtering находятся ниже/вне PHP-runtime AntiPF и не должны приписываться продукту. Для особо ценных данных нужны authentication, quotas, бизнес‑правила и архитектурные ограничения доступа.
Связанные сценарии
Что ещё может быть частью задачи
FAQ
Вопросы про защиту от парсеров
Как защитить сайт от парсинга?
Практический набор: ограничить дорогие endpoints, отслеживать visitor/sequence patterns, отделить verified crawlers, собирать browser/network evidence и применять Challenge/rate/rules только к подтверждённым сценариям.
Поможет ли блокировка по IP?
Только против простых случаев. Распределённый parser меняет IP, поэтому нужны visitor/behavior/browser‑сигналы и корреляция.
Можно ли отличить Selenium или Playwright?
Иногда есть прямые или косвенные automation markers, но AntiPF не должен обещать точное название инструмента без уникального доказательства. Generic automation evidence корректнее, чем ложный «BAS detected».
Не заблокируется ли Googlebot?
Подтверждённый поисковый crawler должен обрабатываться отдельным hard‑ALLOW до обычного risk score.
Что делать с медленным парсером?
Смотреть не только rate, но и breadth URL, последовательности, повторяемость, fingerprint stability и поведение во времени.
Следующий шаг
Покажите, что именно парсят
Пришлите домен, тип страниц и симптомы: нагрузка, массовые обходы, копирование цен/контента или повторяемые запросы к фильтрам/API.