Parser, crawler и scraper: в чём разница
В web-контексте слова scraping и «скрейпинг» обычно обозначают автоматизированное извлечение данных из страниц или API. «Парсинг» шире: это разбор структуры данных, который может быть как легитимной частью приложения, так и этапом scraper-процесса.
| Термин | Основная задача | Пример |
|---|---|---|
| Crawler | Найти и обойти URL | Поисковый робот |
| Parser | Разобрать документ/данные | Извлечь цену и артикул |
| Web scraper | Массово собрать данные с веб-сайта | Мониторинг каталога конкурента |
| Browser automation | Управлять полноценным браузером | Сайт требует JS/сессию/действия |
Что чаще всего парсят
- цены и остатки;
- карточки товаров и характеристики;
- контакты и каталоги компаний;
- тексты и изображения;
- выдачу поиска, фильтры и pagination;
- данные, которые сайт подгружает через API.
Как выглядит парсер в логах
Простой scraper часто даёт последовательный обход большого числа URL, равномерные интервалы, повторяемый User-Agent и мало вторичных ресурсов. Сложные системы используют браузер, proxies и cookies, поэтому pattern становится похож на человеческий.
Полезнее смотреть на скорость обхода, breadth/depth URL, долю карточек без конверсионных действий, повторяемость path sequence и IP/ASN rotation.
Когда парсинг становится проблемой
- нагружает origin и базу;
- быстро копирует цены/ассортимент;
- массово забирает контент;
- искажает аналитику и popular pages;
- создаёт обход коммерчески ценных фильтров/API.
Как защищаются от нежелательного парсинга
Обычно сочетанием rate/context rules, выделением verified crawlers, cache/CDN, application-level risk, Challenge на подозрительные сессии и архитектурных ограничений API. Жёсткая блокировка всех datacenter IP часто создаёт лишние false positives.
AntiPF против нежелательного scraping
AntiPF может использовать URL/rate правила, Browser/Network/Adaptive evidence и Challenge, при этом не смешивая verified поисковых роботов с неизвестными парсерами.