Устойчивая обработка
Очередь можно поставить на паузу, продолжить, остановить и повторить failed item.
URL Map
URL Map: знать, какие URL реально существуют, как отвечают и можно ли их индексировать
AntiPF хранит карту URL сайта и обрабатывает её через persistent queue. Проверки HTTP и indexability помогают связать security/redirect/404-контуры с реальной структурой сайта, не заставляя администраторскую страницу держать долгую операцию в одном запросе.
Persistent queuePause / resume / stopHTTP + indexabilitySystem endpoints excluded
URL Map queue
Seedhttps://example.ru/
QUEUEDHTTP/catalog/item/
200Indexabilitymeta robots
NOINDEXQueuebatch checkpoint
RESUMABLEBrowser telemetry и другие system endpoints не должны попадать в normal indexable URL inventory.
SEO / HTTP inventory
Карта URL нужна и SEO, и эксплуатации: без authoritative inventory сложно понимать 404, redirects и охват
URL Map собирает URL в локальный registry, проверяет response/indexability и ведёт очередь с управляемым lifecycle. Это основа для дальнейшей диагностики, а не попытка заменить полноценный внешний crawler на каждом запросе.
Фактический ответ
URL хранится вместе с результатами HTTP/indexability checks.
Чистый inventory
Внутренние AntiPF endpoints исключаются из обычного SEO-пространства.
Архитектура
Persistent queue вместо длинного одноразового сканирования
Jobs должны быть bounded: lock, timeout, checkpoint и resume, чтобы shared hosting не превращал карту URL в риск для runtime.
Discover
Получить seed URL из известных источников сайта.
Queue
Записать задачи в persistent storage.
Fetch
Проверить bounded batch с HTTP safety.
Classify
Определить status и indexability.
Store
Обновить URL registry без потери предыдущего состояния.
Resume
Продолжить с checkpoint после timeout/pause.
Scope safety. System/telemetry/admin endpoints не должны становиться «SEO URL» и попадать в normal crawling queue.
Что умеет модуль
Что можно делать с URL Map
Модуль особенно полезен вместе с Redirect Center, 404 Monitor и SEO/HTTP diagnostics.
URL registry
Локальный authoritative inventory найденных URL и их состояния.
Подробнее →Persistent queue
Pause/resume/stop/retry для долгих задач.
Подробнее →HTTP checks
Проверка фактического response code и доступности.
Подробнее →Indexability
Фиксация индексируемости URL как отдельного свойства.
Подробнее →Redirect context
Redirect target/source можно сверять с существующими URL.
Подробнее →404 suggestions
Карта URL может быть одним из источников кандидатов для исправления 404.
Подробнее →Readiness & evidence
Очередь должна быть управляемой и восстановимой
Незавершённая обработка — нормальное состояние; она не должна терять прогресс или выглядеть как полный готовый inventory.
READY
Очередь обработанаТекущий scope завершён и данные сохранены.
RUNNING
Идёт batchЕсть checkpoint и progress.
PAUSED
Остановлено владельцемМожно продолжить с сохранённого состояния.
ERROR
Job требует вниманияОшибка сохраняется с retry path, а не стирает inventory.
Практическое применение
Как URL Map использовать на практике
Карта становится связующим слоем между SEO, 404, redirects и техническим состоянием сайта.
SEO
Связанный сценарий →Контроль индексируемости
Найти URL с неожиданным noindex/ошибкой response.
404
Связанный сценарий →Поиск корректной цели
Сопоставлять битые URL с существующими путями.
REDIRECT
Связанный сценарий →Проверка redirect inventory
Видеть источник/назначение в контексте фактической структуры сайта.
MIGRATION
Связанный сценарий →После изменения структуры
Повторно построить scope и сравнить фактический URL inventory.
Границы
URL Map не нужно путать с бесконечным внешним SEO crawler
Модуль ориентирован на локальный inventory и bounded HTTP/indexability checks. Для тяжёлого JavaScript-rendering и внешнего multi-million crawl могут требоваться специализированные инструменты.
FAQ
Вопросы про URL Map
Можно остановить сканирование и продолжить позже?
Да. Архитектура предусматривает persistent queue с pause/resume/stop/retry.
Попадают ли служебные URL AntiPF в карту?
Системные, telemetry и служебные endpoints должны исключаться из normal indexable URL scope.
URL Map проверяет код ответа?
Да, HTTP availability/status — один из базовых контекстов карты вместе с indexability.
Это замена Screaming Frog?
Нет. AntiPF решает локальную задачу authoritative URL/HTTP inventory и интеграции с собственными модулями; внешний crawler может дополнять её.
Следующий шаг
Соберём URL inventory и найдём технические разрывы
Особенно полезно после редизайна, миграции, массовых redirects или когда 404 и индексируемость уже трудно контролировать вручную.