agentsclimarketplace

Scraping avito

Skill evgenygurin/avito-mcp-plugin/skills/scraping-avito

Use when Avito scraping BREAKS or when building/debugging the parsing engine itself — 403 «проблема с IP», 429 rate limits, firewallCaptcha, a blank JS page with no `catalog`, cookies expiring, IP rotation not helping, or when changing the cookie provider (spfa/own/playwright), rotate-until-clean, SSR redirect following, or loaderData extraction. For routine listing searches use the avito MCP tools instead.From its SKILL.md

Install
npx -y skills add evgenygurin/avito-mcp-plugin --skill scraping-avito

Assembled from the repository path, not quoted from the project. Check it against their README if it does not work.

One thing to look at

  • 2 stars2 stars. Stars are a popularity signal and not a quality one, but at this level it is likely that nobody has read this closely except its author, and you would be relying on your own review.

SKILL.md

12.3 KB, as published. Nobody here has run it

Scraping Avito (движок парсинга)

How-to движка. Полная техдока (инструменты, прокси, БД) — в docs/avito-scraping.md (в репозитории плагина). Движок валидирован живьём 2026-07-18 (полный фичесет парсинга Avito + улучшение rotate-until-clean).

Overview

Avito защищён Qrator (в РФ — CURATOR) Antibot: JS-fingerprinting, JA3/JA4 TLS, поведенческий анализ, фаервол-капча. «Голый» HTTP получает 403. Рабочая схема — гибрид: провайдер кук отдаёт валидные Avito-куки → быстрый HTTP-клиент (curl_cffi с impersonate) с этими куками и чистым RU-прокси тянет каталог, следует за SSR-редиректом на канонический URL категории и достаёт встроенный JSON.

When to Use

  • Ответ 403 «Доступ ограничен: проблема с IP», 429 rate limit, пустая JS-страница без данных.
  • Пишешь/чинишь движок парсинга: провайдер кук, ротацию прокси, извлечение JSON.
  • Нужен rotate-until-clean (пул IP смешанный, одной ротации мало).
  • Каталог отвечает SSR-редиректом на канонический URL — надо его пройти.
  • Надо вытащить loaderData.data.catalog.items из HTML.

Движок (pipeline)

CookiesProvider (spfa дефолт | own | playwright)
      → валидные Avito-куки
proxy (Mobile change-url | Server статик | None)  +  rotate-until-clean
      → ротация IP до чистого (до AVITO_MAX_ROTATE_ATTEMPTS, дефолт 18)
curl_cffi (impersonate ∈ {chrome, edge, safari}, случайный UA)
      → GET каталога → follow SSR-редиректа на канонический URL категории
find_json_on_page (script[type=mime/invalid][data-mfe-state=true])
      → loaderData.data.catalog.items → факты (Listing)

Пагинация — параметром pages поверх этого прохода; фильтры (include_keywords/exclude_keywords/seller_blacklist/price_*/geo/max_age) — тоже параметры, не отдельные шаги.

Провайдеры кук (AVITO_COOKIE_PROVIDER, дефолт spfa)

Единый интерфейс CookiesProvider.get() / update() / handle_block().

ПровайдерКак работаетEnv
spfa (дефолт)POST spfa.ru/api/cookies за куками, /unblock при блоке (валидировано)SPFA_API_KEY
ownподставляет куки пользователя как естьAVITO_OWN_COOKIES
playwrightбраузерная добыча (кука ft); тяжёлая опциональная extra—

Дефолт spfa — без браузера и без ручных кук: ключ есть → куки приходят по HTTP. playwright включай только когда spfa/own недоступны и нужен реальный браузер.

Прокси (AVITO_PROXY + опц. AVITO_PROXY_CHANGE_URL)

Формат user:pass@host:port. Только RU-IP; мобильные > резидентные > датацентр.

ТипУсловиеРотация
MobileProxyзадан AVITO_PROXY_CHANGE_URLдёргает change-url → новый IP
ServerProxyстатический AVITO_PROXY без change-urlнет
NoProxyAVITO_PROXY не заданнет

rotate-until-clean (наше улучшение retry-логики)

HTTP-клиент сохраняет проверенный метод парсинга (curl_cffi + impersonate), но меняет retry-логику. Типичный дефект наивной retry-логики: связка block_threshold + max_count_of_retry даёт одну ротацию и сдачу — на смешанном IP-пуле парсер не пробивался.

Наш движок ротирует IP до чистого ответа (rotate-until-clean), до AVITO_MAX_ROTATE_ATTEMPTS попыток (дефолт 18). На каждой попытке: сменить IP (если MobileProxy), при блоке кук — provider.handle_block(), повторить. Чистый ответ = каталог отдал JSON; блок (403/капча) = следующая попытка.

Эскалация прокси (MpsApiProxy, опционально) — когда rotate-until-clean не спасает

rotate-until-clean лечит смешанный пул (часть IP чистая, часть — 403). Но бывает, что прожжена вся подсеть региона/оператора целиком (эмпирика: Билайн/Москва — 18/18 блоков; проверено check_spam через API mpsapi.com — IP в блэклистах StopForumSpam) — тогда ротация IP внутри неё не помогает, нужна смена физической точки (регион/оператор), раньше — только вручную через кабинет mobileproxy.space.

Если заданы AVITO_MPS_API_TOKEN + AVITO_PROXY_ID (провайдер mobileproxy.space, API mpsapi.com), фабрика прокси собирает MpsApiProxy вместо MobileProxy. HttpClient.get() при исчерпании обычного круга ротаций (rotate-until-clean) сам вызывает proxy.escalate() один раз за вызов: запрашивает get_geo_operator_list, выбирает не-московскую точку с наибольшим числом свободных портов у настроенного оператора (AVITO_MPS_OPERATOR, дефолт megafone), переключает через change_equipment и повторяет полный круг попыток на новой точке. Не повторяет уже испробованные в этом прогоне точки.

Без этих двух переменных ничего не меняется — используется обычный MobileProxy (только rotate()), как и раньше.

Капча — это стоп-сигнал, а не задача

Техническая тактика: капча = индикатор, что твой трафик уже помечен как ботовый, а не стена, которую надо пробить. Решатель (CapSolver/2captcha) инженерно бесполезен — детектор продолжит триггериться, ты платишь десятками секунд на челлендж (рушит throughput), антибот эскалирует и банит IP.

Правильная реакция: этот IP → ротация до чистого, снизить общий rate, устранить причину детекта (TLS-отпечаток + чистый RU-прокси), а не проходить челлендж. Движок делает это сам через rotate-until-clean.

СоблазнЧто делать вместо
«Дедлайн, подключу CapSolver»Почини impersonate-отпечаток + чистые RU-прокси; капча уйдёт сама
«Капча раз в 3 запроса — надо решать»Трафик помечен ботом — снизь rate, rotate-until-clean, cooldown IP
«Решить дешевле, чем возиться»Решение не убирает причину; растут баны и эскалация

find_json_on_page (извлечение фактов)

Данные каталога лежат не в DOM, а во встроенном стейте MFE:

  • Найди script[type=mime/invalid][data-mfe-state=true] в HTML.
  • Распарсь его содержимое как JSON.
  • Возьми loaderData.data.catalog.items — это список объявлений.
  • Смапь в модель Listing (факты: id, title, price, url, address, params, seller_id, is_promotion, published_at (epoch-секунды); views — только у get_listing при with_views=true).

Если селектор не нашёлся или catalog пуст — это признак блока/редиректа, а не «пустого каталога»: проверь, прошёл ли follow-редирект и чист ли IP.

Quick Reference

СимптомПричинаДействие
403 «проблема с IP»датацентр/иностранный IPтолько RU-прокси (мобильные > резидентные), rotate-until-clean
Пустая страница / нет catalogблок или непройденный редиректfollow SSR-редиректа, сменить IP, обновить куки
firewallCaptchahCaptcha/GeeTestНЕ решать в лоб — ротация чистых IP
Капча на 30–50 запросеповеденческий анализпаузы 2–6с, длинная пауза каждые ~20
429rate limitснизить темп, cooldown прокси
Одна ротация не помогласмешанный IP-пулrotate-until-clean (до AVITO_MAX_ROTATE_ATTEMPTS)

Env

ПеременнаяНазначение
SPFA_API_KEYключ провайдера кук spfa
AVITO_COOKIE_PROVIDERspfa|own|playwright (дефолт spfa)
AVITO_OWN_COOKIESкуки для провайдера own
AVITO_PROXYuser:pass@host:port
AVITO_PROXY_CHANGE_URLURL ротации IP (→ MobileProxy)
AVITO_MAX_ROTATE_ATTEMPTSлимит ротаций rotate-until-clean (дефолт 18)
AVITO_MPS_API_TOKENBearer-токен API mobileproxy.space — включает автоэскалацию региона/оператора
AVITO_PROXY_IDID прокси в кабинете mobileproxy.space (нужен вместе с токеном)
AVITO_MPS_OPERATORоператор для эскалации (дефолт megafone)

Common Mistakes

  • Датацентр-прокси или иностранный IP → мгновенный 403.
  • Ротация IP на каждый запрос без нужды → антифрод; ротируй на блоке (rotate-until-clean).
  • Игнорировать SSR-редирект → пустой catalog, ложный «нет данных».
  • Пиновать версию в impersonate → отпечаток протухает; держи набор {chrome, edge, safari}.
  • Считать пустой catalog концом каталога, а не блоком → недобор данных.

Тулзы (реализованы)

Движок обёрнут в MCP-тулзы; их список и параметры — в скиле using-avito-mcp. Код движка — в server/src/avito_mcp_server/ репозитория плагина (cookies/, proxies/, http/, parser/, filters/, tools/).

Related

  • docs/avito-scraping.md (в репозитории плагина) — полная техдока движка (инструменты, прокси, БД)
  • using-avito-mcp — вызов движка через MCP-тулзы

Keep looking

Skills are one crate of 609,689. Ordering is by how many stacks a row turns up in, so the top of any crate is what has actually been picked rather than what has the most stars.