Веб-скрапинг через Scrape.do с обходом защит и JavaScript рендерингом

GitHub stars
235

Install

/plugin install scrapedo-web-scraper@polyakov-claude-skills

Run it inside Claude Code after adding the marketplace with /plugin marketplace add artwist-polyakov/polyakov-claude-skills.

Contents

Discovered from source

Skills 1

Scrape.do Web Scraper

Скрапинг веб-страниц через Scrape.do API. Используй когда обычный fetch не работает (блокировка, JavaScript).

Использование

# Получить текст страницы
python scripts/scrape.py https://example.com

# Получить HTML
python scripts/scrape.py --html https://example.com

Из Python

from scripts.scrape import fetch_via_scrapedo

result = fetch_via_scrapedo('https://example.com')
if result['success']:
    print(result['content'])  # текст
    # result['html'] — оригинальный HTML
else:
    print(result['content'])  # описание ошибки

Результат

  • Успех: текст страницы (или HTML с --html)
  • Ошибка: понятное сообщение (нет токена / лимит / недоступно)

Если вернулась ошибка — страница недоступна через этот метод.

Sponsors

Details

Marketplace
artwist-polyakov/polyakov-claude-skills
Source
plugins/scrapedo-web-scraper
Category
Productivity

More from artwist-polyakov/polyakov-claude-skills

All 23