WebScraping.AI MCP Server
Интеграция с WebScraping.AI для извлечения данных из веб-страниц через MCP-сервер.
Описание
Это реализация MCP-сервера, интегрирующаяся с WebScraping.AI для веб-скрапинга. Поддерживает вопрос-ответ по контенту, структурированное извлечение данных, получение HTML с JS-рендерингом, извлечение текста, работу с CSS-селекторами. Использует прокси (datacenter/residential), эмуляцию устройств, кастомный JS. Технологии: Node.js, MCP-протокол. Применения: автоматизация сбора данных для AI-агентов, LLM-интеграции, мониторинг аккаунта.
Возможности
Вопрос-ответ по контенту
Задаёт вопросы о содержимом веб-страницы и получает ответы.
Структурированное извлечение
Извлекает данные по полям (название, цена, описание) с инструкциями.
Получение HTML
Загружает полный HTML с рендерингом JavaScript в headless-браузере.
Извлечение текста
Получает видимый текст с веб-страницы.
Выборка по CSS
Извлекает контент по селекторам, включая множественные элементы.
Прокси и геолокация
Поддержка datacenter/residential прокси с выбором страны.
Рендеринг JS и эмуляция
Выполняет кастомный JS, эмулирует устройства (desktop, mobile, tablet).
Мониторинг аккаунта
Проверяет использование API: запросы, лимиты, остаток.
Установка
Запуск через npx: env WEBSCRAPING_AI_API_KEY=your_api_key npx -y webscraping-ai-mcp
Ручная установка: git clone https://github.com/webscraping-ai/webscraping-ai-mcp-server.git; cd webscraping-ai-mcp-server; npm install; npm start
Для Cursor: создать .cursor/mcp.json с конфигурацией сервера.
Для Claude Desktop: добавить в claude_desktop_config.json блок mcpServers с командой npx и env переменными.