DevDocs by CyberAGI 🚀
Кроулит техническую документацию сайтов, организует её для быстрого поиска и интеграции с ИИ-моделями.
Описание
DevDocs — бесплатный приватный сервер с UI для извлечения и обработки документации. Использует Crawl4AI для интеллектуального кроулинга до 5 уровней глубины, параллельной обработки и чистой экстракции контента в MD/JSON. Интегрируется с Docker, поддерживает MCP-серверы для LLM (Anthropic, OpenAI). Идеален для разработчиков, команд и инди-хакеров: ускоряет изучение технологий, снижает время на research с недель до часов. Применения: веб-скрапинг, командные knowledge bases, LLM-файнтюнинг.
Возможности
Интеллектуальное кроулинг
Автоматическое обнаружение ссылок, контроль глубины до 5 уровней, выборочная экстракция и детекция дочерних URL.
Производительность и скорость
Параллельная обработка страниц, умное кэширование, поддержка lazy loading и rate limiting для уважительного скрейпинга.
Обработка контента
Чистая экстракция без лишнего, экспорт в MD/JSON, структурированный вывод и интеграция с MCP-серверами для ИИ.
Корпоративные функции
Восстановление после ошибок, полное логирование, API-доступ и управление командами с несколькими ролями.
Установка
Предварительные требования: Установите Docker и Git.
Для Mac/Linux:
git clone https://github.com/cyberagiinc/DevDocs.git
cd DevDocs
cp .env.template .env
# Установите NEXT_PUBLIC_BACKEND_URL в .env (например, http://localhost:24125)
./docker-start.sh
Для Windows (экспериментально, используйте WSL 2 и Docker Desktop):
git clone https://github.com/cyberagiinc/DevDocs.git
cd DevDocs
copy .env.template .env
# Установите NEXT_PUBLIC_BACKEND_URL в .env
# Установите WSL 2 и Docker Desktop
docker-start.bat
Доступ: UI — http://localhost:3001, API — http://localhost:24125. Логи: docker logs devdocs-backend.