npcpy
npcpy — гибкий фреймворк для создания агентов и многоагентных систем на базе LLM для NLP-пайплайнов и исследований.
Описание
npcpy — это ядро NPC Toolkit, библиотека на Python для упрощения работы с большими языковыми моделями (LLM). Поддерживает создание агентов (NPC) с директивами, интеграцию инструментов, jinxs (шаблоны на Jinja с промптами), команды агентов и оркестрацию. Работает с провайдерами через LiteLLM (Ollama, OpenAI, Anthropic, Gemini). Позволяет генерировать текст, изображения, видео, аудио; стриминг, структурированные выводы (JSON, Pydantic). Идеально для исследований, агентских приложений, графов знаний и edge-вычислений.
Возможности
Создание NPC-агентов
Генерация агентов с именем, директивой, моделью и провайдером для персонализированных LLM-ответов.
Многоагентные команды
Оркестрация команд агентов с forenpc для координации задач, включая jinxs и инструменты.
Интеграция LLM
Поддержка провайдеров (Ollama, OpenAI, Anthropic, Gemini) через LiteLLM для локального и облачного инференса.
Инструменты и jinxs
Автоматическая обработка инструментов (функций Python) и jinxs (промпт-шаблоны на Jinja для моделей без tool-calling).
Генерация контента
Создание изображений (diffusers, DALL-E), видео, TTS/STT (ElevenLabs) и структурированных выводов (JSON, Pydantic).
Стриминг и сервер
Стриминг ответов LLM и развертывание команд через встроенный Flask-сервер для API-интеграции.