Isaac Sim MCP Extension and MCP Server
позволяет управлять симуляцией NVIDIA Isaac Sim с помощью естественного языка
Описание
Расширение и сервер MCP для NVIDIA Isaac Sim интегрируют протокол Model Context Protocol, превращая текстовые команды в манипуляции симуляцией. Ключевые особенности: создание и управление роботами, динамичное позиционирование, кастомное освещение, навигация с препятствиями и предпросмотр кода. Технологии: Python 3.9+, Isaac Sim 4.2+, Cursor AI. Применения: embodied intelligence, робототехнические симуляции, настройка сцен для AI-тестирования и демонстраций.
Возможности
Управление сценой через естественный язык
Преобразование текстовых команд в действия симуляции, включая проверку соединения с get_scene_info.
Создание физической сцены
Генерация сцен с объектами, полом, гравитацией и навигацией роботов вокруг препятствий с create_physics_scene.
Управление роботами
Создание и позиционирование роботов (franka, jetbot, g1, go1) с динамичным движением через create_robot.
Кастомное освещение и объекты
Добавление света, поиск USD-объектов и генерация 3D-моделей из изображений с Beaver3D.
Выполнение скриптов
Интерактивный предпросмотр и запуск Python-кода в Isaac Sim с omni_kit_command и execute_script.
Установка
Предварительные требования: Установить uv (https://github.com/astral-sh/uv) и mcp[cli] (uv pip install “mcp[cli]”).
Клонировать репозиторий:
cd ~/Documents
git clone https://github.com/omni-mcp/isaac-sim-mcp
Установка расширения: Установить API-ключи (BEAVER3D_MODEL, ARK_API_KEY, NVIDIA_API_KEY). Запустить Isaac Sim с:
cd ~/.local/share/ov/pkg/isaac-sim-4.2.0
./isaac-sim.sh --ext-folder ~/Documents/isaac-sim-mcp/ --enable isaac.sim.mcp_extension
Установка MCP-сервера: В Cursor AI добавить глобальный сервер:
{
"mcpServers": {
"isaac-sim": {
"command": "uv run ~/Documents/isaac-sim-mcp/isaac_mcp/server.py"
}
}
}
Запустить сервер: uv run ~/Documents/isaac-sim-mcp/isaac_mcp/server.py