开源大型模拟框架RoboCasa训练机器人做家务

NVIDIA Research和德克萨斯大学奥斯汀分校合作研发大型模拟框架RoboCasa，可编制不同的模拟场景供机器人训练。目前RoboCasa专注于厨房场景，训练单臂移动平台机器人、类人型机器人、带手臂的四足机械狗等通用型机器人。

图片来源：RoboCasa

Excited to announceRoboCasa, a large-scale simulation framework of everyday tasks! We use generative AI tools to create diverse objects, scenes, and tasks. Simulation plays a pivotal role in our Data Pyramid for training generalist robots.

Open-source athttps://t.co/o4VKt5h5Whpic.twitter.com/JoPwvUaTly

— Yuke Zhu (@yukez)May 28, 2024

RoboCasa参考许多建筑和家居设计杂志编制出一系列厨房样式，提供大量可互动的橱柜、炉灶、水槽、微波炉等家具和电器，还原现实世界的复杂和多样性。机器人可以在模拟场景中使用这些家具和电器，微波炉的门可以打开和关闭、转动炉灶上的旋钮也能打开火。RoboCasa每个场景的纹理由MidJourney AI文本转图片模型生成，在墙壁、地板、柜台和橱柜面板各提供了总共100种纹理，还有包含各种水果、蔬菜、包装食品和容器的存储库，大大提升了训练数据的视觉多样性。RoboCasa提供“抓取和摆放”、“开关门”、“开关抽屉”、“转动旋钮”、“转动操作杆”、“按下按钮”、“插入”、“导航”共8种基础动作来构建模块。

图片来源：RoboCasa

RoboCasa这个开源大型模拟框架在现在的AI时代可供许多没有预算的开发者使用，训练自家的机器人。预料未来RoboCasa将添加更多不同的场景，不再限于厨房场景。

数据及图片来源：RoboCasa