来自凹飞寺量子比特的金磊 | qbitai
NVIDIA的最新大动作来了——通用具身代理。
英伟达高级科学家吉姆·范（Jim Fan）透露了这一消息，他说：
我将和我的老队友Yuke Zhu一起，在NVIDIA内部组建一个新的研究小组，Gear，Universal Embodied Agent Research。 我们相信，在未来，每一台移动的机器都将是自主的，机器人和模拟代理将像iPhone一样无处不在。 我们正在构建一个基础代理：一个具有通用能力的人工智能，可以学习如何在许多虚拟和现实世界中巧妙地行动。
Jim Fan 还强调，2024 年将是机器人、游戏 AI 和模拟的一年。
而随着这两天英伟达市值的暴涨，Jim Fan也加了一个X，表示：
我们有资金同时处理机器人基础模型、游戏基础模型和生成模拟。 我们的团队可能是世界上最富有的具身智能实验室。
嗯，有钱，很有沟壑。
展示相关成果。
Jim Fan在发布这一新的职业消息时，也盘点了NVIDIA之前在具身智能方面所做的相关工作。
例如，Eureka 被评为“2023 年 NVIDIA 十大项目”之一。
使用 GPT-4 生成奖励函数，教学机器人完成 30 多项复杂任务：例如快速转动笔、打开抽屉和橱柜、投掷和接球。
使用 GPU 加速的物理模拟进行训练，速度比实时快 1000 倍！
另一个例子是 Voyager，将 GPT-4 放入 Minecraft
游戏中科技树点亮的速度是前一种方法的 15 倍3 次，同时获得的唯一物品为前 3 次3次，探索范围为23次。
更重要的是，Voyager 完全依赖于游戏中的图形，所有操作和反馈都通过文本和游戏的 J**Ascript API 进行。
它也是第一个精通 Minecraft 的 LLM 驱动代理。
此外，MineDojo 还获得了 2022 年 Neurips 最佳奖。
本研究提出了一个“具身 GPT-3”，由 3 个可以在无限世界中感知和行动的智能体组成。
MineDojo 是一个开放的框架，将 Minecraft 变成了一个 AGI 研究游乐场。
该团队收集了 100,000 个 YouTube wiki 页面和 Reddit 帖子来培训 Minecraft 特工。
还有像VIMA这样的研究：第一个带有机械臂的多模态LLM，为机器人学习引入了“多模态提示”。
有关相关成就的更多盘点，您可以单击文章末尾的链接。
被黄仁勋点燃的具身情报。
事实上，Jim Fan团队负责人从事通用具身代理工作也就不足为奇了。
早在去年，黄仁勋就公开表达了自己对下一代人工智能的看法：
这种新型的人工智能被称为具身人工智能，它是可以理解、推理并与物理世界交互的智能系统。
从去年开始，无论是大学还是产业界，与具身智能相关的研究层出不穷。
最典型的就是斯坦福大学的家务机器人，让不少网友目瞪口呆。
那么Jim Fan团队今年会带来什么成绩，就值得期待了。
参考链接：[1]。