你将一些金属碗从柜台推到水槽里，发出叮当声，然后在椅背上披一条毛巾。在另一个房间里，听起来像是一些摇摇欲坠的木块掉了下来，然后发生了一场史诗般的玩具车祸。这些与我们环境的互动只是人类每天在家中所经历的一些事情，但尽管这个世界看起来是真实的，但事实并非如此。

麻省理工学院、麻省理工学院-IBM 沃森人工智能实验室、哈佛大学和斯坦福大学的研究人员进行的一项新研究正在打造一个丰富的虚拟世界，就像踏入“黑客帝国”一样。他们的平台称为 ThreeDWorld (TDW)，模拟室内和室外的高保真视听环境，并允许用户、对象和移动代理按照物理定律在现实生活中进行交互。当相互作用发生时，为流体、软体和刚性物体计算和执行物体方向、物理特性和速度，产生准确的碰撞和撞击声。

TDW 的独特之处在于它被设计为灵活和可推广的，实时生成合成照片般逼真的场景和音频渲染，可以编译成视听数据集，通过场景内的交互进行修改，并适应人类和神经网络学习和预测测试。不同类型的机器人代理和化身也可以在受控模拟中产生，以执行任务规划和执行。例如，使用虚拟现实 (VR)，空间内的人类注意力和游戏行为可以提供真实世界的数据。

“我们正在尝试为各种 AI 应用程序构建一个模拟现实世界交互丰富性的通用模拟平台，”该研究的主要作者、麻省理工学院-IBM 沃森人工智能实验室研究科学家 Chuang Gan 说。

创建现实的虚拟世界来研究人类行为和训练机器人一直是人工智能和认知科学研究人员的梦想。“目前大部分人工智能都基于监督学习，它依赖于大量人工标注的图像或声音数据集，”大脑与认知科学系 (BCS) 副教授兼 MIT-IBM Watson AI 的乔什·麦克德莫特 (Josh McDermott) 说实验室项目负责人。这些描述的编译成本很高，给研究造成了瓶颈。对于人类观察者并不总是很明显的物体的物理特性，例如质量，标签可能根本不可用。像 TDW 这样的模拟器通过生成所有参数和注释都已知的场景来解决这个问题。许多相互竞争的模拟都是出于这种考虑，但专为特定应用而设计;

McDermott 指出，TDW 的另一个优势是它提供了一个受控设置，用于理解学习过程并促进 AI 机器人的改进。依靠反复试验的机器人系统可以在不会造成身体伤害的环境中进行教学。此外，“我们中的许多人都对这些虚拟世界为人类进行实验以了解人类感知和认知而打开的大门感到兴奋。