人工学院2手机模拟器—人工学院2手游下载

地面飞行训练模拟器 从“飞行员摇篮”到“虚拟空战场”

钻出一个云团，眼前豁然开朗，屏幕上立即出现“敌机”的图标。还没来得及锁定，“敌机”已快速扎入另一个云团。机身两旁的薄云，被机头劈成两半，一绺绺疾驰而过。突然，导弹来袭警报声响起……

放松，请放松紧绷的神经！如此激烈的空中对抗场景，不一定真是在高空中“上演”，也可能是在地面上发生——如今先进的地面飞行训练模拟器完全可以做到这一点。

对大多数刚起步的飞行员来说，地面飞行训练模拟器有点像他们的“学步车”，帮着他们迈出飞行“第一步”。随着训练难度增加，地面飞行训练模拟器就有了点太上老君“八卦炉”的感觉，目的很明确——将飞行员“炼出铜头铁臂”。一一对抗、组队对抗……在这期间，地面飞行训练模拟器就成了飞行员眼中的“虚拟空战场”。

那么，地面飞行训练模拟器何以拥有这种“能力”？它们的发展现状如何？未来又会向哪里发展？请看相关解读——

“在人造空间里飞行”

被称作飞行员“摇篮”“学步车”也好，“八卦炉”也好，地面飞行训练模拟器本身没那么多感彩，它只是一种用于训练飞行员的装备或装备组合。

这类装备或装备组合，一般设置在地面上，能够模仿战机执行任务时的飞行环境、条件和状态，让飞行员和空勤人员获得与在空中相近的操纵负荷、视觉、听觉和运动感觉，并对它所给出的一连串“空情”作出反应。

和教练机、变稳飞机等空中飞行训练模拟器不同，这种飞行训练模拟器无法飞离地面，它只能“在人造空间里飞行”。

一般来讲，它由模拟座舱、运动系统、视景系统、计算机系统及教员控制台5大部分组成。如果把这些部分比作训练模拟器的躯体，那么依托计算机系统运行的飞行仿真软件就是模拟器的“灵魂”。

“有趣的灵魂万里挑一。”对地面飞行训练模拟器来说，这句话同样适用。仿真软件作为飞行训练模拟器的核心，它的先进程度，直接决定着飞行训练模拟器功能的强弱。

仿真软件主要包括两类，一类是负责向地面飞行训练模拟器发出指令、驱动其运动的软件架构，这一软件系统带有一定通用性；另一类则是由战机气动参数等多种要素构成的飞行仿真模型。这种软件系统基于具体型号的战机构建， 带有鲜明的“个性”特征。它易于被计算机系统辨识，能通过向诸多分系统提供相应的驱动信号，使地面飞行训练模拟器呈现出与所模拟战机类似的飞行特征。

飞行仿真模型种类较多，除了气动模块、运动方程模块和力矩模块，还包括大气紊流、质量特性、毁坏状况、重新定位等功能模块。这些模块共同赋予地面飞行训练模拟器整体仿真特性。

在地面模拟飞行训练中，飞行教员正是通过教员控制台有针对性地选择不同仿真模型，来构建特定的训练课目。

当然，地面飞行训练模拟器并非刚问世时就如此“高大上”。第二次世界大战期间，训练了约50万名飞行员的林克机，只是一个机械式的地面飞行训练模拟器。直到20世纪50年代后，随着计算机技术日渐成熟，一些民航客机的地面飞行训练模拟器才初步具备数字化模拟功能。20世纪70年代以来，地面大型模拟器才普遍具备完整的座舱设备和模拟控制系统，除视景显示功能外，还加入了音响和烟雾模拟装置，实现六自由度运动，地面飞行训练模拟器的运行速度和仿真实时性大大提升。

俄罗斯新型人工智能地面飞行训练模拟器。资料图片

俄罗斯舰载机模拟训练飞行系统。资料图片

台风战机地面飞行训练模拟器。资料图片

F-35战机地面飞行训练模拟器。资料图片

随时“开黑”不是梦

当前，各国研发的地面飞行训练模拟器技术水平不等。从一些先进训练模拟器所具备的能力来看，随时“开黑”不是梦。

“开黑”是大型网络游戏玩家所用的“术语”，意为“在沟通便捷的情况下组队打游戏”。地面飞行训练模拟器在这方面所提供的便捷性、实战性，与网游相比有过之而无不及。

以前的地面飞行训练模拟器，囿于当时的条件限制，大多突出对单机驾驭能力的训练。现在，更多的国家开始运用计算机网络技术，将分散在不同地域的多个部队所属的地面训练模拟器联为一体，进行综合性、系统性模拟训练。

以美空军为例，其阿姆斯特朗实验室的“虚拟21中队”，任务就是通过网络联接多台不同机型的飞行训练模拟器，组织实施带战术背景的机群攻击模拟训练。

在2019年莫斯科航展中，俄罗斯展示的与苏-35战机配套的地面飞行训练模拟器，同样展现出这方面的一些特征。

不仅如此，随着地面飞行训练模拟器被赋予一些新能力，空中训练的战机也被纳入地面飞行训练模拟的大体系中。

2018年，美军曾在内利斯空军过一次相关演示。演示对象包括8架F-15战机和8架F/A-18战机的联网模拟器，合计20个空中节点和地面系统，还有数百个由数字构建的空中和地面兵力模型。

美军准备列装的T-7A教练机，一个最大特点就是能借助机上内置的仿真系统接入地面飞行训练模拟系统，与后者一起构成逼真的大对抗环境。

这种趋势与战机、教练机的能力同步提升有关。随着人工智能、虚拟现实、大数据、云计算等技术的发展运用，以及相关模拟训练套件或软件集成到战机上，空中真实飞行平台与地面飞行训练模拟器的互联互通已成为可能。

F-35战机的模拟训练管理系统使用的就是实际作战飞行程序，这使它的模拟器能与实装任务系统同步升级，进一步增强地面训练的有效性。

从各国研发地面飞行训练模拟系统的定位来看，在增强模拟训练成效的同时，对飞行员操作水平进行评估，提供个性化意见与建议，正成为该系统能力拓展方向。而采用开放式体系结构，显然有助于今后对地面飞行训练模拟器继续“赋能”。

无限“逼近”实战是其未来“打开方式”

业界有这么一个断语——地面飞行训练模拟器永远无法替代驾驶真机飞行。但这一断语显然并未影响到地面飞行训练模拟器的迅猛发展。原因何在？

简而言之，地面飞行训练模拟器的好处足有“一箩筐”。

第一，利用地面飞行训练模拟器，可以针对操作短板反复进行练习，帮助飞行员在不断“昨日重现”中感受、积累、掌握正确的飞行技巧；可以借此对飞机失速、雨雪天气等复杂环境、危险状况中的飞行操作进行“预习”“温习”，在不断“淬火”中提升飞行员应急处突能力。显然，真机不可能反复提供这种训练场景。

第二，通过地面飞行训练模拟器进行“新飞”培训和“老飞”复训，成本较低，效率较高，还没有太多污染。

第三，地面飞行训练模拟器安装地点灵活，使用环境条件相对宽松，寿命较长，维修也比较方便。

第四，也是更重要的一点，随着科技的发展，飞行训练模拟器所具有的功能，正在无限“逼近”实战。

简要地讲，这种“逼近”主要包括以下几个方面：

模拟能力更加全面、逼真。随着战斗机性能的提升，尤其是联合作战、体系作战成为主要形态，研制高性能的地面飞行训练模拟器几乎势在必行。因为唯有更全面、逼真地模拟先进战机或机群作战环境，才能为飞行员提供与真实飞行几乎相同的运动感受，以及更加复杂、现实的训练内容，加快飞行员培养进程，提高培训效率。

具备智能评估、建议功能。随着人工智能和大数据等技术的发展，在飞行训练中随机收集飞行员个性化数据，对其操作能力进行精准评估仍然必不可少。同时，根据每位飞行员的优势和短板提供意见与建议，为其订制个性化训练内容，正在成为今后地面飞行训练模拟器的新职能。有些国家的飞行院校已开始着手对模拟器功能进行完善，以便让其发挥“裁判员”的作用——评判学员是否适合飞行以及是否具有成为作战飞行员的潜质。

更多地兼顾体系对抗模拟任务。战机集群作战是今后空战的主要方式之一。地面飞行训练模拟系统必须顺应这一特点，承担起“组网互联、提供舞台”的作用。今后的地面飞行训练模拟系统或能根据目标战斗机性能、对方飞行员机动和攻防决策特点，生成虚拟目标，为进行模拟训练的飞行员提供“个性化”对手。同时，随着分布式模拟交互技术的运用，将战机、模拟训练平台和兵力模型等众多要素联成一个整体，为部队构设包含敌我双方兵力在内的完整战场环境，在更高层面进行数字化演习训练、战法研究，必将成为地面飞行训练模拟器的新本领。

给孩子看的人工智能——六一之际浅谈人工智能

我们正处于一个人工智能的时代，人工智能已经应用在生活的方方面面。从手机中的人脸解锁，自拍美颜，语音助手，智能相册到家庭用的智能音箱，智能家电，扫地机器人；从无人驾驶车，无人机到智能交通系统，工业机器人，从 AlphaGo 击败众多顶尖围棋高手，到智能作诗作画，都是人工智能的具体表现形式。

上图：亚马逊的人工智能产品，从左到右分别为智能音箱，无人机和配送机器人

人工智能的英文是“Artificial Intelligence”，简称“AI”。它诞生于上世纪 50 年代在美国的达特茅斯学院 (Dartmouth College) 举行的一个研讨会上，经过几十年的发展，人工智能在诸多领域已经取得了长足的进步。

上图：达特茅斯学院和达特茅斯会议五十年后(2006 年)的部分当事人重聚。左起：摩尔(Trenchard More)，麦卡锡 (John McCarthy)，明斯基 (Marvin Minsky)，赛弗里奇 (Oliver Selfridge)，所罗门诺夫 (Ray Solomonof)

人工智能是研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门新的科学技术。人工智能让机器能够像人一样具有感知能力，认知能力和创造能力。感知能力简单的说就是人类的听、说、读、写、看等能力。比如说 AI 现在已经具有图像识别，人脸识别，语音识别，语音生成，语言理解等能力。认知能力指的是通过学习、判断、分析来了解知识、获取知识的能力。例如，AI 已经可以帮助医生进行医疗影像的分析，帮助电商进行消费行为的分析等等；另外下围棋和无人驾驶也是 AI 在认知领域的重要应用形式。创造能力指的是产生新思想，新发现，新方法，新理论，新设计，创造新事物的能力，像 AI 作曲、AI 作诗、AI 小说、AI 绘画、AI 设计等。

上图：亚马逊纸箱机器人正在玩魔方

人工智能是人类赋予给机器的，无论人工智能如何思考问题或者拥有什么样的本领，都需要人类为它编写相关的程序，这就是编程。编程是一门思考的艺术，就像音乐和绘画一样，把脑子里的想法实现出来，然后人工智能就会遵照程序中一步一步的设定（也就是算法）进行执行。编写更好的程序，使用更好的设定，就能更好的实现人工智能。同时，人工智能也离不开大数据和互联网的支持。尤其是智能手机，平板电脑，智能设备等的移动互联，生成了越来越多的数据。我们提供给人工智能的数据越多，它也就会越来越智能。

上图：人工智能是数据，编程和算法的结合

上图：监督学习，无监督学习和强化学习

机器学习通常用来解决下面几类问题，包括回归，分类和聚类。回归是用来进行数值预测的，是监督学习的一种，比如说我们可以使用回归来预测房价，预测客流量，预测电影票房， 预测极端天气等等。分类和聚类都是解决数据属于哪一个类别的问题。分类是向数据分配标签，属于监督学习，更具现实性；而聚类是将相似的数据放在一起，属于无监督学习，更具探索性。

上图：回归，分类和聚类

近年来人工智能的崛起其实是依赖于深度学习的。深度学习是机器学习的一种方法，我们可以把它简单理解为让机器像人类的大脑一样，来进行分层次的学习。比如，在识别人物脸部的时候，就可以把脸型、眼睛、鼻子、耳朵、嘴等看作是不同的层次，深度学习对每个层次的特征进行识别，最后掌握脸部的全部特征，通过这些特征来认出这个人是谁。

上图：用深度学习进行人脸识别

当前，深度学习又有了一些更新的进展，包括深度强化学习，深度生成学习等等。深度强化学习把深度学习的感知能力和强化学习的决策能力相结合， 可以直接根据输入的信息进行控制，是一种更接近人类思维方式的人工智能方法。深度强化学习在游戏、下棋、自动驾驶、医疗等领域都有丰富的应用。AlphaGo 就是用深度强化学习的方式进行训练的。在 Dota 2 和星际争霸等游戏对战中，深度强化学习也能够轻松战胜职业玩家。深度生成学习则具有创造新事物的能力，有人认为深度生成学习是十年来最有趣的机器学习概念。深度生成学习使计算机能够学习给定问题的基本模式，并利用该知识基于输入（例如图片、音乐和文本）生成新内容。例如，深度生成学习会基于人脸图片来学习它们普遍具有的特征，然后利用学到的知识生成它所认为的全新的人脸图像。我们就可以基于此，进行图像编辑，图像转表情包，图像转动画，图像分辨率增强，不同年龄段的图像生成，和更多有趣的操作。

上图：深度强化学习和深度生成学习

人工智能既然这么有趣，那么应该如何开始学习人工智能呢？从具体的产品开始，把学与玩相互融合，是不是更有吸引力？碰巧的是，AWS 在人工智能的学习领域正好就有几款这种寓教于乐的产品，包括智能摄像机 (AWS DeepLens)，自动驾驶车 (AWS DeepRacer)，和智能作曲器 (AWS DeepComposer)。使用这些智能玩具，轻松愉快的快速入门人工智能，何乐而不为？

AWS DeepLens 是全球首款支持深度学习的智能摄像头。它可以让不同年龄和不同技能的人员都可以快速上手深度学习，在目标检测，人脸识别，动作识别，风格迁移等计算机视觉领域进行内容丰富的实践。是不是非常有趣？

上图：AWS DeepLens

AWS DeepRacer 是一辆完全自动驾驶的赛车，只有真实赛车的 1/18 大小，却是由深度强化学习驱动。AWS DeepRacer 提供了一种通过自动驾驶开始深度强化学习的有趣方式。不同年龄和不同技能的人员都可以在模拟器中训练、评估和调整自动驾驶模型，并将模型部署到 AWS DeepRacer 上，从而获得真实世界的自动驾驶体验，并参加 AWS 组织的全球自动驾驶巡回赛，竞逐全球冠军锦标。今年，我们的全球自动驾驶巡回赛将在 F1 西班牙大奖赛的巴塞罗那-加泰罗尼亚赛道的模拟赛道上进行。我们的自动驾驶赛车将与 F1 职业车手展开对抗，其中包括巴塞罗那-加泰罗尼亚赛道目前的世界纪录保持者里卡多 (Daniel Ricciardo)！是不是非常刺激？

上图：AWS DeepRacer

上图：AWS DeepComposer

纸上得来终觉浅，绝知此事要躬行。让我们一起动起手来，开始人工智能的实践吧！最后做个小小的提醒，现在互联网上的各种人工智能应用层出不穷，家长在使用宝宝的照片或者视频的时候一定要注意保护宝宝的隐私呦～

Sim2Real新突破：Jim Fan团队造机器人“修仙”模拟器，挂机50分钟=修炼一整年

天上一天，人间一年——这居然已经不是神话了？

Jim Fan 团队的最新成果实现了 10,000 倍的超级加速：机器人在虚拟“道场”里训练了整整一年，但现实里只用了50 分钟！

而且训练结果无需微调，就直接无缝衔接到现实世界使用。

再发展下去，说不定未来人们就能在虚拟世界里用一天体验一万年的生活，神话还是太保守了。

更不可思议的是，这种 1 万倍加速体验，只需要少少的 1.5M参数。

再对比看看其他家模型的参数量，谷歌的 Gato 11.8 亿参数，Meta 的 TACO 2.5 亿参数，OpenAI 的 CLIPort 4 亿参数。这差距真是让人汗流浃背了。

一刻也没有为十几亿大参数的过时停留，立刻来到战场的是 Jim Fan 团队的超迷你模型。

“不是每个基础模型都需要大参数。”Jim Fan 表示，模型小小，超级有效。

这个小身材大能量的模型还干了一件大事，通用。

在此之前，机器人要完成不同的任务必须依赖特定的控制策略。

举个例子，如果我们希望人形机器人进行导航，那就要依赖于根速度或位置跟踪进行专门优化；要是想让机器人去完成端茶、擦桌子这样的桌面任务，就需要优先考虑上半身关节角度跟踪。每换一个方向就要更改策略重新训练一次。

这样的训练方式导致人形机器人只能进行技能专精，很难往我们想要的全能方向发展。

那么有没有一种通用的训练策略，能够在不用更换控制模式的情况下训练多种任务呢？

Jim Fan 表示，现在有了。

前面提到的新模型叫 HOVER，是一个多模式策略蒸馏框架，出自英伟达的 GEAR 团队的最新研究，由李飞飞教授的学生 Jim Fan 和朱玉可共同领导，其余作者大部分是来自各大高校的华人学生和研究员。

Jim Fan 团队找到的通用办法，是把全身运动模仿作为所有这些任务的共同抽象，并为机器人学习多种全身控制模式提供通用的运动技能。

通俗点说，他们把导航、桌面操作等任务的共通点提炼成全身运动模仿，让机器人通过学习通用的运动技能来训练全身控制模式。一通百通，全身运动会了，端个茶带个路也是轻而易举。

这一办法的灵感源自于人类潜意识的处理方式。

人类在日常活动中，比如步行、维持平衡或是调整肢体动作时，大脑会不自觉地进行一系列计算，帮助我们迅速作出反应。

Jim Fan 团队通过模仿这种潜意识的运作机制，将类似的“内在”计算能力引入机器人技术，推出了 HOVER（仿人通用控制器）。

HOVER 能够使机器人学习如何精确控制电机，从而协调人形机器人的运动和操作，将多种控制模式整合成统一的策略。更重要的是，HOVER 还能在保留各模式独特功能的同时，实现模式间的自然衔接，从而打造了一支步调一致的机器人军团。

具体来说，我们能用 HOVER 通过“提示”输入头部姿势、手部姿势、全身运动、关节角度等各种类型的高级运动指令，也可以训练任何可以在 Isaac（英伟达 AI 机器人开发平台） 中模拟的人形机器人。

因此，HOVER 的通用不止是单个机器人动作模块的通用，更是支持多种机器人共同训练的通用。

以前的机器人训练都是各家训各自的，不互通也很难移植已有的成果。现在在英伟达的 Isaac 模拟平台上，HOVER 让各家“杂牌军”都能协同进化，一跃成为“正规军”，伟大无需多言。

Jim Fan 的通用野心也早有显露，“2024 年将是属于机器人、游戏 AI 和模拟的一年。”

在 GEAR 团队成立之初，他在推文里自信地写道，“我们团队有足够的资金一次性解决机器人基础模型、游戏基础模型和生成式模拟三个问题。GEAR 可能是世界上最有钱的具身智能实验室。”

Jim Fan 还配了一张英伟达股票暴涨的图片。

这么一看 HOVER 的强大实力背后都是烧钱的味道。有钱任性，真好。

而 GEAR 团队选择聚焦具身智能的核心原因，并不是因为财力雄厚可以随便造。

对此，黄仁勋表示，“下一波 AI 浪潮，将是物理性的 AI。 届时，AI 将可以理解物理原则，并与人类一起工作。”

具身智能——在物理世界中具备互动和适应能力的 AI，正是英伟达及其顶尖团队认为未来 AI 演化的关键。

具身智能的核心不同于虚拟环境中高度抽象化的 AI，而是强调 AI 的“具身性”，即让 AI 拥有实体，无论是机器人还是虚拟代理，从而直接与环境发生交互，在真实世界的复杂性中提升自我。

Jim Fan 关注的正是对整个具身智能领域来说都很关键的问题：Sim2Real（simulation to reality，从模拟到现实），即将在仿真环境中学习到的知识或技能成功地应用到实际环境中。

Jim Fan 的同门师兄、同样毕业于斯坦福的苏昊，也选择了具身智能领域开辟属于自己的 Sim2Real 道路。

（苏昊）

苏昊早年就读斯坦福时跟随 Leonidas J. Guibas 攻读博士，并得到了李飞飞教授的指导。在研究所时，他便是 ImageNet 数据集的重要贡献者之一，这一数据集成为日后 AI 领域公认的基石之一。

苏昊与 Jim 一样受到李飞飞教授的影响，最终转向了具身智能的研究，但二人的技术理念却渐渐有所不同。

Jim Fan 借助生成式 AI 构建了庞大的虚拟世界模型，打造了一种能够低成本、高效率完成自我训练的模拟环境。

通过这种方式，他让 GEAR 团队在虚拟环境中训练游戏 AI 和机器人代理，帮助 AI 以更快速、更适应性强的方式在虚拟环境中成长。模拟世界的庞大数据流，让 GEAR 能够模拟成千上万种场景，提升机器人和游戏 AI 的适应性。

苏昊则沿着另一条轨迹，在真实世界的训练中寻找具身智能的根本。

自从 3D 感知与建模成为 AI 领域的热点时，他开始关注如何在物理环境中提升 AI 的实时应变能力和自适应性。

在 MIT 的一次活动中，苏昊以踢球为例解释了他对具身智能的认知，“当我们踢球时，我们的感知引导行动，行动又带来反馈。 这种反馈不断调整我们的感知，甚至重塑我们对环境的理解。”

在他看来，智能不仅仅依赖于大脑，还与身体和环境的互动密不可分。 感知、认知、行动这三个要素的紧密结合，才是智能进步的关键。

然而，巧妇难为无米之炊。数据短缺成了最大的瓶颈——没有充足的 3D 数据，再好的构想也难以施展。

他想重走之前在斯坦福做过的事情，像做 ImageNet 一样，做一个 3D 的数据集。

2015 年，苏昊领导团队发布了 ShapeNet，一个高质量的 3D 形状数据集，为 AI 提供了 220,000 个 3D CAD 模型，总计覆盖 3,135 类对象，是 AI 视觉识别中的重要数据资源。

2017 年，突破性的点云处理网络 PointNet 深度学习模型问世，被誉为 3D 数据处理领域的 CNN。

很可惜，这些开创性工作虽有成效，但 ShapeNet 和 PointNet 却没能带来像 ImageNet 那样的变革。

3D 多模态数据的采集依然复杂、成本高昂，导致 3D 数据数量的增长依旧缓慢。

为了破解数据收集成本高、速度慢的难题，他决定采用生成式方法——即不再局限于收集物理世界中的数据，而是直接通过 AI 生成数据。

在这种思路下，苏昊在实验室里做了大量尝试后创立了 Hillbot，希望能凭借自己的技术解决实际的社会问题。

Hillbot 的核心在于利用 3D 生成式 AI 技术，通过文字提示生成3D对象，再将生成好的 3D 对象，放入自主开发的模拟器 SAPIEN 中。这种方法通过生成数据和模拟真实环境中的互动，提供了源源不断的数据流。

SAPIEN 模拟器不仅是一个 3D 渲染平台，更是一种多模态数据收集的工具，能够实时采集数据并与 AI 的多模态传感器组合，允许机器人在虚拟的物理环境中直接进行交互，以培养其应对复杂情境的能力。

Hillbot 的目标很宏大也很明确，利用 Hillbot 在机器人、模拟和 3D 生成式 AI 方面的尖端解决方案套件，释放人工智能和机器人技术的力量。

这份自信并不是空穴来风，Hillbot 有独特的模拟数创建方法，能够避开避开高昂的成本以及繁琐冗长的训练过程。

他们使用的 SAPIEN 模拟器也是目前市面上少有的速度快、性能高的机器人模拟器，通过真实性高的模拟技术，Hillbot 的团队可将机器人的训练速度提高 5 倍，并将训练时间从 12 个月缩短至仅仅几个月。

在具体训练方法上，Hillbot 的团队还模仿了人类的任务处理模式，将复杂的任务分解成多个小的简单任务，让机器人能够逐步提高推理能力，有效提升机器人对复杂任务的适应能力。

目前，Hillbot 的业务主要集中在工业和家庭任务上，比如汽车制造、仓储零售等。Hillbot 还在寻找合适的合作伙伴，采用市场上已有的机器人硬件，合作开发更加强大的通用机器人。

苏昊的另一位师弟，新加坡国立大学助理教授邵林也在关注 Sim2Real 的问题。

不过邵林关注的是另一个不同的方向，Real2Sim2Real，从现实再到模拟再到现实，将仿真方法应用于现实后比较它们的性能，根据仿真与现实的差异更新仿真模型和方法。

邵林的论文《TieBot: Learning to Knot a Tie from Visual Demonstration through a Real-to-Sim-to-Real Approach》，被收录在即将召开的 CoRL 2024（2024 年机器人学习大会）上。这篇论文介绍了一个TieBot 机器人系统，采用 Real-to-Sim-to-Real 的学习方法，能够通过视觉演示教会机器人打领带。

“Sim2Real”概念最早可以追溯到 20 世纪末，当时的研究主要集中在如何让机器人在实验室或仿真环境中学习基本技能，并测试其在现实任务中的应用可能性。

随着深度学习和机器人技术的进步，这一领域在 2010 年代迎来更高的关注。OpenAI、Meta 和谷歌等科技公司陆续开展研究，试图缩小虚拟仿真与现实之间的差距。

2018 年，谷歌发表了一篇 Sim2Real 的相关论文，想让机器人学着像人类一样观察世界。

传统的机器人依赖于固定视角的镜头来获取视觉输入，这也导致机器人很难在活动的情况下精准地执行任务。而人类能够在不固定自身视点的情况下，灵巧地操控各种物体，利用丰富的感官信号和视觉作为反馈来自行纠错。

学习人类的视觉特点或许能对机器人的控制精准度有所提升。

为此，谷歌开发了基于深度循环神经网络的视觉系统，使机器人无需校准摄像头便能灵活控制机械臂，提升了任务完成的精准度。

与此同时，Meta 和其他研究团队在 Sim2Real 的物理仿真上继续深入探索，以期实现更高的模拟精度。

尽管取得了一定进展，但早期机器人模拟器的效果往往不够理想，学界普遍对 Sim2Real 的实用性存疑。

不过，随着 GPU 算力和 AI 技术的发展，各大研究团队也在高仿真度方面取得了重大突破。因此，人们对模拟技术有了更高的认可度，Sim2Real 也逐渐被认为是实现具身智能的最高效路径。

在 Sim2Real 的探索中，各研究团队的切入点各不相同。

前面提到的 Jim Fan 的 HOVER 主要做的是优化模拟环境，而苏昊选择的是深耕合成数据。

根据 Scaling Law，训练具身智能机器人需要大量涵盖各种场景的多样化数据，然而，获取这些真实数据的成本极高且耗时耗力。

因此，苏昊团队选择合成数据，创造跨越昼夜、季节、室内外的多种场景数据。这样一来，机器人就能够在虚拟环境中进行大规模、多样化的操作学习，涵盖不同操作对象、环境变化、机器人构型和传感器状态等条件。

选择数据作为突破点的还有联想的 DexVerse™ 引擎，它通过自动生成具身智能任务所需的合成数据包，与 AI 模型训练同步，不再依赖于传统的大规模数据存储，从而极大提升了数据生成与模型迭代的效率。

尽管技术取得突破，Sim2Real 的实用性仍面临“现实鸿沟”（reality gap）的挑战。仿真与现实环境在细节上的差异，如摩擦力、物体形变和碰撞等，可能显著影响模型在现实环境中的表现。

尽管许多机器人在模拟中能够达到 99% 的准确率，但这 1% 的偏差在现实制造中可能导致巨大的隐患。而相比之下，不少人类经过短期培训后就能能够达到 100% 的准确率。

虽然 Jim Fan 和苏昊团队选择了不同的突破方向，但两者的研究目标却殊途同归：如何弥合真实与虚拟之间的差距，才是他们研究的核心。

Jim Fan的 HOVER 模型特别强调无需微调，即可将模拟结果有效迁移到现实环境中；而苏昊则提出生成数据和模拟数据之间是互补关系，探索多源数据的协同应用或许是理想的解决方案。

李飞飞团队近期提出的“数字表亲”（digital cousin）概念也为 Sim2Real 的研究提供了新的思路和解决方案。实验表明，通过这一方法，无需额外微调，即可将模拟中生成的策略直接应用于现实世界。这一创新不仅能够提供更广泛的数据分布，还能有效克服从模拟到真实环境的差距。

面对这些共同的挑战，越来越多的研究者开始意识到，打破单一任务适应的局限，扩展到多任务和跨设备的全局泛化能力，建立一个灵活且可扩展的开发环境才是关键。

苏昊团队提出了统一接口的构想，希望通过易于插拔的仿真器、渲染器等模块，形成集成开发环境（IDE）。

英伟达的 Isaac 平台也采取了类似的策略，组合加速库、应用框架和 AI 模型，为自主移动机器人（AMR）、机械手、机械臂及人形机器人等 AI 机器人开发提供稳定支持。

这些努力在本质上都是为了实现机器人技术的高效整合与应用，为 Sim2Real 领域的研究提供更可靠的开发基础。

在 AI 领域有一个提得比较多的概念是“世界模型”，指的是一种用于描述和预测环境的内部模型。它通过学习环境的动态特征，使得智能体能够在未见过的情境中进行决策和规划。

世界模型的设计灵感源于人类的潜意识推理能力。人类在日常生活中通过经验和知识的积累形成对周围世界的理解，能够迅速、无意识地利用多种感官信息进行推理与决策。

其实，世界模型的概念早在传统的机器人研究中就有提及，不过现在的具身智能研究则更多地希望利用类似世界模型的概念，通过强化机器人对环境的感知来解决 Sim2Real 的问题。

Jim Fan 也在介绍 HOVER 时提到，人类需要大量的潜意识处理才能走路、保持平衡并将我们的手臂和腿操纵到所需的位置。HOVER 就是在变相地捕捉这种“潜意识”，学习如何协调人形机器人的电机以支持运动和操作。

当前的具身智能研发的主流趋势是做通用机器人，在此基础上根据具体的应用任务进行特定方向的调整。无论是通用还是专用，机器人对环境的感知都是一个关键课题。

举个例子，如果我们想让机器人完成拿起书本的动作，机器人必须能够识别书本的位置以及与其的交互方式。这一过程对所有类型的机器人来说都是通用的，因为环境感知是实现各种任务的前提。

像 Hillbot 的文生 3D 和其他团队研究的图生 3D，都是以丰富数据的形式构建一个更真实的模拟环境，让机器人能够更好地感知世界。

随着世界模型的不断发展，AI 的应用前景将更加广泛。从自动驾驶到智能家居，从医疗机器人到生产自动化，这些技术都将依赖于强大的世界模型。

通过更好地理解和模拟人类的潜意识推理过程，未来的机器人将能够更有效地与环境互动，实现真正的自主智能。

雷峰网雷峰网