被称为视觉地形相关导航 (VTRN) 的一般过程于 1960 年代首次开发。通过将附近的地形与高分辨率卫星图像进行比较，自主系统可以定位自己。

问题是，为了使其工作，当前一代的 VTRN 要求它查看的地形与其数据库中的图像密切匹配。任何改变或遮挡地形的东西，例如积雪或落叶，都会导致图像不匹配并扰乱系统。因此，除非在每种可能的条件下都有一个景观图像数据库，否则 VTRN 系统很容易混淆。

为了克服这一挑战，来自加州理工学院为 NASA 管理的 JPL 航空航天与控制与动力系统教授和研究科学家 Soon-Jo Chung 的实验室的一个团队转向深度学习和人工智能 (AI)，以消除季节性阻碍当前 VTRN 系统的内容。

“经验法则是，两张图像——来自卫星的图像和来自自动驾驶汽车的图像——必须具有相同的内容才能使当前技术发挥作用。它们可以处理的差异在于可以通过改变图像色调的 Instagram 过滤器，”讲师兼研究员、科学机器人论文的主要作者 Anthony Fragoso (MS '14, PhD '18) 说。“然而，在实际系统中，事物会根据季节发生巨大变化，因为图像不再包含相同的对象并且无法直接比较。”

该过程由 Chung 和 Fragoso 与研究生 Connor Lee(BS '17，MS '19)和本科生 Austin McCoy 合作开发，使用所谓的“自我监督学习”。虽然大多数计算机视觉策略依赖于人工注释者，他们仔细地整理大数据集来教算法如何识别它所看到的东西，但这个策略却让算法自学。人工智能通过梳理出人类可能会遗漏的细节和特征来寻找图像中的模式。

用新系统补充当前一代 VTRN 可产生更准确的定位：在一项实验中，研究人员尝试使用基于相关性的 VTRN 技术将夏季树叶图像与冬季落叶图像进行定位。他们发现性能并不比抛硬币好，50% 的尝试导致导航失败。相比之下，将新算法插入 VTRN 的效果要好得多：92% 的尝试被正确匹配，其余 8% 可以提前识别为有问题，然后使用其他已建立的导航技术轻松管理。

“计算机可以找到我们眼睛看不到的模糊模式，甚至可以捕捉到最小的趋势，”李说。他说，VTRN 处于危险之中，在普通但具有挑战性的环境中变成了一种不可行的技术。“我们挽救了数十年的工作来解决这个问题。”

除了可用于地球上的自主无人机，该系统还可用于太空任务。例如，JPL 的 Mars 2020 Perseverance 漫游车任务中的进入、下降和着陆 (EDL) 系统首次在这颗红色星球上使用 VTRN 降落在 Jezero 陨石坑，该地点以前被认为对安全来说太危险了入口。对于像 Perseverance 这样的漫游车，“一定程度的自动驾驶是必要的，”Chung 说，“因为在地球和火星之间传输需要 7 分钟，而火星上没有 GPS。” 该团队考虑到火星极地地区也有强烈的季节性变化，条件与地球相似，新系统可以改进导航以支持包括寻找水在内的科学目标。