为什么类脑(Rat-Brained)机器人能够在不熟悉的地形中进行很好地导航
Why Rat-Brained Robots Are So Good at Navigating Unfamiliar Terrain
运行模拟大鼠导航神经元的算法,能够使重型机器在澳大利亚的地下矿山中进行作业。
Jean Kumagai 1 June, 2017 翻译:Fangwen Yu 原文链接:IEEE Spectrum
Photo: Dan Saelinger
如果你把一只普通的棕色老鼠放在一个实验室的迷宫或地铁隧道里,它将立即开始探索周围的环境,嗅闻边缘,对着角落和障碍物,将其胡须刷在表面上。 过了一会儿,它会回到起步的地方,从此,它将把探索过的地形视为熟悉的环境。
机器人科学家长期以来一直梦想着给机器人创造类似的导航技能。 为了让机器人能够在我们的环境中变得更有用,机器人就必须具备在周围环境中靠自己寻路的能力。 有些机器人已经在家庭、办公室、仓库、医院、酒店以及自驾车,甚至整个城市范围内的环境中正在学习找路。尽管如此,这些机器人平台仍然难以在轻微挑战的条件下可靠地运行。 例如,自主驾驶车辆可能配备了复杂的传感器和前方道路的精细地图,但是司机仍然需要在大雨或下雪或夜间进行控制。
相比之下,棕色的老鼠是一个灵活的导航仪,在最恶劣的环境中也能找到路,比如在地下、地面等复杂情况下都没问题。 当一只老鼠探索一个不熟悉的区域时,在2克大脑中专门的神经元会放电或产生尖峰,对地标或边界产生响应。其他神经元以规则的距离形成尖峰, 每20厘米一次,每米一次等等,这样就形成一种空间的心理表征。还有其他的神经元就像一个内部的罗盘,记录着动物头部转动的方向。总而言之,这种神经活动允许大鼠记住它去过哪儿以及怎样到达那。 无论何时当沿着相同的道路行走,尖峰会加强,使大鼠的导航更加健壮。
那么为什么机器人不能像老鼠一样?答案是肯定的。
澳大利亚昆士兰科技大学(QUT)的科学家Michael Milford和他的同事们在过去的14年中一直在研究以老鼠大脑为模型的机器人导航系统。他们希望以这种生物启发的方法可以帮助机器人在动态环境下进行导航,而不需要高级、昂贵的传感器和计算密集型的算法。
Photo: Michael Milford
递送实验:在一个为期两周的实验中,运行RatSLAM算法的包裹递送实验机器人模拟老鼠导航的方式,实现了1100多个模拟运送,行驶了40公里。
RatSLAM系统的早期版本允许室内包裹递送机器人在两周的实验室中自主运行。 在此期间,共进行了1,100次模拟运送,共运行了40公里,自动充电了23次。 该系统的另一个版本仅使用MacBook上的摄像头拍摄的图像,就成功映射了布里斯班的整个郊区。现在,Milford研究组正在将其大鼠脑算法转化到健壮的导航系统中,将用于重型设备制造商Caterpillar的产品中,该公司计划将其部署在一批地下采矿车辆上。
35岁的Milford,看上去像 10岁的青少年,2003年开始研究基于脑的导航,当时他正在昆士兰大学的机器人专家Gordon Wyeth指导下攻读博士。Gordon Wyeth现在是QUT的科学与工程学院院长 。
当时机器人技术的巨大推动之一就是“机器人被绑架的(kidnapped robot)问题”:如果把机器人移动到别的地方,它能否确定它在哪里? 一种解决该问题的方法就是SLAM,即同步定位与制图 (Mapping)。 在运行SLAM算法时,机器人可以探索陌生的地形,构建周围环境的地图,并在地图中定位自身位置。Wyeth长期以来一直对大脑启发的计算非常兴趣,从20世纪80年代后期开始在神经网络方面开展工作。 所以他和Milford决定从一个版本的SLAM中获取大鼠神经电路的线索。 他们称之为RatSLAM。
已经有许多种风格的SLAM方法,而如今的数量已超过数十种,每种方法都有各自的优点和缺点。他们都有共同之处在于它们依赖于两个单独的数据流。一种涉及环境的外观,机器人通过利用声纳、相机和激光扫描仪等传感器来收集这种数据。第二种涉及机器人本身,或更具体地说是其速度和方向;机器人从传感器(例如轮子上的旋转编码器)或其身体上的惯性测量单元(IMU)导出数据。 SLAM算法查看环境数据,并尝试识别显著的地标,并将其添加到其地图中。当机器人移动时,它同时监控其速度和方向,并寻找地图中的那些地标;如果机器人识别出地标,则它将使用地标的位置来优化其在地图上的位置。
然而,大多数实现SLAM的方法旨在提供高度详细、静态的地图,而Milford和Wyeth则对如何在不断变化的环境中进行导航更感兴趣。他们的目标不是用昂贵的激光雷达和高性能的计算机构建地图,而是希望他们的系统能够像动物感知环境的方式一样来感知空间。
Wyeth说“大鼠不建立地图” 。 “他们有其他方式记住他们在哪里。”这些方式包括称为位置细胞和头朝向细胞的神经元,分别让老鼠识别地标并测量其方向。像其他神经元一样,这些细胞密集相互关联,并通过调整其刺激模式来响应不同的刺激而工作。为了在软件中模仿这种结构和行为,Milford采用了一种称为吸引子网络的人工神经网络。这些神经网络由数以千计的互连节点组成,它们像神经元组一样通过产生一种称为吸引子状态的特定尖峰模式来响应输入。计算神经科学家使用吸引子网络研究与记忆和运动行为相关的神经元。 Milford和Wyeth想用它们来驱动RatSLAM。
他们花了几个月的时间来开发软件,然后将它们加载到先锋机器人(Pioneer Robot)。先锋机器人是一种在机器人科学家研究中比较流行的移动平台。他们的鼠脑机器人还活着。但这是一次失败的试验。Milford说,“当让它跑在一个2×2米的区域中时,即使在这样简单的环境中,它也会迷失。”
Milford和Wyeth意识到RatSLAM在进行决策的时候没有足够的信息来减少错误。 像其他SLAM算法一样,它不会对地图上生成的东西进行准确的、明确的计算; 相反,它依赖于近似和概率作为一种融合不确定性的方式 – 例如冲突的传感器读数 – 不可避免地会出现。 如果不考虑这一点, 机器人最终会迷失。
这似乎是RatSLAM的问题。 在某些情况下,机器人会识别一个地标,并且能够改进其位置,但是其他时候数据太模糊。 不久之后,累计误差大于2米 – 机器人认为处在区域的外面了。
换句话说,他们的鼠脑模型太粗糙了。 它需要更好的神经电路才能抽象出关于世界的更多信息。
Milford说“所以我们设计了一种新型的神经元,我们称之为“位姿细胞” 。 这种位姿细胞并不只是告诉机器人它的位置或方向之一,而它能够同时告诉机器人位置和方向 。 现在,当机器人识别出以前看过的地标时,它可以更准确地对地图中的位置进行编码,并持续检测错误。
Milford再次将机器人放在2×2米的区域内。他回忆说“突然,我们的机器人可以导航得很好”。
有趣的是,不久之后,研究人员设计了这些人造细胞,挪威的神经科学家宣布发现网格细胞,这种神经元的尖峰活动形成规则的几何图案,并告诉动物其在一定区域内的相对位置。[关于更多老鼠神经科学的信息,详见 “AI Designers Find Inspiration in Rat Brains.”] Milford说“我们的位姿细胞并不完全是实际的网格细胞,而是具有相似的特征”,“这是非常令人欣慰的。”
Illustration: James Provost
大鼠种族:当一只老鼠探索一个不熟悉的区域时(左上角的图),称为网格细胞的神经元的尖峰(如蓝点,中间左侧)显示正常的六边形图案[左下角图]。 RatSLAM算法模拟啮齿动物的导航神经元。 当机器人在一个新的空间中运行RatSLAM时(右上角的图),算法的吸引子神经网络中的互连节点像网格细胞一样的方式对刺激作出反应,形成了一个类似的规则的图案(右下角的图)。
随后,将机器人移动到更复杂、更大的区域进行测试。 “我们先在一层楼上做了测试,然后在建筑物的多个楼层进行测试。”Wyeth回忆说。 “然后我告诉Milford,让我们在整个郊区进行测试。”
Milford将RatSLAM软件加载到MacBook中,并将其固定在他的车顶上。为了获得环境的数据流,他使用笔记本电脑的相机,设置它每秒钟拍摄几次汽车前方的照片。为了获得关于机器人本身的数据流 (在这种情况下机器人指他的车 ), 他找到一个创造性的解决方案。他使用简单的图像处理技术,而不是将编码器连接到车轮或使用IMU或GPS。通过跟踪和比较来自MacBook的照片序列上的像素,他的SLAM算法可以计算车辆的速度以及方向变化。
Milford开车约2小时穿过布里斯班郊区圣卢西亚的街道,覆盖66公里。 结果不是得到一个精确的、大规模的地图,但它准确地表示了道路的拓扑结构,并可以准确地确定汽车在任何给定时刻的位置。 RatSLAM能很好地工作。
匹兹堡卡内基梅隆大学的面向行星探索自主机器人专家大卫·韦特格林(David Wettergreen)表示:“它立即引起了人们的关注,被广泛的讨论,因为它与其他机器人正在做的很不同。 事实上,它仍然被认为是大脑启发的机器人技术中最显著的例子之一。“
尽管RatSLAM引起轰动,但并没有引起一波基于同样原理的研究。 而当Milford和Wyeth与公司进行接触考虑将该系统进行商业化时,他们发现很多人很乐意听他们介绍该技术,但最终没有接受。 “一位同事告诉我,我们应该称之为”NeuroSLAM“,Wyeth说。 “人们与老鼠的关系不好”。
这就是为什么Milford对3月份开始的Caterpillar两年期项目感到兴奋。他说。“我一直想要创建具有现实世界用途的系统” “比我预期的要花费更长的时间才可能实现。”
Photo, Top: Caterpillar; Images, Bottom: Michael Milford
挖掘机:由Caterpillar [top]制造的地下采矿装载机可能很快将受益于Milford在昆士兰科技大学的团队开发的鼠脑启发的制图和导航系统。来自地下矿井的相机图像显示了在黑暗、多尘和无特征的环境中运行的挑战。
Caterpillar澳大利亚研究中心工程师戴夫·史密斯(Dave Smith) 告诉我:“我们看了他们的结果,并决定采取一些措施让它可以尽快应用起来。 “它的老鼠启发的方法确实是一件很酷的事情。”
地下矿井是地球上人造空间中最恶劣环境之一。这种环境通常很冷、黑暗、多尘,并且存在突然崩溃或爆炸的可能性, 也是非常危险的。对于在这样极端恶劣的环境下进行运营的公司,提高跟踪机器和地下人员的能力至关重要。
在地表矿中,您只需使用高精度差分GPS,但这显然不能在地下作业。现有的室内导航系统,例如激光测绘和射频网络,都是昂贵的,并且通常在矿井恶劣环境中难以部署和维护基础设施。例如,当Caterpillar公司的工程师考虑使用3D激光雷达时,就像自主驾驶车辆一样,他们认为“没有一种技术能够在地下得到成功应用”,史密斯说。
矿山运营商需要跟踪车辆的一个重要原因是计划如何挖掘。每一天都启动一个“挖掘计划”,指定在各种隧道中开采的矿石的数量。在一天结束时,操作人员将挖掘计划与实际开采的计划进行比较,以得出第二天的挖掘计划。 “如果你不能获得正确的信息,开采计划就不能很好的进行。史密斯解释说,你可能在挖污泥,而不是采矿,或者整个隧道都可能陷入困境。知道你做了什么真的很重要。“
传统的方法是让矿工全天记下他的运动情况,但这意味着他不得不停止他的工作来填写文书,他经常猜测实际发生了什么。 QUT导航系统将更准确地测量每个车辆行驶的距离以及位置,以及提供车辆在任何给定时间的位置读数。第一辆车将利用大脑启发的导航算法开车进入矿山,并利用低成本的720p相机收集每个隧道的图像。相机的唯一不寻常的特点是它的极端坚固性,史密斯说,这远远超出了军事规格。
随后的车辆将自己的相机的镜头与以前收集的图像进行比较来定位自己在矿井内的位置。Milford指出,这些车辆不会是自主的,但最终可以通过将相机数据与来自IMU和其他传感器的数据进行组合来实现。这将使卡车的定位变得更加精准,能够支持进行自主驾驶。
QUT团队已经开始收集实际矿山中的数据,这些数据将与Caterpillar的另一个大型数据集进行合并,其中包含大约一千个小时的地下摄像机图像。然后,他们将在澳大利亚矿业研发公司Mining3的帮助下制定一项初步算法,在昆士兰州的一个废弃矿井进行测试。昆士兰州政府也是该项目的合作伙伴。该系统可用于GPS不能可靠地工作的深度露天矿 。如果一切顺利,Caterpillar计划快速将系统商业化。 “我们需要这些解决方案,”史密斯说。
现在,尽管他们对神经形态计算的最新研究保持关注,Milford的团队还是主要依靠标准的计算硬件来运行算法 。Milford说:“距离我们引入神经形态计算还有点早。”最终,他期望他的大脑启发的系统将能很好地映射到像IBM的True North和曼彻斯特大学的SpiNNaker这样的神经形态芯片架构上。在这个问题上,有关这些芯片的更多信息,请参见“Neuromorphic Chips Are Destined for Deep Learning-or Obscurity”。
脑启发的导航将会成为主流吗?例如,许多自主驾驶车辆的开发商大量投入资源来创建车辆行驶道路的精细地图。车辆然后使用他们的相机、激光雷达、GPS和其他传感器来定位自己在地图上的位置,而不是通过车辆自己来进行构建。
然而,自主驾驶车辆需要证明他们可以在大雨、雪、雾和黑暗等条件下行驶的能力。他们还需要更好地处理数据的不确定性。例如,眩光的图像可能是导致去年特斯拉公司无人驾驶车的致命事故的原因之一。一些公司已经在测试基于机器学习的导航系统,它依赖于人工神经网络,但是可能会有更多的大脑启发的方法,如RatSLAM,可以作为这些系统的补充,在困难或意想不到的情况下提供可靠的性能。
卡内基梅隆的Wettergreen提供了一种更具吸引力的设想:让汽车能够导航到特定位置,而无需在城市地图上明确规划轨迹。 他指出,未来的机器人将会将所有的模型都设计到毫米级。 他说“但是我不支持这种观点”, “我仍然可以找到我的方式。 人类大脑使用不同类型的模型和地图 – 一些是度量,一些是更多的拓扑,一些是语义的。“
他继续说,一个人可以从一个想法开始,如“城市南侧的一个地方,有一家很好的墨西哥餐馆”。到达这个普通地区,那个人可以找到关于餐厅可能在哪里的线索。 “即使是最有能力的自主驾驶车,也不会知道如何处理这种任务,而一个更加受大脑启发的系统可能会处理这种情况 。”
然而,一些机器人学家怀疑这种非常规的SLAM方法是否将会得到回报。 随着像激光雷达、IMU和GPS这样的传感器变得越来越便宜,传统的SLAM算法将能够通过组合来自多源的数据来产生更高的精度。Fetch Robotics公司首席执行官Melonee Wise说:人们倾向于忽略一种事实“SLAM真的是一个传感器融合问题,而且在使用成本较低的传感器进行SLAM方面会做的越来越好。” (Fetch Robotics公司是一家销售用于在高度动态的环境中运输货物的移动机器人公司。) “我认为这种忽视会导致人们试图用一个传感器来解决SLAM,例如摄像头,但是在今天的低成本传感器世界中并不是真的有必要。”
与Milford合作的昆士兰脑研究所的计算机科学家Peter Stratton说,即使RatSLAM在大多数应用中并不实用,开发这样的类脑算法也为我们探索人类自身智能的世界打开了一扇窗。 他指出,标准计算的冯·诺依曼架构,其处理器与内存和数据之间的分离,计算效率很低。
Stratton说 “大脑不会像那样进行工作。 记忆和处理都发生在神经元中,是“用记忆进行计算”。 更好地了解大脑活动,不仅是涉及它对刺激的反应,还涉及到更深入的内部过程 :记忆检索、解决问题、做白日梦。“这些是过去的AI尝试中所缺少的内容。”他说。
Milford指出,许多类型的智能仅仅利用动物来研究是很不容易的 。 但是,当您观察老鼠和机器人如何执行相同的任务时,例如在新的环境中进行导航,可以测试关于大脑如何工作的理论,可以重复播放场景, 可以修改和操纵您的模型和算法。 “与动物或昆虫大脑不同,我们可以看到机器人大脑中的一切”,他说。
This article appears in the June 2017 print issue in IEEE Spectrum as “Navigate Like a Rat.”
Brain Inspired Navigation Blog
New discovery worth spreading on brain-inspired navigation in neurorobotics and neuroscience