去年,麻省理工学院开发了一种人工智能/ML算法,能够在工作中学习和适应新的信息,而不仅仅是在其最初的训练阶段。这些"液体"神经网络(在李小龙的意义上)简直就是在下4D棋--它们的模型需要时间序列数据来运行--这使它们成为用于时间敏感任务的理想选择,如心脏起搏器监测、天气预报、投资预测或自主车辆导航。但是,问题是,数据吞吐量已经成为一个瓶颈,从计算上来说,扩展这些系统已经变得非常昂贵。 周二,麻省理工学院的研究人员宣布,他们已经为这一限制设计了一个解决方案,不是通过拓宽数据管道,而是通过解决一个自1907年以来一直困扰数学家的微分方程。具体来说,该团队解决了"两个神经元通过突触相互作用背后的微分方程......以解锁一种新型的快速和高效的人工智能算法。"
"麻省理工学院教授和CSAIL主任丹妮拉-鲁斯(Daniela Rus)在周二的一份新闻声明中说:"我们称之为'CfC'[闭式连续时间]的新机器学习模型用闭式近似代替了定义神经元计算的微分方程,保留了液体网络的美丽特性,而不需要进行数字整合。"CfC模型是有因果关系的,紧凑的,可解释的,并能有效地训练和预测。它们为安全关键型应用开辟了值得信赖的机器学习之路"。 因此,对于我们这些没有真正的硬数学博士学位的人来说,微分方程是可以描述一个系统在整个过程中各个离散点或步骤的状态的公式。例如,如果你有一个机器人手臂从A点移动到B点,你可以使用微分方程来知道它在整个过程中的任何给定步骤中处于空间的两点之间。然而,为每一步解决这些方程很快也会变得计算昂贵。麻省理工学院的"封闭式"解决方案通过在单一计算步骤中对系统的整个描述进行功能建模来解决这个问题。麻省理工学院的团队解释说。 想象一下,如果你有一个端到端的神经网络,从安装在汽车上的摄像头接收驾驶输入。该网络被训练来产生输出,如汽车的转向角。2020年,该团队通过使用具有19个节点的液体神经网络来解决这个问题,因此19个神经元加上一个小型感知模块可以驱动一辆汽车。一个微分方程描述了该系统的每个节点。有了闭合式解决方案,如果你在这个网络里面替换它,它就会给你准确的行为,因为它是系统实际动态的良好近似。因此,他们可以用更少的神经元数量来解决这个问题,这意味着它将更快,计算成本更低。 通过在神经元水平上解决这个方程,该团队希望他们能够构建以数百万神经连接为单位的人脑模型,这在今天是不可能的。该团队还指出,这种CfC模型可能能够将它在一个环境中学习到的视觉训练应用到一个全新的环境中,而不需要额外的工作,这就是所谓的分布外泛化。这不是目前的模型所能做到的,这将被证明是向未来的通用人工智能系统迈出的重要一步。