助力自动驾驶的自我思考

图形处理器(GPU)和神经网络加速器芯片如何为汽车应用提供智能优势

作者：Imagination Technologies汽车产品部总监    Bryce Johnstone

汽车行业是推动人工智能（AI）发展的重要行业之一，这是因为该行业致力于自动驾驶汽车和高级驾驶员辅助系统（ADAS）的泛在利益。

汽车正在变得越来越智能，但是如果汽车行业要实现完全自动驾驶的目标，他们还有很长的路要走。尽管业界还在讨论实现全自动化所需的理想技术组合，但是有一点是明确的，那就是人工智能，尤其是神经网络将发挥重要作用。

神经网络

神经网络的作用是执行对于传统视觉或模式识别系统来说具有挑战性的任务。通过使每个神经网络各自不同，并针对特定任务进行设计，它可以更高效、更精确地执行任务。

所有神经网络的组织模式都是在多个层面上多次处理数据。因此，神经网络可以在不同的输入模式下运行十到二十次，而不是用一组特定的参数只运行一次操作。这个想法是，通过所有这些不同的路径，选择的数量就会增加。当到了需要做出决策的时候，它已经从输入中提取了所有的信息。

在路标识别的示例中，第一层可能正在寻找一个标识的角形状，然后是颜色等各个步骤执行下去，直到它可以非常确信地说这是一个路标并说明其含义。这样做的好处在于无需对每一个步骤都进行编程，神经网络将会自己完成，并且随着时间的推移而不断学习。该算法知道它需要识别的内容，并将尝试不同的方法，直到实现目标，并在过程中不断学习。一旦神经网络在经过培训之后，它便可以在实际应用中发挥作用。这意味着工程师不必花费数小时来微调复杂的算法，他们只需向神经网络展示它需要发现的内容并让其自学完成。

这些技术已经在车辆中被广泛用于目标检测、分类和分析，而驾驶员监测、访问控制以及语音和手势识别也可以利用不同类型的神经网络。此外，将传统视觉与神经网络相结合的人工智能方法，可用于行人路径分析和环绕视图等应用场景，它将同时依赖于图形处理器（GPU）和神经网络加速器（NNA）。

在从传感器到电子控制单元（ECU）整个链路中也可以使用神经网络，在预处理、中间处理和后处理中使用的各种技术将人工智能引入了其中。

此外，车联网（V2X）技术正在开发中，该技术将主要使用自动驾驶汽车作为传感载体，为各种智慧城市和智慧交通场景提供数据和信息。同样，这些进展将依赖于采用GPU和NNA的方法实现人工智能，以支持来自越来越大的输入集的各种分析和计算。 

传感器融合

自动驾驶和高度自动化的车辆将严重依赖各种类型的传感器，包括摄像头、热成像、雷达、激光雷达（LiDAR）等。所有这些传感器传出的信号都需要进行解读和融合，以便全面了解车辆内部和外部发生的情况。

传感器融合对于自动驾驶至关重要，它将涉及到GPU和神经网络以及机器学习和人工智能的结合。

车辆内部传感器融合的一个很好的示例是驾驶员监测。在当今的车辆中，各种各样的传感器都能够检测到驾驶员是否注意力不集中。神经网络可以分析拍摄到的驾驶员图像，以判断他或她是否在睡觉、处于疲倦状态、注意力不集中，甚至通过移动设备讲话或发信息。这对于早期的自动驾驶车辆来说是至关重要的信息，因为它可能需要驾驶员在某些时候重新控制车辆，因为汽车需要知道驾驶员是否处于合适的状态才能这样做。

驾驶员监测是如何工作的？对准驾驶员面部的摄像头为分析面部元素（尤其是眼睛）的算法提供了输入。是睁着眼睛还是闭着眼睛？如果是闭着眼睛，闭眼多长时间？眼神是否飘忽不定？驾驶员正在看向哪里？

研究整个面部可以确定驾驶员是生气还是悲伤。如果是愤怒，系统会建议驾驶员先靠边停车并冷静下来，然后再继续行驶。

所有这些都是基于构建一个面部图像，提取关键点并使用神经网络提取情绪、注视时间等来判断驾驶员的精神状态。

在未来的两三年内，驾驶员监测可能会成为必须从欧洲新车评估计划（NCAP）和美国国家高速公路通行安全管理局（NHTSA）获得批准的一项要求，因此驾驶员监测会成为汽车制造商必须要实施的技术，不仅要适用于高端汽车，还要适用于所有车辆。

自动驾驶的等级

美国汽车工程师学会（SAE）和美国高速公路交通安全管理局已将自动驾驶汽车的能力分为六个等级。基本上，等级0完全没有自动化，而在等级1中，汽车将为驾驶员提供一些帮助。等级2具有更多的驾驶辅助功能，甚至可以自主执行一些任务，例如自动紧急制动以避免碰撞。

等级3是一个棘手的问题，虽然汽车是自动驾驶，但驾驶员必须随时准备驾驶车辆。驾驶员监测将是等级3自动驾驶的关键，因为驾驶员必须做好干预的准备，并且在一定程度上，车辆有责任确保驾驶员做好准备。

在等级4中，即使驾驶员可以接手车辆驾驶，但从理论上讲，车辆也可以处理它所处现场的所有情况。等级5的车辆将实现全自动化，没有方向盘和踏板。

车辆自动驾驶性能每提高一个级别，所需的计算性能就会增加大约十倍。这就是为什么神经网络很重要的原因，因为它们可以在非常低的功耗下提供这种性能。

目标检测

以一个行人为例，汽车的车载摄像头和传感器可以记录行人是在行走或站立；神经网络可被用于绘制行人可能要走的路线，并计算车辆是否需要减速或快速制动。神经网络还可以观察同一幅图像并对其进行分割，从中挑选出其他物体，并应用目标识别技术来判断出它们是否代表了车辆需要注意的东西。所有这些都必须把车辆的位置以及它想要去的地方纳入考虑之中，如果车辆正在倒车，并检测到在车辆后面有一个小孩，就需要迅速处理并进行刹车。要做到这一点，就需要人工智能和神经网络来查看那里是否有物体存在，并对其进行识别认出是一个孩子，然后向执行器或驾驶员发送一个信号，以采取措施。

由于摄像头通常会带有某种鱼眼镜头，因此这将使其变得更加复杂。这会产生一张变形的图片，需要先矫正然后进行解读。来自这个设备以及其他传感器的输入需要结合起来，从而在瞬间做出决策。

数据处理

与此同时，来自汽车周围的其他信息也源源不断地被送达，包括来自于所有传感器的以及从其他车辆或基础设施通过无线通信接收到的信息。这是一个巨大的数据量，可能在太字节（terabyte）范围内。

ECU将遍布汽车各处，并根据数据做出决策。这可能会涉及到100个或者更多的ECU。业界正在使用一些方法来研究如何用更少的ECU和更多的计算能力来实现这一点。摄像头或传感器旁边的嵌入式人工智能可以做出一些决定，从而减少车辆需要传递的信息。

这意味着需要不同等级的处理方式。数据可以在捕获点进行预处理，例如拉直鱼眼镜头的图像。中间处理可能包括各种已计划的任务、目标识别、决策制定等。之后可以进行后处理，当信息可以被清理整齐并显示在屏幕上时，让驾驶员就知道正在发生什么或已经发生了什么。

应用

这些数据处理技术也被用于创建当前正在开发的应用，以在车内创建虚拟环视车身支撑柱。在此用例中，将在支撑柱（连接车顶和车身的支撑柱）上安装摄像头来捕获车外发生的事情。支撑柱的内部将提供一个显示器，以显示这些摄像头正在捕获的内容，从而为驾驶员提供一个不间断的视场。

这个过程非常难以实现。系统必须了解驾驶员正在查看的另一侧是什么情景。图片将需要修正变形并放置在不平整或弯曲的表面上，然后重新变形到支撑柱的轮廓上。

尽管这一进步是未来的趋势，但一些高端车辆已经提供了环绕视图系统，并且它们很快将应用于中档和入门级车辆。GPU被用于分析遍布车辆周围的各个摄像头所捕获的图像（通常有四个或五个摄像头），并将图像拼接在一起。根据拼接的图像，神经网络将执行目标检测和路径预测，以查看这些目标是否有可能拦挡车辆的路径。

信息娱乐和导航

在车载信息娱乐系统（IVI）和导航方面，GPU也起着重要作用。它们还参与语音控制，这很可能成为人与车之间的关键接口。因此，对于卫星导航系统来说，驾驶员不必操作按钮和键盘来输入目的地，而是只需说出邮政编码或街道名字，然后就可要求系统绘制出路线。

仪表盘将被连接到外部摄像头，以用于路标识别等操作。如果摄像头捕捉到一个限速的标志，该标志可以在有效的时间内显示在驾驶员面前；如果汽车超过限速，就会发出声响警告。

实际上，整个仪表显示区将使用GPU进行图像渲染和信息优先级排序。如果系统确定驾驶员需要了解一些关键信息，该信息可能会从仪表显示区中弹出，甚至可以投射到挡风玻璃上。挡风玻璃上的图像也可以被用作导航系统的一部分，向驾驶员显示正确的转弯方向或说明汽车在即将到来的路口需要驶入哪条车道。

后视镜的换代是另一个主要的、潜在的发展方向。一些新型汽车已经在开发中，其上的后视镜已被可显示来自不同摄像头视图的屏幕取代。与传统的后视镜一样，除了显示车后发生的情况之外，它们还可被用于盲点检测。在此，神经网络可以向驾驶员发出关于有关其无法看到的汽车的警告，并自动阻止汽车变道进入另一辆汽车的路线。

智慧城市

世界各国的各地政府正在朝着一个长期目标迈进，那就是让智慧城市拥有自动驾驶和高度自动化的车辆，并将其集成到覆盖整个城镇或城市的智能交通系统中。

其背后的理念是，所有的城市服务和规划工作都是相互协调和联系的，以便让市民获得更多的信息，让城市生活更愉快，更重要的是更加健康。为实现这一目标，减少污染和交通拥堵至关重要。

智能交通系统将控制整个城市的交通基础设施。该基础设施将与车辆进行通信，交通信号灯和车辆也将相互通信，并将收集到的数据发送回去。

这方面的一个实例就是控制交通信号灯，使车辆畅通无阻地以最佳速度通过一个区域。如果紧急服务车辆需要快速驶入，则可以使用这些相同的交通信号灯来阻止其他道路使用者，并为他们创建一条安全的道路。

如果一地发生交通堵塞，车辆可以将此信息传递给基础设施；反过来，基础设施又可以通知其他车辆远离该区域，这样就不会增加问题的严重性，以便交通堵塞可以被更快地被清除。这甚至可以被用于城市以外的地方，例如在高速公路的入口匝道上。如果系统已经从反向行驶的汽车中获悉了备用信息，它可以在驾驶员驶入高速公路之前对其发出警告，从而使他们能够考虑其他路线。

为了实现这一目标，城市将需要有一个中央智能枢纽，该中枢可以处理传入的信息并计算哪些数据要发送给其他车辆或交通信号灯。这只有在结合了神经网络、人工智能、机器学习和先进算法之后才能实现。

结论

NHTSA的研究发现：高度自动化的车辆将比由人类驾驶的车辆更加安全，94%的事故是由人为失误造成的。基于AI的技术在响应能力和识别需要快速响应的威胁方面已经优于人类驾驶。

为了实现这些车辆所需的处理能力，将需要NNA和GPU配合使用。随着汽车行业转向全自动驾驶汽车，计算能力将需要被大幅提升，NNA将应需而扮演重要角色。据估计，一辆等级5自动驾驶汽车需要的计算能力是等级1自动驾驶汽车的10,000倍。

这是处理性能的极大提高，但也必须在一个给定的功耗预算内完成。一个神经网络加速器（NNA）的性能已经是中央处理器（CPU）的100到800倍，而其成品封装却比CPU大小小很多。一辆车可能有一个很大的CPU，同时还有许多NNA遍布于车辆各处，并以比同样遍布车辆各处的CPU低得多的功耗和更高的性能来执行各种任务。

Imagination Technologies提供了GPU和NNA硅知识产权（IP）。其应用在数字仪表盘中的技术比任何竞争对手都要多，并且公司在先进驾驶员辅助系统（ADAS）和自动驾驶汽车市场中也处于领先地位。赋能自动驾驶汽车实用化所需的所有要素都将取决于这些技术，而这些技术成为现实只是时间问题。