虽然Waymo已经在美国当地时间12月5日宣布正式商用，但是外界对Waymo的技术细节知之甚少。Waymo也很清楚这种信息差异会让外界对其技术信心不足。这是Waymo需要改变的地方——公布更多技术细节，提高公众信心。
在美国当地时间12月11日，Waymo在其官方博客上首次对外发布了部分技术细节——如何用名为“ChauffeurNet”的深度循环神经网络【recurrent neural network （RNN） 】来打造世界上最有经验的司机。
Waymo要打造的最有经验的机器人司机像任何一个优秀司机一样，需要通过识别周围的物体，从而感知和理解周围的世界，并预测它们下一步的行为，然后在遵守交通规则的前提下安全驾驶。
近年来，用大量标记数据对深层神经网络进行监督训练，在很多领域得到了应用，特别是在感知和预测领域，可以迅速提高技术水平，Waymo在这方面也有广泛的应用。
随着神经网络在感知领域的成功，接来下的想法就是，Waymo已经拥有了超过1000万英里的自动驾驶数据，是否可以使用纯粹的监督的深度学习方法来训练出最有经验的司机呢？
因此，数据专家创建了一个神经网络，不仅能模拟开车，在具有挑战性的情形下，还足以驱动一辆真正的车进行测试。但是，简单的模仿大量的“好司机”的驾驶习惯，并不能创造出一种功能强大、可靠的自动驾驶技术。
相反，Waymo发现从良好的感知和控制中引导简化学习任务是有价值的，同时，除了模仿“好司机”的驾驶习惯，还要模仿“坏司机”不良驾驶行为，用额外的不良驾驶行为来训练出更好的驾驶行为。
1、创建ChauffeurNet
为了通过模仿“好司机”来驾驶，Waymo创建了一个名为“ChauffeurNet”的深度循环神经网络（RNN），该网络通过观察场景的中层表示作为输入来发出驾驶轨迹。中间层的表示不直接使用原始的传感器数据，从而分解出感知任务，并允许结合真实和模拟数据，以便更容易地进行学习。
如下图所示，这个输入表示由一个自顶向下（鸟瞰）的环境视图组成，该视图包含诸如地图、周围对象、交通灯状态、汽车轨迹信息。该网络还提供了一条谷歌地图风格的路线，指引车辆到达目的地。
ChauffeurNet在每次迭代中输出未来驱动轨迹上的一个点，同时将预测的点写到内存中，该内存将在下一次迭代中使用。从这个意义上说，RNN不是传统的，因为内存模型是地精心设计的。ChauffeurNet的轨迹输出由10个未来点组成，然后被提供给一个低级控制器，该控制器将其转换为控制指令，如转向和加速，使其能够驾驶汽车。
此外，还使用了一个单独的“PerceptionRNN”头，它迭代地预测环境中其他移动对象的未来，并且这个网络与预测软件驾驶的RNN共享特性。未来的一种可能性是，在选择我们自己的驾驶轨迹的同时，预测其他因素的反应，这一过程会发生更深层次的交叉。
驱动模型的呈现输入和输出
从左到右：路标、红绿灯、限速和路线。从左到右的底部行：当前代理框、动态框、过去代理位姿和输出未来代理位姿。
ChauffeurNet有两个内部部分：FeatureNet和AgentRNN
AgentRNN消耗一个图像的呈现过去代理姿势，一组特性计算卷积网络“FeatureNet”呈现的输入，与最后一剂盒渲染图像，一个外显记忆呈现的预测未来的代理对预测未来代理构成和自顶向下的鸟瞰图图。这些预测用于更新AgentRNN的输入，以便预测下一个时间步骤。
2、模仿“好司机”
Waymo用相当于60天“好司机”驾驶数据的例子对模型进行了训练，同时加入了训练技术，以确保网络不会简单地继续从过去的运动中推断，而是对环境做出正确的反应。
正如许多人在我们之前发现的，包括上世纪80年代的阿尔文项目（ALVINN Project），纯粹模仿“好司机”给出的模型，只要情况不太偏离培训中看到的情况，模型就能平稳运行。
该模型学会了对诸如停车标志和交通灯等交通管制作出适当的反应。然而，会有偏差，例如对轨迹引入扰动或将其置于接近碰撞的情况下，会导致其表现不佳，因为即使在使用大量数据进行训练时，它也可能从未在训练过程中看到过这些确切的情况。
经过纯模仿学习训练的Agent被困在一辆停着的车辆后面
在沿着弯曲的道路行驶时无法从偏离的轨迹中恢复
上述两幅动图备注：蓝绿色的路径表示输入路径，黄色的框表示场景中的动态对象，绿色的框表示Agent，蓝色的点表示Agent的过去位置，绿色的点表示预测的未来位置。
3 、“合成坏司机”
从真实世界的驾驶中获得的“好司机”驾驶行为中，通常只包含在良好情况下驾驶的例子，因为出于明显的原因，我们不希望我们的“好司机”驾驶陷入近碰撞或爬坡限制，只是为了向神经网络展示如何在这些情况下恢复。
为了训练网络走出困境，模拟或综合合适的训练数据是有意义的。一种简单的方法是加入一些例子，在这些例子中，我们干扰了“好司机”实际的驾驶轨迹。这种扰动使得轨迹的起点和终点保持不变，偏离主要发生在中间。这教会神经网络如何从干扰中恢复。
不仅如此，这些扰动还会产生与其他物体或道路限制物发生合成碰撞的例子，我们通过增加阻止此类碰撞的显式损失来教会网络避免这些碰撞。这些损失使我们能够利用领域知识来指导学习在新的情况下更好地泛化。
通过将当前Agent位置（红点）从lane center拉出，然后拟合一个新的平滑轨迹，使agent沿lane center回到原来的目标位置，从而对轨迹进行扰动。这项工作演示了一种使用合成数据的方法。除了我们的方法之外，还可以对高度交互或罕见情况进行广泛的模拟，同时使用强化学习（RL）调整驱动策略。
然而，做RL需要我们精确地模拟环境中其他道路参与者的真实行为，包括其他车辆、行人和骑自行车的人。由于这个原因，我们在当前的工作中专注于一种纯粹的监督学习方法，记住我们的模型可以用来创建自然行为的“智能代理”来引导RL。
4、实验结果
我们看到纯模仿学习模型是如何在停着的车辆周围无法移动，并在偏离轨道时卡住的。通过一系列的综合例子和辅助例子，ChauffeurNet的模型现在可以成功地绕过停着的车辆（1），并从轨迹偏离中恢复过来，沿着弯曲的道路（2）平稳地继续前进。
1
2
在下面的示例中，我们将在模拟器的闭环设置中演示ChauffeurNet对日志示例中正确的因果因素的响应。在3的动画中，我们看到ChauffeurNet 代理在停车标志（红色标记）前完全停止。在4的动画中，我们从渲染的道路上移除stop－sign，并看到Agent不再完全停止，从而验证网络正在响应正确的因果因素。
3
4
动图5中，我们看到ChauffeurNet代理停在其他车辆（黄色框）后面，然后在其他车辆前进时继续前进。动图6，我们从呈现的输入中移除其他车辆，看到代理自然地沿着路径继续，因为它的路径中没有其他对象，验证网络对场景中其他车辆的响应。
动图7中，ChauffeurNet代理停止等待交通灯从黄色变为红色（注意交通灯渲染的强度变化，以车道中心的曲线显示），而不是盲目地跟在其他车辆后面。
在模拟测试之后，我们将主计划模块替换为ChauffeurNet，并使用它在我们的私人测试轨道上驾驶一辆克莱斯勒Pacifica小型货车。这些视频展示了车辆成功地沿着弯曲的车道行驶，处理停车标志和转弯。
动图8演示了一个日志示例上PerceptionRNN的预测。回想一下，PerceptionRNN可以预测其他动态对象的未来运动。红色的轨迹表示场景中动态物体过去的轨迹；绿色的轨迹表示每个物体在未来两秒钟内的预测轨迹。
备注：5、6、7、8的动图都超过2M，压缩了好久，剪辑都没办法达到微信要求的规格，所以请移步文后找到传送门。后面的动图是，越来越复杂，显示出Waymo在这方面的思考和变量增加对技术要求的提升，从而训练出更好的自动驾驶老司机。
5、总结
长尾理论、因果关系与终身学习
全自动驾驶系统需要能够处理现实世界中出现的长尾情况。虽然深度学习在许多应用中取得了相当大的成功，但是如何处理缺乏培训数据的情况仍然是一个悬而未决的问题。
此外，深度学习识别训练数据中的相关性，但它不能通过纯粹的观察相关性建立因果模型，也不能在模拟中主动测试反应事实。了解“好司机”为什么会有这样的行为，以及他们对什么做出了反应，这对于建立一个因果驾驶模型至关重要。
因此，仅仅有大量的“好司机”驾驶行为来模仿是不够的，理解为什么可以更容易地了解如何改进这样的系统，这对于安全关键的应用程序尤其重要。此外，如果这些改进能够以增量的和有针对性的方式执行，那么系统就可以继续学习和不断改进，这种持续终生学习是机器学习社区中一个活跃的研究领域。
今天在Waymo车辆上运行的规划器结合了机器学习和明确的推理，不断评估大量的可能性，并在各种不同场景下做出最佳驾驶决策，这些场景已经磨练了超过1000万英里的公路测试仿真数十亿英里。
因此，用于替换Waymo规划器的完全机器学习系统的标准非常高，尽管来自这样的系统的组件可以在Waymo规划器中使用，或者可以用于在模拟测试期间创建更真实的“智能代理”规划师。
Waymo这次公布的是软件方面的细节，我们希望Waymo在将来公布更多的细节，除了技术上的软件细节，还包括硬件方案、成本以及Waymo One的运营细节。车智君将持续关注Waymo，这个自动驾驶领域最好的学习对象。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
