关于自动驾驶仿真的几点思考

一、关于感知系统仿真
  知乎上的少隆（知乎ID）在特斯拉自动驾驶仿真应用一文中提到"仿真器不是产生漂亮真实的图像，而是要生产摄像头以及其他传感器实际会收集到的数据。为了实现这一点，仿真器对摄像头的各种属性进行建模，包括传感器噪声、运动模糊、光学失真、大灯光照传送、挡风玻璃折射等等"。特别认同他的观点，仿真器渲染出来的漂亮真实的图像是给人看的，是做可视化的，但是要拿来训练感知算法必须有精准的传感器模型。这两者也不矛盾，人能看到这些漂亮的图片并且看到图片上的各种物理实体是因为人有眼睛和大脑，机器的眼睛就是传感器模型和感知算法。要对自动驾驶感知系统进行仿真有两个条件：

高保真度的场景；
精准的传感器模型。
   关于第一点，看看大厂的做法:

Waymo:SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving;
Tesla:参考Cornell University的论文，Enhancing photorealism enhancement；
NVIDIA：相关内容可以查看Omniverse™ ，NVIDIA在上面做了很多工作;
百度： Augmented autonomous driving simulation using data-driven algorithms。
   已经多次看到有企业用仿真数据来训练神经网络。 完全（100%，我放大了这个比例）基于仿真的数据来训练神经网络是很危险的，Overfit的概率极大。马斯克强调大部分数据是来自真实的特斯拉遇到的情况，仿真数据只是作为Training Data的补充，也不是所有的仿真数据随便加入训练的。在现实中，conner case很难遇到，那也就意味着Training Data没有或者占比很小，通过仿真来加入这一部分，我理解仿真数据在此起到数据增强的作用。
   关于第二点解决办法就是上HIL是其中一种解决办法，传感器和实车保持一致。毫米波仿真和相机仿真行业上基本已经具备了可以用的能力，视频暗箱、视频注入和毫米波暗箱，暗箱屏蔽、紧缩场技术不断更新，工程师标定水平提升都可以将HIL技术做得更好。以前雷达模拟器模拟目标的数量有限，8个以上都较困难；最新的消息是德科技的雷达模拟器的目标数量多达512个（如下图所示，64*8个时间延迟模块），最近距离1.5米。如果传感器生成商能把他们的传感器模型贡献出来当然也可以解决问题，不过好像不太可能。

二、关于车辆动力学模型仿真
  建立一个和实车一摸一样的车辆是再好不过了，可是难度相当大，特别是商用车模型更复杂，带挂的还是非刚体，仿真软件就更难适配了。在此条件下一味的强调车辆模型的保真度已经没有意义了。在需求范围内尽可能将车辆的横向和纵向的响应做到基本一致即可，大可不必在此问题上纠缠，因为车辆本身就是很复杂的东西。在实车控制时，只要能确保控制的输出量没问题，车辆的响应基本都能正常。仿真工程师不能脱离实验数据的支撑，目前我的做法是，针对同样的输入量实车和虚拟车辆模型的运动学响应要基本一致，针对一些特别的功能（例如AEB仿真对车辆模型的制动要求更高）需要更精细的模型，有了数据就可以知道虚拟的车辆模型和实际模型的差距，通过数据分析了解为什么会有这些差别。

三、关于高精地图
  ADAS和高级别的自动驾驶最大的区别就在高精地图（这句话不一定对，是基于市面上大多数自动驾驶方案整体而言的）。我个人认为在仿真环境下建立的场景提供的地图（包括实际采集的地图）在任何条件都能被自动驾驶算法利用，并且定位到车辆位置，即使前期不能完全匹配也可以通过标定的方式解决。根据我的经验现在的仿真软件对地图有一定旋转平移，在仿真和算法端定位车辆时需要标定，可以推广开去针对任意的地图都应该可以通过此法解决，都能通过一次旋转和一次平移完全重合。大家也可以看看NVIDIA工程师关于地图偏转的看法，英伟达杨健：英伟达仿真模拟方法论助力无人驾驶算法开发。

四、关于云仿真

  云仿真现阶段处于尝试阶段，还有很多技术点尚未突破。云是一个非实时的，云只是扩大了算力，实时性得不到保证。云精准的时差是多少、是不是固定值、影响因素有哪些都还需要研究。如果是稳定的时差还是可以解决的，随机的时差是比较难处理的。

五、关于交通流仿真
  交通流是考察自动驾驶能力的重要指标，会影响感知、预测和决策的结果。目前的交通流仿真，虽然能做一些工作，但是合理性还有待考察。举个例子，有的软件能随机（某种分布）产生很多车辆，假设在场景中维持100辆车的数量不变，会出现有的车突然出现、有的车突然消失的情况。这与现实的情况相去甚远。
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/mingjiangguoyaoqin/article/details/122161708