三、仿真测试可信度评估：伴随产品模拟仿真测试的整个过程，企业还应该进行仿真测试可信度评估。尤其是需要保证本次仿真测试使用的模拟仿真测试工具链的置信度。在本阶段，企业可根据自动驾驶产品验证和确认方案，在明确仿真测试涉及的全部仿真工具及其相关模型后，在本阶段完成仿真工具链置信度评估，包括仿真工具置信度评估和仿真模型可信度评估，涉及到的企业标准规范主要包括：
企标7《仿真工具置信度评估规范》
企标8《仿真模型可信度评估规范》
企标9《场景置信度评估规范》
7、企标7《仿真工具置信度评估规范》技术类规范
1）编制目标：编制《仿真工具置信度评估规范》主要目标是解决如何开展仿真工具置信度评估的问题。
2）主要内容：规范了仿真工具置信度评估的评估方法、流程和评价指标等内容。
（1）输入：仿真工具开发代码、过程文档等。
（2）输出：仿真工具置信度评估结果文件（.pdf）。
3）评审依据：
（1）符合法律、法规和相关标准要求；
（2）仿真工具不会出现计算错误。参考WP.29 NATM文件、 EU 2022/1426，仿真工具置信度评估的具体流程包括仿真工具分析、仿真工具验证和仿真工具确认。仿真工具分析主要是分析仿真工具的范围和局限性，确定可能影响仿真测试结果的涉及仿真工具的不确定性来源。仿真工具验证方法包括代码验证、计算验证等。代码验证包括静/动态代码验证、收敛性分析、精确解比较等；计算验证是针对仿真工具产生的影响开展数值误差估计，数值误差需要保持在一定的范围内以不影响仿真测试结果。仿真工具确认方法取决于仿真工具的结构组成和测试目标，包含静/动态场景编辑模块、仿真引擎模块、车辆动力学模块、传感模块（如涉及）等。在仿真工具置信度确认时，可使用专用测试场景进行验证，确保仿真工具在即将开展的具体测试用例之外的测试用例/场景下，测试结果表现一致。详细内容可参见企标9。
4）此外，基于验证方法的理论基础，企业可以根据专家经验自定义仿真工具置信度的评估指标，具体指导评估工作的开展。
8、企标8《仿真模型可信度评估规范》技术类规范
1）编制目标：编制《仿真模型可信度评估规范》主要目标是解决如何开展仿真模型可信度评估的问题。
2）主要内容：规范了仿真模型可信度评估的评估方法、流程和评价指标等内容。具体又可以细分为以下5个子规范：
企标8-1《车辆动力学模型可信度评估规范》
企标8-2《传感器模型可信度评估规范》
企标8-3《地图模型可信度评估规范》
企标8-4《交通流模型和驾驶员模型可信度评估规范》
企标8-5《天气环境模型可信度评估规范》
（1）输入：仿真模型参数、文档等。
（2）输出：仿真模型可信度评估结果文件（.pdf）。
3）评审依据：
（1）符合法律、法规和相关标准要求；
（2）仿真模型与真实系统输出结果的相似程度。
（3）仿真模型可信度评估主要目的是指导测试人员/工程师具体开展仿真模型的可信度评估，最终证明基于企标2搭建的仿真模型或外采的第三方仿真模型，一是可被信任的，不会受到数字或逻辑缺陷的干扰；二是具备高保真度，即搭建的仿真模型与建模对象具备高的相似程度。本规范内容主要包括仿真模型的可信度评估方法、评估流程和评估指标等，涉及企标8-1约束的车辆动力学模型、企标8-2约束的传感器模型、企标8-3约束的地图模型、企标8-4约束的交通流模型和驾驶员模型、企标8-5约束的天气环境模型等。
4）同样，参考WP.29 NATM文件[3]、 EU 2022/1426[4]，仿真模型可信度评估流程包括仿真模型分析、仿真模型验证和仿真模型确认。仿真模型分析主要是明确仿真模型的范围和局限性，以及明确仿真模型内的不确定性来源，规范中可以注明不确定性来源的分类以及每个类别对仿真模型输出的影响。仿真模型验证需要对仿真模型的建模原理或数学模型进行正确地响应和分析，包括敏感性分析等。敏感性分析是基于优化理论，量化模型输入值的变化对模型输出值的影响，即量化仿真模型对于输入不确定性的“敏感程度”，并筛选出的对模型结果影响最大的参数定义为最关键参数。针对最关键参数开展敏感性分析后，可以帮助测试人员/工程师更深刻地理解模型，为后续模型的表现提供判断依据。针对仿真模型确认，企业可以自定义用于仿真模型确认的方法和阈值，记录用于模型确认的相关数据并注明相应数据的重要的质量特征（例如数据覆盖度、信噪比等），以及编制具体的说明文件内容，确保用于确认仿真模型的数据能够覆盖仿真工具链的预期仿真功能。
5）其中， 企标8-1和企标8-2重点是对工作原理的模拟，主要选择使用典型场景以及典型参数对比的方式进行；企标8-3和企标8-5主要通过收集实际数据，观察地图 (基于高精度地图导入)/天气模型的输出结果，并与实际情况进行对比，评估模型准确性；企标8-4重点是对规律和行为的模拟，从统计学意义上证明关键特征一致。仿真测试可信度评估
6）伴随产品模拟仿真测试的整个过程，企业还应该进行仿真测试可信度评估。尤其是需要保证本次仿真测试使用的模拟仿真测试工具链的置信度。在本阶段，企业可根据自动驾驶产品验证和确认方案，在明确仿真测试涉及的全部仿真工具及其相关模型后，在本阶段完成仿真工具链置信度评估，包括仿真工具置信度评估和仿真模型可信度评估，涉及到的企业标准规范主要包括：
企标7《仿真工具置信度评估规范》
企标8《仿真模型可信度评估规范》
企标9《场景置信度评估规范》
|
