二、测试后 :“测试后”是指执行完仿真测试之后的阶段,主要包括对仿真测试结果的评价和仿真测试用例/场景的空间分析和评估。测试评价可以为产品功能的迭代和优化提供相关意见和建议;测试用例/场景的空间分析和评估可以识别有效场景和剔除不合理场景,最终定义泛化空间,优化迭代测试用例。建议企业将以上两个重要环节形成标准化的指导文件产品模拟仿真测试评价规范和场景空间分析评估规范,并参考执行。
企标5《产品模拟仿真测试评价规范》 企标6《场景空间分析和评估规范》
5、企标5《产品模拟仿真测试评价规范》技术类规范
1)编制目标:编制《产品模拟仿真测试评价规范》主要目标是解决仿真测试用例/场景如何评价的问题。 2)主要内容:规范了具体测试用例/场景的评价指标、评价方法、评价步骤和判断条件。 (1)输入:仿真测试数据(.log日志)等。 (2)输出:仿真测试用例/场景结果文件、测试报告等(.pdf)。 3)评审依据: (1)符合法律、法规和标准要求; (2)符合企业自定义评价指标要求; (3)提升产品功能或性能。 4)《产品模拟仿真测试评价规范》中应明确企业针对单一仿真测试用例/场景的评价范围、评价要求、评价指标、评价方法和判断条件,以及在政策、法规、国家标准的基础上,适配企业和自身产品特点,自定义设置的独特性、关键性评估指标或指标体系的流程和方法,例如,在满足合规要求的基础上,可再梯度区分不同在环仿真测试方式测试要求。 5)企业应明确如何从安全性、合规性、舒适性和智能性等方面对智能网联汽车产品和自动驾驶系统进行全面、准确地评估。企业测试人员/工程师可以参考法规、标准中明确的安全性和合规性(交规符合性等)要求,详细分析和拆解每个测试用例的通过要求的评价指标,最终满足合规要求。在此基础上,企业可关注车辆或自动驾驶系统的舒适性和智能性需求,例如,除紧急避险类场景外,车辆是否有急加/减速等,根据企业的独特要求进行配置和调整,自定义评估指标、评估流程和评价方法,制定出更加符合企业需求和特点的评价体系,使评价结果更具有针对性和实用性。同时,企业可以根据自身发展的不同阶段,及时调整和优化本规范中的各类评价指标,以适应不断变化的市场环境和企业战略。
6、企标6《场景空间分析和评估规范》技术类规范 1)编制目标:编制《场景空间分析和评估规范》主要目标是解决仿真测试场景空间如何分析和评估的问题。
2)主要内容:规范了场景空间分析和评估的指标、方法、步骤和判断条件。 (1)输入:测试用例描述(.excel)/场景文件(.xodr和.xosc)等。 (2)输出:场景空间分析和评估结果文件(.pdf)。
3)评审依据: (1)符合法律、法规和相关标准要求; (2)提升产品功能或性能。
4)本规范中的场景空间分析是评估所采用的测试用例泛化方法和测试效率的一种方式,即“测试前分析方法”,指的是在模拟仿真测试开始之前,在测试人员/工程师编写测试用例时就进行的测试场景空间可靠性、敏感性和鲁棒性的分析和估算,进而提高模拟仿真测试效率的一种手段。敏感性分析可以高效地探索测试空间并对其降维,降低后续分析的难度;可靠性分析与鲁棒性分析可以精确地估计被测试系统在指定空间中的失败概率与临近面的鲁棒性。场景空间分析内容可在企标1(3)部分中完成。
5)本规范中的场景空间评估是从统计学角度,明确如何对仿真测试用例/场景覆盖度等影响产品测试验证的重要因素进行科学、有效地评价。
一是明确基于真实数据统计和理论分析等方法得到的用于自动驾驶产品仿真测试的一组测试用例是否有效;
二是明确一组测试用例是否足够覆盖自动驾驶产品/系统的设计运行条件;
三是明确是否支撑尽可能地识别了“Corner Case”;四是明确能否支持自动驾驶产品的最终验证。
6)企业可自定义相关因素和指标,配合场景空间分析和评估,经过多轮的迭代,最终能够降低采样个数、优化测试用例,有效解决测试用例/场景的覆盖度问题。
|