一、 测试前 :“测试前”是指模拟仿真测试执行之前的测试准备阶段,包括测试用例设计、制定测试方案和环境搭建三个环节。测试用例设计是指通过测试用例分析,明确测试前提条件、测试输入、执行条件以及预期结果,最终获得测试用例集;制定测试方案包括明确测试方案,确定在环测试方式,安排具体测试人员/工程师,制定测试计划和确定模拟仿真测试工具链(包括仿真测试工具和仿真模型);仿真测试环境搭建是准备一个包括硬件/软件/网络/数据等必要元素的综合环境,包括开发和调试模拟仿真测试接口、模型搭建和场景搭建等。其中,测试用例设计是整个阶段工作的核心,反映了对被测对象的质量要求。随着对仿真测试可信的要求越来越高,环境搭建阶段涉及的仿真测试可信度评估被更多人知晓和关注。详细内容可参考赛目科技发布的《智能网联汽车模拟仿真测试》一文。针对测试前阶段涉及的测试场景和测试用例生成环节,仿真模型搭建环节,场景搭建环节,接口调试环节,企业应制定标准规范,对相关内容进行规范和统一描述,以便于指导后续工作开展,具体包括:
企标1《模拟仿真场景和测试用例生成规范》 企标2《仿真模型搭建技术规范》 企标3《模拟仿真测试场景搭建规范》 企标4《仿真测试接口开发和调试规范》
1、企标1《模拟仿真场景和测试用例生成规范》
1)编制目标:编制《仿真测试场景和测试用例生成规范》主要目标是指导企业人员/工程师通过不同方式快速地生成模拟仿真测试用例,客观且可重复地评估智能网联汽车产品和自动驾驶系统的运行安全性。
2)主要内容:测试用例生成方式主要包括预期功能安全分析、实际道路数采转换、泛化采样等。
输入:自动驾驶功能规范、设计运行条件、系统架构、实际道路采集数据等。 输出:测试用例描述(.excel)/场景文件(.xodr和.xosc)。
3)评审依据:
(1)仿真测试场景/用例的合理性; (2)仿真测试场景/用例的覆盖度; (3)能够在仿真工具链中运行。 (a)预期功能安全场景生成,流程类规范,核心是解决预期功能安全场景如何生成,明确从预期功能安全分析到仿真测试用例设计和生成的具体步骤。内容主要包括功能规范和定义、危害分析和风险评估、定义危害事件、潜在功能不足与触发条件识别、改进措施需求分配、制定验证策略和设计测试用例,最终为系统安全设计及仿真测试验证提供输入。企业通过危害分析和风险评估,识别由相关项中功能异常表现引起的危害事件;在定义危害事件之后,识别可能导致危害事件发生的触发条件;通过梳理触发条件(包括可预见的误用),制定验证策略和设计测试用例,最终定义具有特定分类的自动驾驶模拟仿真测试场景。预期功能安全场景能够通过增加在系统设计开始时确定的已知不安全场景/用例的数量,来实现对自动驾驶系统的更全面的分析、开发和验证。
(b)实际道路数采场景生成,流程类规范,核心是解决实际道路数采场景如何生成,明确从路采数据采集到仿真测试场景生成的具体步骤。主要内容包括实际道路数采数据的获取、场景提取和数采数据格式转换等内容。其中,实际道路数采数据获取规定了数据采集车如何搭建,采集哪些信息,输入文件的格式,输出文件格式(例如“.csv”)和关键信息(例如rosbag)等;场景提取部分规定了场景片段提取的方法/算法,设置的关键提取KPI指标等;数采数据的格式转换规定了基于数据采集阶段获取的输出文件的格式和关键信息,以及开展场景格式转换的详细步骤,以及转换完成后的校验流程。实际道路数采生成的仿真测试用例/场景更贴近于真实的驾驶交通环境和场景。
(c)测试用例泛化和生成,技术类规范,核心是通过方法论,解决测试用例如何泛化和生成。在明确模拟仿真功能/逻辑场景的基础上,描述具体测试用例泛化和生成的步骤和方法。通过详细分析功能场景中的关键参数,基于真实数据统计和理论分析等方法得到这些关键参数的分布范围(得到逻辑场景),选取其中一组参数取值作为一个具体测试用例。理论分析方法包括定步长采样,随机采样、重要性采样等。针对参数层面的泛化,核心能力在于如何识别有效场景和剔除不合理场景,最终定义泛化空间,获得具体测试用例。详细分析方法内容可参考企标6中的场景空间分析部分。测试用例泛化和生成方法能够支持算法的正向开发,配合采样算法,更容易找到算法解决不了的“Corner Case”。
|