基于毫米波雷达传感器与视觉传感器的雷视融合技术,随着多传感器信息智能化的需求日益增加,使得多传感器信息融合技术得到了广泛的重视。多传感器接收到的信息十分有限,所获得的信息是局部的、片面的,多传感器信息融合能够得到更为全面、正确的周围环境信息,弥补了单个传感器获取信息的片面性和局部性。基于一定的准则,将多个传感器在时间或空间上的互补或冗余信息结合起来,从而获得被测试对象的一致性描述或解释。该系统通过对信息进行综合,而非输人信息中的各个要素,从而得到更多的信息,提高了系统信息智能化程度。它是优协同的结果,即利用多个传感器联合或联合来提高传感器系统的有效性,为系统提供智能决策信息。
采用30-300GHz频域的毫米波雷达传感器,可穿透雾、烟雾、尘埃等多种介质,另外,除了大雨倾盆外,它还具有全天时的特性,能够正确地获得障碍物与毫米波雷达的距离和速度。但是很难识别障碍物类型,车道线,交通标志等要素。图像传感器具有成本低、可识别不同对象、在目标高度和宽度测量精度、车道线识别、该系统具有识别精度高、识别速度快等优点,是实现车道偏离预警、交通标志识别等必不可少的传感器,但是作用距离和测距精度不如毫米波雷达,而且易受到光照、天气等因素的影响。
因此融合视觉传感器和毫米波雷达传感器,共同组成汽车的感知系统,取长补短,实现更加稳定可靠的辅助驾驶功能。与此同时,这一融合方案也是国内AEB在国内商用车落地时的强制性要求。JTAT1094-2016“营运客车安全技术条件”中提到,需要配备符合JT/T883规定的车道偏离预警系统(LDWS)和AEB(包括前车碰撞预警系统)。营运客车驾驶室前罩需安装AEBS毫米波雷达或激光雷达装置,是交通部办公厅发布的《营运客车安全达标实车核查工作规范》明确规定。
在使用融合方案后,视觉传感器和毫米波雷达雷达将获得不同的感知信息,这些信息是相互补充的,但也有可能存在矛盾。假定在一个场景中,从视觉传感器得到的信息是,汽车前面20米左右有异型汽车,需要刹车,而雷达却不能反馈相同的信息,这种矛盾信息可能使车辆不知所措。因此,为使车辆控制中心接收到动作的一致而明确,需要对传感器数据进行融合。其基本流程是:先视觉传感器和毫米波雷达对观察目标分别采集数据;再根据每个传感器的输出数据进行特征提取和模式识别处理,把目标按类别进行正确关联;通过融合算法对来自同一目标的全部传感器数据进行融合,得到了对目标威胁的一致性结论。
融合在视觉传感与毫米波雷达中的关键技术难点在于摄像机与雷达采样目标点的匹配、融合、多目标关联等诸多因素。两个传感器间的时间、空间同步是主要考虑因素。即时间融合与空间融合。采用毫米波雷达和视觉传感器进行数据采集,要求时间同步,也就是实现时间上的融合。在此基础上,采用毫波雷达传感器采样频率为25hz,摄像机采样频率为30fps,雷达数据采样间隔为25ms/秒,摄像间隔为40ms,摄像间隔为33.33ms,每秒30帧采样间隔。为确保数据的可靠性,以采样周期较长的传感器即摄像机采样率作为基准,采用向下兼容的方式进行时间数据融合,以保证毫米波雷达与摄像机数据在时间上的同步。毫米波雷达和视觉传感的空间融合,就是把两个传感器在各自坐标系中的测量值转换到同一坐标系上,也就是坐标系的统一。所以,构建毫米波雷达坐标系、照相机坐标系、图象坐标系、象素座标系统之间的转换关系,是实现毫米波雷达传感器与视觉传感器数据融合的关键。