视觉毫米波雷达融合方案发展现状及趋势，现用的交通传感器它主要完成道路情况下的数据信息的采集，为路侧感知网络提供原始数据。目前已有的交通传感器主要有两种：一种是传感传感器，它包括感应线圈、截面雷达、地磁钉等，它们只能获取特定截面或瞬间车辆所在的车道和速度信息。其次是交通目标传感器。
目前，交通目标传感器主要分为三类：
1、AI摄像机：可以探测出交通参与者的类型，如车辆、行人和骑车者；缺点是定位精度不高，受天气、光照影响较大。
2、激光雷达：能正确地探测到静止和移动目标的位置、速度、目标的大小等信息；缺点是对环境敏感，有机械转动的部件，以及寿命和可靠性。
3、毫米波雷达：能准确探测到目标的位置、速度等信息，不受气象条件的影响，覆盖范围大，综合性价比高；缺点是横向精度较低，无法准确分辨目标类型。
基于车辆协同的路侧感知传感器需求。车辆协同系统现阶段需要支持多种全息交通管理应用场景，在未来更需要对无人驾驶提供有效的路侧数据支持。因此车路协同系统需要全域覆盖、全天候感知，对感知的正确性和实时性有较高的要求。车路协同系统根据《合作式智能交通系统车用通信系统应用层和应用数据交互标准》等行业标准分析，对路侧感知传感器提出如下要求：
1、24小时：白天，夜间，不受光线影响；雾、雨，精度不受影响。
2、大规模覆盖：每公里覆盖要求的数量较少；降低每公里部署的额外费用。
3、高度精度：定位、速度矢量精度高；面向算法。
4、多用：一个传感器完成大部分功能，降低了边缘计算的复杂性。
5、价格低廉：综合配置成本低，可靠性高，维护费用低。
视觉毫米波雷达融合一体化解决方案全新一代专为车辆协同而设计的智能传感器，它是集摄像头、毫米波雷达和高性能处理器于一体的交通传感器。通过MIPI和SPI接口，将原始视频流和雷达数据流同时接入一体机的嵌入式处理器。该方法利用嵌入式处理器直接提取原始视频流的AI目标，再利用内建坐标映射系统将视频目标投影到雷达坐标系中，对视频与雷达目标进行融合跟踪，实现全局目标的实时矢量化与跟踪。
视觉毫米波雷达融合通过内置ARM+NPU嵌入式处理器对视频和雷达数据进行实时融合，输出目标矢量数据。基于TFES目标融合边缘服务器融合多个方向的矢量目标数据，形成全局目标数据源，在边界计算层或路段上实现实时目标，为边缘计算层的决策、控制、交互等提供稳定可靠的数据支持。目标融合边缘服务器还能获得RSU通过空口收集的网联车辆信息数据，计算出整个道路交通参与者的信息。RSU可以在边缘计算单元中获得所有交通参与者的信息，并通过通讯方式向其周围智能网联车辆，通过通讯方式实现交通参与者信息的传输。
相对于已有的其它路侧感知方案，视觉毫米波雷达融合的路侧感知方案具有如下特点：
低延迟，在传统的路侧感知方案中，通常使用多点传感器(视频，毫米波雷达)将其放入MEC的GPU中，再用MEC的GPU进行视频处理和目标融合。但是受网络传输和视频编解码的限制，视频目标的延时较大，且无法控制(RTSP推流延迟一般在200ms–1s)，这与雷达的目标融合有一定的困难，而且精度较低。
与之相比，视觉毫米波雷达融合摄像机原始视频流线直接与设备内部处理器相连，省去了网络传输和视频编解码过程，将延迟控制在50ms以内。
在协作式智能交通系统的车用通信系统应用层和数据交互标准等标准中，明确规定，每个场景的端到端延迟不得超过100毫秒。提出了一种基于雷视融合的路侧感知方案。
1、覆盖面广
探测距离远，可视化角度大于90°，适合于人车混行、车流密集、易拥堵的路段，能同时识别出行人、非机动车辆等，并能识别出行人、非机动车等目标，并能有效降低车辆的成本。
2、高准确性的数据
采用MIMO一体化系统，具有±0.32m的距离精度和±±0.32m的方位精度(远距)和±0.3°(近距)的精度，在0.1m/s范围内，可以正确地检测、分辨行人和车辆，并能进行全息还原，从而实现全局目标向量化。
3、独立多功能
视觉毫米波雷达融合方案能够满足汽车协同标准中DAYI和DAYII全场景对路侧感知的需求。内建有先进的交通算法和丰富的本地事件输出，例如拥挤事件、异常停车事件、逆行事件、大货车低速预警、城市路口行人碰撞预警等。它能为车辆协同应用提供数据支持，帮助车辆提前锁定消除远、盲区安全冲突，在辅助人工驾驶的同时，还可以为单车自动驾驶技术提供更为可靠的环境信息支持。
4、工程部署容易
视觉毫米波雷达融合方案采用-40°C到70°C的宽温设计，IP65防水，完全适应各种户外场景。使用专用工具可以对雷视融合进行现场配置，可以在15-20分钟内完成雷达、录像及GPS坐标系的标定。
视觉毫米波雷达融合方案可以应用于多种场景中，主要分为两大类：智能交通管理和V2X车联网端感知。
1、面向智能交通管理：主要应用于城市路口自适应信号控制、违章抓拍辅助、车流量统计、非机动车检测、交通路段流量检测、车辆识别、事故检测、速度测量、拥挤检测、抛洒物检测、城市和农村道路交通流量统计及预警系统。
2、视觉毫米波雷达融合方案将感知融合算法向前移动到终端，大大减少了在边缘侧的感知延时和计算压力，利用视频和毫米波雷达各自的优点，提高了识别精度。车辆协同的关键系统是路侧感知系统。本文提出了一种基于雷视融合的方案，它能够广泛配置和实现路侧感知的全覆盖，满足了各种应用场景和位置需求。目前，雷视融合一体机已经在多个试点地区部署应用。在未来，雷视融合一体机将进一步提高探测精度，融入更多交通事件检测算法中，充分支持路侧感知对传感器和数据的多种需求。