SoC设计和应用技术领导者Socionext Inc.（以下简称“ Socionext”或“ Company”）宣布，它已与数据能力科学研究所所长Hara教授的研究团队共同开发了一种新的深度学习算法。大阪大学不需要大量数据集，只需融合多种模型，就可以在极弱的光线条件下进行物体的精确检测和图像识别。 Socionext先生，大阪大学的Sakakawa Yukhiro先生和Nagahara教授在8月23日至28日（英国夏令时）举行的欧洲计算机视觉会议（ECCV 2020）上报告了这项研究的结果。近年来，尽管计算机视觉技术得到了飞速发展，但是在弱光环境下由车辆摄像机和安全系统获取的图像质量仍然不理想，并且图像识别性能很差。在弱光环境下不断提高图像识别性能仍然是计算机视觉技术面临的主要问题之一。标题为“学会在黑暗中看”的论文[1]在CVPR2018中曾经引入了一种深度学习算法，该算法使用来自图像传感器的RAW图像数据，但是该算法需要产生超过200,000张图像和超过150万条注释。[2]该数据集可用于端到端端学习，这既耗时又昂贵，并且很难实现商业化（请参见下面的图1）。图1：“学习在黑暗中看”。和RAW图像识别问题。为了解决上述问题，Socionext和大阪大学的联合研究团队使用机器学习方法（例如转移学习和知识蒸馏）提出了应用领域。自适应（域自适应）学习方法是使用现有数据集来提高目标域模型的性能。具体内容如下（图2）：（1）使用现有数据集构建推理模型； （2）通过迁移学习从上述推理模型中提取知识； （3）使用胶水层合并模型； （4）通过知识提炼建立并生成模型。图2：本次开发的域自适应方法（域自适应方法）此外，将域自适应方法与目标检测YOLO模型[3]结合使用，并使用在极弱光条件下拍摄的RAW图像，也可以在黑暗”检测模型。暗模型中的YOLO仅可以通过现有数据集学习RAW图像的对象检测模型。对于使用现有YOLO模型校正图像亮度后无法检测图像的人（如下图a所示），您可以通过直接识别RAW图像来确认正常检测到物体（如右图所示）。下图b）。同时，测试结果发现，暗模型识别处理中YOLO所需的处理量约为传统模型组合的一半（请参见下面的图c）。图3：“黑暗中的YOLO”。这次是“直接识别RAW图像”。使用领域自适应方法开发的传感器不仅可以用于极端黑暗条件下的物体检测，而且还可以用于车辆摄像头，安全系统和工业等许多领域。将来，Socionext还计划将该技术集成到公司的自行开发的图像信号处理器（ISP）中，以开发下一代SoC，并开发基于此类SoC的新型摄像头系统，从而进一步改善公司的产品性能并帮助行业升级。欧洲计算机视觉国际会议（ECCV 2020）日期：英国夏令时8月23日至28日地点：在线会议演讲主题：YOLO融合多种模型的暗域自适应方法-发言人：Socionext Inc.长滩教授大阪大学