索尼发布全球首款具有AI处理功能的智能视觉传感器

　　5月15日消息，据外媒报道，今天，索尼公司宣布即将发布两款智能视觉传感器，即世界首款配备了AI处理功能的图像传感器。图像传感器本身包括AI处理功能，可实现高速边缘AI处理和仅提取必要的数据，在使用云服务时可减少数据传输延迟，最大程度地减少隐私问题，并降低功耗和通信成本。

　　这些产品扩大了开发配备人工智能摄像头的机会，使零售和工业设备行业的各种应用成为可能，并有助于构建与云连接的最佳系统。

　　当前，物联网的普及导致所有类型的设备都连接到云上，使得信息处理系统的使用变得司空见惯，从这些设备获得的信息通过云上的AI进行处理。但是，云中处理的信息量不断增加，带来了各种问题：数据传输延迟增加，阻碍了实时信息处理；与在云中存储个人可识别数据相关的用户的安全问题；以及云服务带来的其他问题，如电力消耗和通信成本的增加。

　　新的智能视觉传感器具有一个由像素芯片和逻辑芯片组成的堆叠结构，他们是世界首款在逻辑芯片上配备AI图像分析和处理功能的图像传感器。像素芯片采集的信号通过传感器上的AI进行处理，消除了对高性能处理器或外部存储器的需求，使边缘AI系统得以发展。传感器输出元数据（属于图像数据的语义信息）而不是图像信息，从而减少了数据量并最小化了任何隐私问题。此外，AI的能力使得能够为多用途应用程序提供多种功能，例如使用高速AI处理的实时目标跟踪，也可以根据用户需求或系统使用位置的条件，通过重写内部存储器来选择不同的AI模型。

　　该智能视觉传感器具有以下特点：

　　首先，是首款配备了AI处理功能的图像传感器。该像素芯片是背光的，具有大约12.3款有效的百万像素，可在广角范围内捕捉信息。除了传统的图像传感器操作电路外，该逻辑芯片还配备了索尼原装的专用于AI信号处理的数字信号处理器（DSP），以及AI模型的存储器。这种配置消除了对高性能处理器或外部存储器的需求，使其成为边缘AI系统的理想选择。

　　其次，可进行元数据输出。像素芯片采集的信号通过ISP（图像信号处理器）进行处理，在逻辑芯片的处理阶段进行AI处理，提取的信息作为元数据输出，减少了处理的数据量，确保图像信息不被输出有助于降低安全风险和最小化任何隐私问题。除了传统图像传感器记录的图像外，用户还可以根据自己的需要和用途选择数据输出格式，包括ISP格式输出图像（YUV/RGB）和ROI（感兴趣区域）特定区域提取图像。

　　第三，具有高速AI处理功能。当使用传统图像传感器记录视频时，有必要为AI处理的每个单独输出图像帧发送数据，从而增加数据传输并使其难以提供实时性能。索尼的新传感器产品执行ISP处理和高速AI处理(3.1款MobileNet V1*2）在逻辑芯片上的毫秒处理，在单个视频帧中完成整个处理。这种设计使得在录制视频的同时提供高精度、实时的目标跟踪成为可能。

　　最后，可任意选择AI模型。用户可以将自己选择的AI模型写入到嵌入式存储器中，并可以根据其要求或系统使用位置的条件对其进行重写和更新。例如，当使用本产品的多个摄像头安装在零售位置时，一种类型的摄像头可以跨不同的位置、环境、时间或目的使用。当安装在设施入口时，它可以用来计算进入设施的访客数量；当安装在商店的货架上时，它可以用来检测库存短缺；当安装在天花板上时，它可以用于热图商店访客（检测许多人聚集的位置）等。此外，给定相机中的AI模型可以从用于检测热图的模型重写为用于识别消费者行为的模型。