复旦大学研发出五亿级像素云相机

 硬件升级，芯片创新实现颠覆性改变 

几年前，在军方的资助下，美国研发出世界上第一台亿级像素相机，其运用的“阵列外拼接成像原理”将千万级像素照片进行软件拼接，CMOS图像传感器呈阵列式分布，相互错开、互补排列，最终通过后续软件图像拼接得到完整的大视场超高分辨率视频和图像。但高像素光学镜头的阵列排布大大增加了相机体积。“

顺着这个思路，当像素提升到五亿级时，尤其是需要视频图像时，相机系统体积会变得非常大，并且实时视频拼接基本上不可能实现。”曾晓洋认为，这个方案潜力有限，“走不远”。

什么才是“有后劲”“能发展”的思路？

经过长时间的研究，曾晓洋团队实现了一种创新性的亿极像素成像技术。“同样还是拼接成像原理，但我们使用了创新的共心复合尺度的光学成像方案，将阵列式的光学成像镜头大幅缩减为‘一’，采用两级分光成像来进行多路CMOS图像传感器成像。”这样，也对分光系统的精度提出了很高要求，不同光路对目标进行成像，如果精度 “差之毫厘”，拼接后图像则“谬以千里”。

除了超高分辨率的照片，对这款高性能的云相机来说，拍同样分辨率的实时视频也“不在话下”。实时视频对相机的计算速度和运行效率都提出了更高的要求：每次成像都是上百张千万级像素的照片高精度无缝拼接而成，而连续视频应该在每秒25帧画面，这相当于在一秒钟之内把拼接成像过程重复至少25次。显然，这种情况下，相机系统的计算量大到人们难以想象的程度。

范益波副教授在亿级像素显示系统平台前

目前，曾晓洋团队研发的三/五亿像素的云相机系统实现了“共心复合尺度光学成像”和“硬件亿级像素实时视频图像拼接”，十亿级及以上像素的云相机系统关键技术也处于攻关状态。

“平时在APP上追剧，视频分辨率一般是1080P，超级会员能看到4K高清，再高分辨率也看不了了，网络带宽跟不上。而我们云相机的像素分辨率是五亿，这可是4K的百倍。”

“超高的分辨率同时意味着超大的数据量，但目前无线传输系统的数据带宽成为瓶颈问题。解决这一问题的办法就是及时找到超高清图像中的感兴趣目标部分。”曾晓洋说，要把需要传输的数据量降下来，传输效率提上去，就得提高相机系统实时识别目标的能力，针对特定目标智能地进行寻找、锁定和识别。“而这就像在一仓库的粮食里面，有一粒是坏的，我们想把那粒坏的找出来，这太不容易了，所以要有智能化的方法。”将范围缩小，再将特定区域特定目标的相关影像进行传输就容易得多了。“既能远视，也得有准头。”

“世界首款海量数据视频图像硬件拼接专用芯片”、“人工智能处理硬件加速引擎专用芯片”，这两款自主创新的芯片正是曾晓洋团队让五亿级像素云相机系统能拍照、拍视频，能“有准头”的“独门武器”。“功耗降下来、体积小下来全靠芯片技术，把上述两款芯片做出来是实现我们整个系统技术突破的核心。”曾晓洋说，这也是复旦大学承接该项目的主要原因，是我们专用集成电路与系统国家重点实验室的使命所在。