独立的ISP有什么好处?
很多读者经常听别人说独立的ISP好处多多,但是却不是很清楚有哪些好处?甚至连ISP是什么也不是很清楚。众所周知,CPU负责处理通用逻辑数据,GPU则负责处理图像方面的多媒体数据,ISP则是负责处理拍照模组反馈的信息,也是另一颗重要的处理器,还有下文提到的DSP等模块,共同打造Qualcomm骁龙820的异构计算体系,各模块合理分工并协同工作,最大效率地优化日常工作流程。
我们回忆一下拍照时候的流程:打开快门的瞬间,当光线透过镜头、光圈之后,折射并传递到摄像头感光元件(CMOS)上,产生光电效应,这个时候CMOS传感器就会将这些数据传递到ISP进行处理,最终将电信号转化为肉眼可见的数码相片,显示在屏幕上。
 成像原理
整个过程中,ISP起到关键作用,不仅仅需要准确还原CMOS上得到的数据,还要对部分有瑕疵和损坏的数据(例如噪点、亮度衰减、肤色苍白)进行算法优化。华为、锤子等手机厂商经常强调自己的SoC采用了独立的ISP芯片,这里所说的独立ISP芯片并不是指Qualcomm平台自带的ISP芯片,而是其它厂商的ISP,例如ALTEK 6010。殊不知,其实Qualcomm处理器自带的ISP本身的算法优化和成像表现已经比较出色,关键是,无论采用Qualcomm SoC的独立ISP还是ALTEK 6010等第三方厂商提供的独立ISP,关键还是得看芯片厂商和手机厂商的配合,正如独立显卡并不一定比集成显卡强一样的道理。
回到Qualcomm骁龙820的Spectra ISP上,虽然和Qualcomm骁龙810的ISP都是14bit双ISP处理器,但是在细节上进行了优化。首先,通过ISP和下文提及的DSP进行配合,自适应地增亮视频和照片中较暗的区域,在保证视觉效果的前提下减少ISP的功耗。其次,Spectra ISP支持最多三个摄像头,让更多智能手机能够享受奇酷手机 旗舰版、HTC One(M8)、LG V10这些三摄像头手机带来的拍照乐趣。
 Spectra ISP支持最多三个摄像头
Spectra ISP最大的特色还是其出色的场景检测系统背后的Zeroth认知平台,支持下一代计算摄影(认知计算)。索尼Xperia Z系列旗舰机的“金相机”模式,vivo Xshot中的“自动场景”模式,联想乐檬X3的“智画智能场景”模式,其实都是场景检测系统的实际应用,通过相机内部ISP智能分析被摄物所处的实际环境究竟是室内、室外还是其它地方?然后通过ISP的算法对拍摄场景的曝光、色温等参数进行优化,真正做到随手一拍,让用户减少调整复杂的相机参数。
 三种自动检测场景的模式
除了能够智能识别场景,还能够判断被摄物是否文本/一大片文字,从而调用内部算法对拍摄文本内容进行优化,例如HTC One X相机和vivo Xshot就有类似的“文本模式”,前者主要让相片变成黑白两种颜色,增强文字和背景的对比度,更好地保留文本阅读的视觉效果。后者则具备“文档纠正”功能,能够将拍歪的文本通过算法调整,最终以正面拍摄的效果呈现在屏幕上(一张为调整前,一张为调整后的照片),这些其实都是手机处理器内置功能带来的实际应用扩展。
 vivo的“文档纠正”功能
手机厂商以前可能需要通过额外的方式完成“场景识别”和“文档模式”的功能,而Spectra ISP就是通过提供相关接口给手机厂商,让他们不再需要单独通过其它软硬件的方式就能轻松实现上述功能。
上述的拍照功能只不过是Zeroth认知平台的一个方面——图像识别和模式识别(视觉认知),其实还有音频识别、深度学习神经网络等技术。
 Zeroth认知平台
|