回答这个问题前,我觉得应该先讨论一个问题,为什么这几年大家都在改像素排列?难道直接做大底硬件方案来提升进光量不行吗?其背后的原因也很简单,因为手机的内部可用堆叠空间越来越小,大底不能无限制地增加。而更早时候的可变动光圈在手机上也算是昙花一现。因此,如何从更为底层解决进光量,进而解决夜景问题还同时不增加产品尺寸,成为各家厂商都在探索的方向。大家纷纷将目光放在了调整像素排列这样”微小”的底层方式上。
说回滤镜阵列上,各家为了提升光线通过效率,都做过不少尝试。RYYB是一条技术路线,之前在手机上出现过的RGBW并非革命性技术,三星在传统Bayer阵列上还提出过RWB——把两个绿色像素都替换成透明像素以进一步提升光线通过效率。
到了现在的Quadbayer这种四合一,甚至九合一像素的年代,传感器可以大小像素兼顾了,外加多帧合成技术普及,滤镜阵列就提的相对比较少了。
不过,这两天OPPO未来影像开放日上提到的新款RGBW有点意思。看名字很眼熟,因为在2015年的时候,华为、OPPO和moto都采用过该技术。其实上一代的RGBW就是采用这种新的滤镜形式尝试,而新款的滤镜阵列里面有一半是透明滤镜,进一步提升了光线通过效率。
OPPO在图像传感器方面吃过不少螃蟹,比如首款全像素全向对焦的2x2 On Chip Lens (OCL)的IMX689,以及后面广泛应用的IMX766,还有豪威科技家的类似技术的OV64B。
新一代RGBW以Quadbayer的形式呈现。
上一代RGBW只是将RGGB中的一个G替换成W。
新一代的RGBW可以看做2倍的(RGGB+WWWW),再做四合一处理,进而比上一代RGBW的感光性能更强。
初代RGBW——看似简单的把一个G替换成W,后面是色彩还原算法和半导体升级
OPPO R7 Plus用过IMX278——索尼首款RGBW传感器,在当时效果还不错,显著提升了弱光拍照能力,但是同时问题也是存在的,那就是受制于彼时孱弱的制程工艺,无法运行更先进的算法,同时像素之间的色彩信息互相有串扰,很容易出现色彩偏色的问题。
但RGBW传感器并不容易,甚至,RGBW对于索尼也不是那么容易。
它看起来只需要将一个绿色滤镜替换为透明滤镜即可,但背后涉及的是一整套的软硬件结合——一套全新的色彩还原算法、硬件上降低像素串扰(crosstalk)
初代Exmor R,即堆叠式传感器——IMX135,索尼最初宣布该传感器为RGBW滤镜阵列,但正式发布后,索尼将其调整为传统RGB拜耳阵列滤镜。其背后的技术方案绝非简单的置换一个子像素那么简单。
正式大规模应用的RGBW传感器,已经到了IMX278,根据Chipworks的分析,IMX278用了新的TSV工艺和DTI结构以降低串扰——硬件上的工艺更新。
在IMX278内部的图片处理单元中,多了一个白光的Remosaic模组,有了这个模组,感光器输出的信号兼容传统方式,但实际商用后,色彩的偏色还是存在。由于时代久远,由于彼时没有RGBW还没有和四合一像素技术进行整合,因此,上一代RGBW还存在一个致命问题——摩尔纹现象是否严重。
OPPO这代RGBW——充分利用Quadbayer阵列的色彩排布
而这次OPPO这颗RGBW捕光传感器更有意思,它将Quadbayer阵列的每2x2个同颜色像素滤镜中的对角线上的2个替换成为透明滤镜,OPPO表示,新一代RGBW超强捕光传感器的进光量相比传统RGGB提升了60%。
这样既能保证一个大像素的色彩信息不会丢失,还能有效提升传感器感光性能,非常有意思。同时,子像素还能保证亮度信息,理论上说甚至可以输出层次不错的黑白图像。
当然,还是上面提到的两个问题,软件上,色彩还原;硬件上,降低串扰。这俩问题还是得解决。
软件上,OPPO这次花大力气基于全新传感器像素排列构建新的影像算法。因为这次的色彩还原比上一代RGBW更难,透明滤镜交错分布在Quadbayer阵列中,每个透明滤镜相邻都有四个像素,其中至少包含两个色彩,如何从这四个像素中,还原出真实的色彩,又是一个难题。因此,发布会上OPPO提到:
引入了全面自研结合像素四合一的RGBW还原算法,让每个子像素都能具备R(红)、G(绿)、B(蓝)和W(光线)信号的识别能力
也就是说,和上一代RGBW相比,这次的图像色彩还原算法不仅是索尼家的事情了,更多功劳可能在OPPO身上。更值得一提的是,在定制这颗制程升级的传感器的同时,OPPO将自研像素四合一算法写入了传感器硬件,进而更有效的解决了上一代RGBW技术可能带来的偏色和摩尔纹问题。这也算是行业首次有手机厂商,把自家自研的影像软件算法写入了硬件传感器上。其背后能够获得的提升,远远不止是在宣传上的”首次”。
更为重要的是,由于自研的四合一软件算法直接写入传感器,首先OPPO无需向外定购任何第三方的算法。就算法层面功耗和适配程度而言,更加适合自身。其次,由于”算法硬化”,可以让算法不用在ISP和AP当中运行,这就意味着当商用时,该技术无需考虑芯片平台的算力能力而导致的功耗不同。换句话说,OPPO可以将这颗传感器在多个SKU上使用,因为算法已经进行了固化。因此这个”行业首次”也可以看作是OPPO未来可能在影像研发技术上的重要方向。计算摄影要做,但是要通过硬件固化的方式去做。
除了算法硬化、降低功耗、提升效率,OPPO还想解决RGBW固有的顽疾——偏色、猜色,通过采用行业的领先技术:
在微观层面有效减少子像素之间的相互串扰,滤除杂讯,让数字信号更为纯净,进而提升了画面表现。
OPPO这颗新传感器也采用了类似技术——像素隔离技术、Deep-Si。像素隔离技术其实就是DTI的中文名称,通过加深单个像素之间的隔离,提升传感器单像素表现,这颗新传感器的DTI又一次升级了;Deep-Si则是来自于改进的半导体工艺。通过这二者以及OPPO自研算法的配合,传感器输出的数字信号Crosstalk更低,输出信号更纯净,画质表现也更好。
除了进光量带来的感光性能显著提升外,OPPO还带来了更有意思的算法——明亮度信息带来更好的人像拍摄提升。
在四合一模式下,这颗传感器能分解出全频的W信号——即明度,或者说,理论上这颗传感器四合一能输出影调非常丰富的黑白照片。叠加四合一的明度信息和色彩信息,这颗传感器还能对人像肤色、细节、明暗等的感知全面提升,能够更生动地展现人像画面。
这次这颗新传感器有点意思,OPPO也终于不再发PPPPPPT了,直接宣布,今年Q4直接商用。
除了这个RGBW,OPPO这次还发布了几个新技术,镜头与传感器协同防抖的五轴运动防抖——相机领域技术被拿到了手机上,潜望式镜头迎来了进一步改进的真无损变焦,还有屏下摄像头技术再次更新。这些都是很有意思的技术,在这就不详细聊了。
OPPO在影像方面的积累,光是影像方面,就有9000+专利申请,其中发明专利3000+。这次的RGBW传感器,比IMX689那款2x2 OCL,在合作开发方面又深了一层,除了进光量60%提升、35%的噪点降低半导体工艺升级(DTI、Deep-Si)以外,OPPO还把四合一像素合成算法写入了全新的RGBW传感器硬件中。这在手机行业还是第一次。同时也能看出一些端倪,在各家大力宣传自身计算影像的时候,OPPO的想法是把计算的东西”硬化”。虽然并非首创,但为了把AP的算力留出来,也说明OPPO希望在影像上还做了后手,至于是什么,OPPO还没具体说明。