如何看待 OPPO 正式发布的首枚 6nm 自研 NPU 芯片？到底有没有用？

OPPO的造芯计划是2019年底开始的，代号马里亚纳，两年后的今天，OPPO第一颗芯片Marisilicon X正式发布，这是一颗影像专用的NPU芯片，主要是解决计算摄影对芯片能力需求激增的问题。

如题主所问，在手机SoC如此强大的今天，各家相继迈入4nm制程工艺之后，OPPO到底还有没有必要造这么一颗芯片？

所以、第一个问题，Marisilicon X主要解决什么？意义和价值在哪里。

Marisilicon X是一颗影像专用NPU芯片，核心是OPPO自研的NPU，而为了配合需求，OPPO在这颗芯片上还集成了专门的ISP，以及专门的片上内存。

三个关键参数：6nm制程工艺、18TOPS的AI计算能力，11.6TOPS/W的能效比，这个计算能力能干嘛呢？

OPPO在发布会上展示了一个例子，比如搭载骁龙888的Find X3 Pro，跑OPPO自研的AI降噪算法的时候，每秒可以处理两张图片，功耗是1.7W，这个计算能力和功耗对于照片处理问题不大，但对于视频处理，就力有不逮了，我们哪怕是按照视频最低要求的24帧，算力依然差了12倍。而在Marisilicon X上，每秒可以处理40帧，功耗则只有0.8W。

然后一个非常显性的结果是，搭载了Marisilicon X芯片的手机，AI降噪算法就可以从照片扩展到视频上去。

这个例子就是题主问题的答案：因为现有的公版SoC，哪怕是最顶级的旗舰产品，依然有大量的问题无法解决，而针对性的自研芯片，就是为了解决这个的。

在Marisilicon X上，最核心的能力是HDR处理，这里有两个关键要素，一个是处理能力，Marisilicon X支持20bit的图片宽容度处理；另一个是处理对象，这颗芯片放在了SoC之前，在RAW上做的图片处理。

手机图片的处理，一般会经历三个过程：原始的RAW文件采集，转成RGB信号，再转成YuV信号编码，目前主流的手机HDR算法都是在YuV上进行的。

熟悉摄影的朋友应该知道，我们一般使用的图片是JEPG格式的，但如果是需要后期修图，则一般是用RAW文件，它能够记录更多的原始信息，图片后期处理本质就是算法，而算法输出结果和记录的原始信息是息息相关的，这就相当于极度保鲜的食材，越好的食材，越能够做出美味。

越是前端原始素材，它的细节保留越多，在处理的时候，能够用的信息就越多，OPPO在SoC的前端直接在RAW上做HDR，效果一定是最好的。

那么，之前大家为什么不这么做呢？

因为通用平台的算力不足，越是原始的文件，信息越多，数据处理量越大，大家都知道信息量大的原始数据能处理出更好的结果，但算力支撑不下来，做不了，速度不够，功耗爆炸。

OPPO做了Marisilicon X，算力解决了，而且功耗在一个非常好的水平，然后这事儿就做成了。

当然，不只是HDR，比如超分辨率，在RAW上做超分辨，这事儿如果成了，那么2X、3X，乃至5X，就真的不需要专门的镜头，主摄就可以完成，或者说，用小尺寸CMOS做出媲美大尺寸CMOS的成像效果，就不再是说说了。现阶段OPPO还没做这个，但路径打开之后，这些事儿其实是水到渠成的。

这里引申出另一个事儿，OPPO为什么要采用台积电6nm支撑工艺。

6nm（或者说7nm EUV）是半导体制造的一个分水岭，光刻机从传统的DUV变成了EUV，晶体管密度和功耗控制有了一个大幅度的提升。问题则是成本的大幅度提升。

市面上有很多处理器，包括手机上用的，SoC之外的，各家做的处理器一般都会用相对成熟便宜的支撑工艺，比如14nm，甚至是28nm，工艺简单，成本低，做起来也容易。

但OPPO想要解决的是SoC平台无法解决的问题，计算摄影里最复杂的RAW上计算，计算量大，SoC处理的话，速度慢，且功耗太高。

这个时候，先进工艺制程就是最关键的一环，如果OPPO做了一颗专门的处理器，然后在处理相同任务的时候，功耗比SoC还高，那就没有实际意义了。

以及，采用台积电6nm工艺，进入台积电先进工艺制程库，也为OPPO后续的芯片研发提供了平台基础，这个事儿对于真正想要好好做芯片的厂商，是第一步必须做的。

那么，第二个问题：为什么OPPO的第一颗芯片是影像专用芯片？

手机作为移动终端，它的核心功能包括四个部分：数据采集、数据处理、数据传输和数据展示，而影像部分，是手机数据采集里的图片和视频采集，最核心的部分。

在人类文明史上，信息记录发展的几个阶段：最初是符号记录，简单，但信息密度低；后面发明了文字，信息记录能力得到了极大的拓展，人类文明发展进入快车道；再然后就是图像和声音记录，文明发展进入新纪元。

图片和影像记录的信息密度相较于文字，是数量级的提升，而随着移动互联网的发展，图片和视频成为了主流的信息记录和传播媒介，拍张图片，拍段视频，这事儿已经融入了我们生活的方方面面。

手机相机的重要程度，和我们狭义理解的不太一样，它并不只是艺术创作，不只是摄影发烧友的专属，而是每一个人每天都会密切接触的东西，是生活里最重要的工具。

这才是为什么手机厂商要花那么大的精力去做相机，把手机有限空间里的那么大一部分给相机。

而受限于手机内部空间，相机在纯体积堆料这件事儿上，基本走到头了。目前手机用CMOS里，最大做到了1/1.12英寸画幅，那台手机大家也看到了，整体的形态和比例已经开始失衡了，再往大了做不太现实。

所以手机影像系统的未来一定是计算摄影，而计算摄影的发展，一方面依赖于算法，而算法的最大制约，其实就是平台的计算能力，在一定的功耗限制下的计算能力。

第三个问题，做Marisilicon X这样的影像专用NPU，对于OPPO的意义在哪里？

现在所有的手机厂商都明白了一件事儿，高端化是生死线。

苹果的案例历历在目，苹果手机从来都不是出货量最多的手机厂商，但苹果是唯一一个市值做到了接近3万亿美元的手机厂商，以整个市场约1/6的出货量，攫取了超过60%的利润，最高的时候超过了80%，低端手机甚至是入不敷出，得靠其他的业务来支撑运营。

对于手机厂商来说，做一台高端机的价值，超过了做几台，甚至十几台低端手机。

然后，怎么高端化？

高端化的核心是体验，尤其是人无我有的独创性的体验，用体验护城河构建产品和品牌护城河。而体验做到最深处，一定是核心部分的自研，从最基础的部分做起，实现软硬一体化的综合全面发展，在手机这样一个典型的科技行业，这事儿已经被证明了无数次了。

手机行业公认的御三家，苹果、三星和华为，核心元器件都是自研的，一个非常典型的例子，今年骁龙888和麒麟9000的对比，后者的整体配置状况是不如前者的，包括CPU架构，GPU能力等等，但实际体验上，麒麟9000明显更好。

这里一个非常重要的原因是，华为是一家自己做芯片的终端厂商，他比上游的芯片厂商更明白消费者需要什么，他能够更合理地评估技术现状和消费需求，从而做出取舍，能够建立更有效的沟通反馈机制，做更好的调度和优化。

在御三家之外，第二梯队的手机厂商是OPPO、vivo和小米，这三家想要实现高端化，想要在现在的基础上得到进一步的能力和地位跃升，高端化是生死线。

而核心元器件的自研，是高端化的基础，从这个角度出发，在未来，这三家里，谁能够真正下定决心去从最基础的地方去解决问题，以真正实现体验跃升，谁才能真的把握住高端化的门票。

Marisilicon X是OPPO的第一颗芯片，当然，肯定不是唯一一颗，2019年底的时候，陈明永表示，未来三年里，OPPO会投入500亿去做技术研发，其中大部分用于芯片研发，这个资金至少是300亿了。

在这样的目标指导下，OPPO很有可能成为御三家之外，第四家真正搞定芯片的手机厂商，真正从底层去解决问题，而不是组装厂所擅长的供应链就是体验。

实际上，这事儿如果做成了，收益是相当可观的，从底层开始解决问题，从而真正构建出体验护城河，这将会是OPPO通往高端化之路最重要的一张底牌。

当然，芯片这个事儿很难，做一颗芯片不难，但想要把做芯片这件事儿做起来，让它进入一个正反馈的良性循环，这很难。

所以对于现在的OPPO来说，第一阶段的架构构建和基础投入已经完成了，接下来就是正反馈的建立和能力的持续迭代。

这个正反馈最理想的肯定是直接盈利，用收益覆盖成本，芯片投入是一个长周期的事儿，短期想要实现这个很难；那么退一步的要求，就是研发成果正反馈，技术研发体现在产品上，为品牌形象提升，产品体验提升，产品高端化助力，这同样是一个正反馈，用间接受益来体现投入价值。

所以OPPO的第一颗芯片选择了影像专用NPU芯片，以解决计算摄影的核心需求，助力OPPO在计算摄影上的发展，这显然是OPPO造芯片第一阶段的最理想选择。

当然，3年300亿的投入，OPPO的目标肯定不只是造一颗影像专用芯片，去解决计算摄影的一部分的问题，OPPO造芯的未来一定是造属于自己的手机芯片，而如果这件事儿做成了，OPPO在芯片上的投入，会获得无比丰厚的回报。

举个例子，骁龙888的价格大概是170亿美元，而这其中，代工费用不到40亿，即便是叠加研发投入，利润空间依然相当丰厚，这事儿大家去看看高通的财报就知道了。

而对于OPPO来说，芯片采购是其每年成本里，最大的一块。

对于OPPO这样的手机厂商来说，最不缺的其实是应用平台，而应用平台，恰恰是新的芯片企业最难获得的部分。

有出货量保障就有应用保障，有足够的投入就有打造技术的底气，而这个过程中如果还有明确的目标和计划，那么这个事儿最后的拼图，大约就只有时间了。

笔记本市场卷了这么多年，最后大家发现，都是给wintel打工的，手机厂商显然很明白这个道理，所以头部厂商不再去给别人打工了，而自研，是这个转变里，唯一的解。

OPPO的造芯计划叫马里亚纳，第一款芯片叫马里亚纳 MariSilicon X，而马里亚纳海沟是地球上水最深的地方。这个命名方式很妙，你明知道这是世界上最深的水，不仅还要去蹚，而且还真的蹚出了点东西。

要看这颗芯片，其实该先看OPPO造芯背后的本质逻辑和动机，这个比芯片本身更有意思。

事实上，从今年年初开始，就陆续传出了OPPO造芯的消息。OPPO在之前就已经开始大规模招聘芯片人才了，甚至还传出给应届生开出了超过40万的总包待遇，这也一度冲上了热搜。所以OPPO造芯早就是公开的秘密了。

不过大家当时还不知道的，是OPPO到底造了什么芯。

有很多报道说OPPO造的是ISP，也就是专门用来做图像信号处理的芯片。不过从这次的发布来看，OPPO的这款马里亚纳 MariSilicon X芯片并不是单纯的ISP，而是一个ISP+AI加速器的NPU，用OPPO的话说，就是MariLumi影像处理单元 + MariNeuro AI计算单元。

从工作的位置来看，这颗NPU并不是用来取代现有的手机SoC的，而是和SoC协同工作，并且帮助SoC卸载并加速很大一部分AI与影像的处理和算力。而这些并不是SoC的强大之处。

那么，为什么OPPO要造这颗不是手机处理器SoC的芯片呢？

通常来说，手机厂商获取芯片的方式有三种：买买买、买IP攒芯片、自研IP和系统。

从高通联发科买芯片最简单，但很难满足自己的特殊需求。比如有人希望摄影效果更好，有人希望联网更快，有人希望游戏性能更强。如果直接买统一的参考设计或者相同的芯片，就是所谓的“one size don’t fit all“，这也是像OPPO这样的公司开始自研芯片的本质逻辑。

进一步的方法，就是买IP攒芯片。这就像我们做西红柿炒鸡蛋，但是不一定非要在一个超市把西红柿、鸡蛋、油盐糖都买齐了，我们可以去不同的超市买，或者直接用家里剩下的料，只买家里没有的东西，然后炒一下就行了。不过每个人炒的方法、火候、食材的配比都不一样，所以一样的料会做出来很不一样的菜。

攒芯片是个比较安全的方案，既不需要从头开始研发所有事情，从而能在很大程度上控制投入和风险，另外也可以根据实际需求，在最短时间内做出适合自己的芯片。用蹚水的例子，这种方式就已经从岸上走进水里了，只不过先在浅水区里练习一下游泳，也还是相对安全的

渐渐的人们又发现，和买芯片一样，买IP也并不能完全解决所有的事情，毕竟很少有IP公司是专门针对某个厂商的某个具体应用或算法来开发一个IP。所以，就有一些公司决定再往前走一步，也就是自研IP与系统。

这就像一个人的游泳技术再强，也不可能下潜到马里亚纳海沟底部一样，这件事情需要专门的技术、专门的团队，专门围绕这件事情本身去制定方案，并且不断迭代优化。

为了研究到深水区、并且掌握这些深水区的技术，势必需要大量的人力物力投入、以及大量时间和经验的积累。不过对于那些对产品和技术有着极致追求的公司来说，这最后一种造芯方式几乎是必然选择。

再来看看这次发布一直在强调的DSA。

DSA全名是领域专用架构，说人话就是针对某个特定应用领域进行设计和优化的专用芯片架构。DSA特别值得大家留意，因为它是现代芯片设计的一个非常主流的趋势。

那么为什么需要这种领域专用架构呢？传统的芯片设计和使用遵循着一种自上而下的模式，这有点类似于软件开发里的瀑布模型，也就是芯片公司提供现成的芯片，然后芯片的使用者再开发各种软件去做适配。

这样的模式就有很多问题，最主要的就是芯片设计和使用这两个环节的脱钩。芯片的设计者不知道使用者具体要用在什么地方，也不知道使用者的具体需求，只能尽量设计通用性强的结构，而这样势必会牺牲芯片在具体应用场景里的性能、功耗和面积。

另一方面，芯片的使用者也不知道芯片具体的设计细节，也只能根据有限的文档资料去使用芯片，这样也势必很难充分发挥芯片的最大能力，使用体验非常糟糕。

所以现在的芯片设计就开始慢慢流行起DSA。它的本质思路其实很简单，就是根据实际的具体需求，去指定芯片的设计方案，然后确定架构、微架构、编程方法、软硬件系统等等一系列内容。

拿OPPO这次发布的MariSilicon X芯片举例，它的专用性主要体现在AI和影像领域。也就是通过分析各种影像专用的AI算法，找到它们中间共同、或者类似的算子和模块，然后把这些模块通过硬件实现在芯片上。这样当AI算法用到这些算子的时候，就可以直接调用硬件单元，从而大幅提升算法执行的算力性能，并且大幅降低功耗，两者结合，从而取得极致的能效比，这对于手机这样电池供电的移动设备至关重要。

在芯片的迭代过程中，使用领域专用架构的芯片可以让硬件架构和软件算法同步更新，这就从根本上解决了前面说的瀑布模型里设计和使用脱节的问题。

特别值得注意的是，MariSilicon X芯片并不是单纯的图像处理器ISP、也不是单纯的AI加速器，而是二者的结合体，这样的好处就是能结合二者的优点，并且实现从需求到算法、再到芯片传感器以及软硬件功能的完整定制。

MariSilicon X采用了台积电6纳米工艺进行制造，int8峰值算力达到每秒18万亿次。特别是在影像领域，这样的AI算力可以支持4K 30帧的HDR智慧夜景视频。另外，这颗芯片做到了20比特的位宽，也就是可以提供20位UltraHDR的超高动态范围。这是什么概念呢，也就是用手机拍摄的画面可以同时记录最亮的部分和最暗的部分，这两者可以相差100万倍，但同时能保持这两部分的细节。和OPPO的上一代旗舰Find X3 Pro相比，搭载了MariSilicon X芯片的影像水平理论上是它的4倍。

说到影像，这个其实也是OPPO造芯的大背景和大原则。

除了前面说的4K AI智慧夜景视频之外，MariSilicon X芯片还支持无损RAW计算。这个功能也不是随便定的，而是和这颗芯片的本质需求有关。

传统的图形图像的处理链路大致可以分成RAW、RGB和YUV三个域，原先大部分ISP处理都在YUV域，但这个时候的图像已经是经过SoC压缩和处理的内容，可能已经损失了很大部分的信息。但通过这颗芯片的算力加持，就可以直接在RAW域对原生无损内容进行处理，从而提供更高的AI计算灵活性。

从另外一个角度来看，这样做其实就是把原来在SoC里低效处理的内容，转移到了这颗NPU里进行高效、实时的硬件加速处理。不仅如此，它还直接获取传感器的RAW数据，避免了数据的压缩和信息损失。再加上前面说的20位带宽融合，这几个方面整合起来就可以把图像信息带来8.6dB的SNR提升。另外根据OPPO的数据，MariSilicon X芯片可以对最高93.75%的信息折损进行补偿和还原，从而实现等效大底的感光能力。在NPU里实现的AI降噪算法，还可以让画面更加纯净。两者结合，就能提供高动态、高清晰度的影像。

最后再看功耗，这个也是移动设备最重要的指标之一。

实事求是的说，加入这颗芯片势必会给系统整体带来额外的功耗开销，但事情并没有到此结束。由于它卸载和加速了很大一部分原本在SoC里完成的任务，就将SoC的功耗拉了下来，这是其一。其二是MariSilicon X 芯片采用了6纳米工艺，本身的功耗水平就很低，这也很好的控制了这颗芯片带来的增量功耗。特别是从能耗比的角度来看，MariSilicon X 芯片带来的性能提升远超过额外的功耗开销。

以上。

这个芯片我见到实物还是比较激动的，之前我以为他可能是一个做的相对小一些，这样复杂度低一些，成功率也高一点。这颗芯片目测封装面积不小，基本上把封装抹掉以后，下边可能基本上都是芯片，裸晶圆面积应该也不小。

什么概念呢？

如果从晶体管数量来说的话，某种程度上讲，有一点接近苹果a11了。当然，这并不是一颗soc，所以整体来说比a11的难度还是低很多的，但OPPO作为一个新团队，第一颗芯片就能做出来6nm的这么大面积，这么复杂的芯片，这个支持力度和这个成果，是比国内这一批造芯的新兴企业都要强很多的。

以及这一颗芯片的目的也非常明确，所以可以在里面看到有一大块作为缓存，这一部分缓存就是用来吞吐数据的。以及还专门为他规划了大的内存带宽，同样是用来吞吐数据，这些设计理念，都是奔的成果去的，所以芯片是一颗很有意思的芯片。

我相信这肯定只是一个开始，OPPO接着加油干吧。

12月8号OPPO首次披露了这枚叫做MariSilicon X，由台积电6nm制程制造的影像专用NPU芯片。消息出来，有人沸腾（比如我），有人理智，有人冷嘲热讽。毕竟当时什么信息都没有，除了情感上能宣泄一下之外，没法说什么。今天这颗芯片正式发布，并且很快会用于下代基于高通骁龙8Gen1平台的FindX旗舰机上。那么，我们就来认真审视一下这颗芯片到底有什么用，特别是在高通或者联发科SoC性能这么强劲的情况下，这颗芯片能起到多大的作用。

Marisilicon X是一枚专门用于影像处理的NPU芯片，它拥有OPPO完全自主研发的内核IP：MariLumi影像处理单元和MariNeuro AI计算单元。这里必须强调一下，鉴于6nm及更先进制程下OPPO无法取得相关的IP，OPPO也没有兴趣购买第三方IP构建自己的芯片，这枚芯片的影像处理单元IP和AI计算单元IP完全自研。

如果用最简单的话来描述Marisilicon X到底是什么？严格来说，它既不是ISP，也不是NPU，而是一枚DSA特定领域架构，面向计算摄影的简易SoC，它包括了影像处理单元和AI计算单元，以及片上内存等几个主要部分，其复杂程度远超过传统意义上的ISP或者NPU。

Marisilicon X在计算摄影流程中，位于什么样的工作位置呢？它工作在最前端的RAW域，直接接受来自CMOS的RAW域信息，这颗芯片有20bit的恐怖位宽，最大支持到20bit的RAW域信息和20bit的HDR Fusion。Marisilicon X在最前端处理完信息之后，把RAW域信息交给SoC输出。

而传统基于SoC，如骁龙888 ISP的处理过程是什么样呢？以FindX3 Pro为例，它仅仅在YuV域才介入计算摄影的算法处理，包括HDR和多帧合成。此时，图像已经经历了多次压缩处理，细节丢失严重。如果这么说大家无法理解的话，直接展示样张，请注意直接用RAW域数据进行后期处理和JPG直出（也就是FindX3 Pro计算输出完毕的样张）的区别。该样张来自我对FindX3 Pro的详测，选取了10bit色深 RAW文件和8bit计算摄影直出JPG的对比：

这是FindX3 Pro 10bit RAW在Lightroom中打开后的样子，请注意模特面部的细节和这件亮绿色小西服的特征。

在FindX3 Pro评测里，我指出，RAW保留的原始信息是骁龙888 ISP后期在YuV域上展开计算然后输出JPG这种压缩再压缩无法比拟的。而Marisilicon X所做的事情，就是在RAW域直接介入计算，包括高达20bit的超级HDR和多帧合成处理。这样做有两个好处，第一个好处是在RAW域就做超量计算后再输出给SoC，画面细节和计算效果得到最大程度的保证；第二个好处就是给SoC减压，特别在极端复杂场景下的动态视频（例如4K夜景视频），SoC能从容不迫地输出视频。这个过程非常容易测试，在新一代FindX上市之后，比较一下4K夜景视频、极端环境下的拍摄（需要超高动态范围支撑的场景和极暗光，超逆光场景）手机的计算速度，整体发热情况和流畅度就清楚了。

当然，这一切需要Marisilicon X真的具备强悍的计算性能和卓越的制造工艺。台积电6nm制程是公认的先进制程，这使得MariSilicon X能在不大的Die上同时集成ISP/NPU和片上内存，不再需要共享系统的LPDDR5内存。先来看看这颗芯片的处理能力，它的MariNeuro AI计算单元在int8精度下实现了18TOPS的恐怖算力和11.6TOPS/W的能效比。

因为计算流程的改变，搭配Marisilicon X使用的骁龙8Gen1平台可以在RAW域就提供如此巨量的算力对最高20bit的RAW信息进行计算。这在过去是做不到的，特别是视频应用。

骁龙888的NPU运行AI降噪算法的时候，只能做到2FPS的性能且耗能巨大，而前置的Marisilicon X可以轻松实现40FPS的处理能力，功耗仅为797mW。从这一点上，至少在计算摄影领域，把Marisilicon X叫做骁龙8Gen1的救星也不为过。

除了20bit RAW域高速实时处理能力，Marisilicon X还提供了对20bit Ultra HDR的性能支持，4倍于FindX3 Pro的动态范围。过去其实头部厂家都有自己的HDR算法，但受限于SoC的能力，一直很难满血发挥。Marisilicon X在RAW域就介入HDR的计算，这是手机领域里非常罕见的。

为了让这颗计算摄影处理器达到最佳的性能，OPPO为它设计了影像专用内存子系统。

一般来说，AI神经网络在运算过程中会不断地展开，有很大的feature map，这些数据如果通过系统内存去读的话会产生较高的读写延迟，以及额外的系统能耗开销。OPPO在NPU内部提供了一个超高速片上SRAM缓存去加速AI神经网络的运算，这个片上缓存的数据交换速度达到万亿比特/s。

除了片上缓存之外，Marisilicon X也内置了Extra LPDDR 4X内存，它可以提供8.5GB/s的速度。这个扩展内存帮系统整体带宽提高了17%，并且专为前置的计算摄影服务。

在之前那篇关于OPPO为何要造芯片的文章里，我提出一个观点：“OPPO想获得和自身市场地位相配的资本市场评价和消费者评价，就必须自研核心技术，做全流程的自研体系。”以计算摄影为例，OPPO已经提出了全链路10bit（随着RAW精度的提高和算力提升，未来可能会升级到12或者18bit）的概念，这意味OPPO必须采用自研的SoC（或者Marisilicon X这样的RAW域专用计算摄影处理器），自研或者算法固化，独占定制的CMOS、完全自研的算法和特别设计的光学模组来达到真正的全链路10bit。这个过程缺一不可。苹果这么干，成功了；华为这么干，也成功了；无论是索尼或者三星公开市场的CMOS，亦或是大立光舜宇公开市场的光学模组，再或者高通或联发科的旗舰级SoC，都只能为所有客户做普适性优化，不可能为某家厂商做深度的，有特色的优化。联合研发，一般情况下能参与到产品需求定义、功能定义、原型机测试和算法联合开发就已经相当不易，像华为那种从麒麟SoC到独占RYYB CMOS再到XD Fusion体系一条龙的研发，这在公开市场是不可能的。华为和苹果很早就意识到公开市场的产品和方案无法满足成本优势和差异化优势的需求，只能走自研的道路。

如果说FindX3世代OPPO提出的全链路10bit是从影像信号采集、计算、输出、显示进行定义的话，那么这次独占RGBW的IMX709和Marisilicon X的加入，才是真正全链路10bit RAW计算影像的历史开端。Reno7 Pro上那颗IMX709充其量只能算残血版，因为它获取的信息依然经过压缩最后交给天玑1200进行处理。而真正的满血版猫眼感光自拍，应该来自于IMX709的RAW域配合Marisilicon X的前端计算能力。OPPO把这个叫做RGBW Pro。

传统的RGBW是采用猜色的方式进行RGB的输出，后果很明显，就是降噪遇到挑战且有可能偏色。当有了MariSilicon X作为SoC和CMOS Sensor之间的中间桥梁时，就可以让Sensor直接出RGGB和W。也就是说它的W信息不需要再被转化掉，由MariSilicon X处理之后再进行feature×RGBW再给到SoC。这样的处理的方式的话，在Image SNR（信噪比）方面会提升8.6个dB，因为是两条RAW（RGGB+WWWW）流程处理，在图像解析率方面会提升1.7倍。这是非常惊人且实用的表现。

所以小结一下，OPPO这颗自研IP的影像专用NPU，它最核心的作用，就是在最前端的RAW域提供高达18TOPS的算力和11.6TOPS/w的能效比。在RAW域提供20bit精度的RAW计算能力和20bit位宽的Ultra HDR计算能力，同时把计算结果输出给SoC。这颗芯片解决了全链路影像流程中信息采集和计算的问题，为SoC后端提供了比以往压缩过的信息量丰富得多的信息，从而从根本上解决了噪音、画质、色彩等核心问题。

最后，我们再来探讨一下OPPO为什么要做芯片。因为目前基于公开市场解决方案的移动设备影像能力到了天花板，OEM们不可能依靠高通、索尼、联发科、三星去解决差异化的需求问题。所谓的联合研发把能做的，该做的，不该做的都干了，但依然没有达到苹果和华为的那个效果。原因上面说过了，公开市场芯片和算法无法针对某个特定的产品设计需求进行独特优化，但是全流程自研的芯片和算法，却可以。为了打造真正的高端产品，满足产品定义，OPPO只能选择最难的路，当然也有人做成功的路——自研芯片，独占Sensor和自研算法。先从感知较强的计算影像领域开始做，以后再涉及其他方面。

这是业务发展的需求。从企业战略来说，OPPO到了一个需要重新定义公司属性的时候。根据CounterPoint的2021年Q3全球手机厂商份额数据，欧加集团（合并OPPO+realme+一加），目前欧加国内市占率第一，全球份额前三。

如此庞大的得份额，依然无法满足用户对差异化体验的需求。就像我说的，躺在公开市场解决方案基础上的份额，那叫养蛊，终于一天会被吃掉。在发育的过程中，能否异化裂变出别人没有的优势，这确实是OPPO当下最需要考虑的事情。做一家优秀的Fabless（无晶圆厂半导体设计公司），先从先进制程下自研IP的影像处理器开始做起，通过独占Sensor，真正掌握端到端的计算摄影差异化能力，这是接下来进军CPU和GPU的良好开端。CPU和GPU，都可以购买ARMv9的IP授权，但自研IP的能力也不能丢。

OPPO是个敢为天下后的企业，做一家Fabless，又是个后起之秀，做长期主义的主人，耐得住寂寞，我们才能看到OPPO发布高性能SoC的那一天，希望这一天来的不晚。

MariSilicon X作为OPPO第一款自研芯片，面临最多的问题应该就是“到底有啥用”。

对于消费者来说，这个芯片能带来什么体验上的实际提升？

对于上游芯片供应商来说，OPPO自己做芯片了，是不是以后就翅膀硬了？

而对于OPPO自己来说，这个芯片带来的问题就更多了。

为什么要做？

怎么做？

能回本吗？

能建立产品优势吗？

如何转化为销量或溢价或品牌？

长期价值在哪？

如何坚持做下去？

…………

MariSilicon X受到的所有挑战，都必须要做出充分的回答，有一套完整的逻辑去解决实际存在的问题，不然很可能昙花一现，迅速被砍掉。

因为做芯片实在是太烧钱了，3年500亿做研发可能只是一个小小的开始。

相信大家已经看过很多MariSilicon X的硬件分析了，我希望可以从一个更整体的行业高度，来向大家讲述一个我理解中的MariSilicon X。

首先我们看MariSilicon X在消费者端的价值。

MariSilicon X作为一款影像NPU芯片，最直接面向的就是消费者。

一句话总结MariSilicon X在体验上最大的升级，就是可以在拍4K分辨率视频的时候，可以开启HDR和AI了——这是算力性能上的提升。

同时因为MariSilicon X前置于SoC，所以相机取景器也可以做到所见即所得了——这是拍摄便利性的提升。

因为MariSilicon X不仅AI算力强，而且内置了ISP，7nm制程下，专事专办的MariSilicon X还可以让手机更省电——这是续航上的提升。

所以说十一个字就能总结清楚了：更高清，更省电，所见即所得。

我们回顾一下OPPO影像上的技术路径的话，会发现这一切都是有迹可循的。

在Reno4系列发布会上，发布了自研的Live HDR和超级夜景视频算法，可以在视频拍摄的时候进行多帧合成，大大加强了逆光和弱光下的视频拍摄体验。

当时在我们的实际体验中，虽然体验的提升非常明显，但成片的帧率显然不够，画面变化一旦快起来，就会有明显的掉帧的感觉。

所以在Reno4的稿件中我对于OPPO自研的多帧合成算法给了很高的评价，但是也给了场景的限定，只适合于固定镜头，或者缓慢移轴的场景。

这套算法解决了很多场景下“拍不到”的问题。

而在Reno5系列发布的时候，OPPO进一步将Live HDR和超级夜景进行了融合，一起做进了AI视频里面。

手机会自动AI识别弱光或者逆光环境，匹配对应场景的算法。

Reno5系列手机开机后默认开启AI视频模式，也就是说之前还需要用户自己根据场景去选择开启算法，但从Reno5之后这一切都交给AI了。

后续Reno5系列还更新了一个算法，将超级防抖又做到了AI视频里面，彼时这基本就是安卓阵营最接近iPhone的视频拍摄体验了。

但还是有一个很大的遗憾，即使后面Find X3系列有了更强的芯片和CMOS，AI视频依然只能拍摄1080P30帧的格式。

因为——

能效顶不住了，4K分辨率的HDR AI视频需要的算力实在是太顶了，现有的解决方案交不出足够的可用性。

大家平时可能不用手机拍视频，对于拍4K视频没有什么直观的感受，我作为一个用手机拍了三年视频的博主来个大家讲一个简单的场景。

如果我直接用安卓手机拍4K视频的话，那么大概率拍十分钟之后，它会因为过热而自动停止拍摄，这时候上手去摸的话，会感觉非常烫手。

这不是最可怕的问题，最可怕的问题是，具体拍摄出来的素材，在大概三四分钟的时候，就会出现明显的画质劣化和帧率下降，六七分钟之后就会频繁出现严重的画质劣化。

后来我就想了一个解决方案，那就是给手机上一个石墨烯的散热后壳，再套一个半导体制冷的散热背夹上去（电流表实测工作功率10W），这样的话才可以保证4K视频比较长时间保质保量的视频录制。

就这样手机自带麦克风的收音基本上就毁了，收到的全是散热背夹的风扇音，必须要外接一个蓝牙麦克风才可以保证收音。

而我这个只是普通的4K视频拍摄，而不是HDR+AI的4K视频拍摄。

可想而知，在现有的平台下放开HDR AI 4K视频拍摄，那估计一分钟就会强制关闭相机应用了。

但是有这么一台手机是可以做到4K分辨率下正常的的HDR拍摄的，它叫iPhone。

苹果是怎么做到的呢？

它有着非常强悍的AI算力，以及更为强悍的能效比。

iPhone是没有AI视频开启关闭的选项的，因为它一直所有的算法一直都是AI判断的，它会在合适的时候，执行合适的算法，彻彻底底让消费者做到完全的省心。

而MariSilicon X这次所做到的，就是这件事情，可以让消费者在使用OPPO手机的时候，可以不用担心过热，或者画质劣化等问题，拿起来就拍，既有高分辨率，也有高动态范围，不惧怕逆光，更不怕弱光。

而明年第一季度搭载MariSilicon X的Find X系列，可能是安卓阵营第一台整合了HDR AI 4K 超级防抖的超级全能视频拍摄手机。

想想就令人兴奋。

于是自然而然地，我们也来到了第二个问题。

OPPO自研芯片之后，是不是面对上游芯片供应商——比如高通，从此翅膀就硬了呢？

对于这个问题，有一个最基本的现实。

MariSilicon X不是SoC，OPPO手机不会因为搭载了MariSilicon X，就不采购高通的芯片了。

这是两个完全分开的事实，既不矛盾，也没有关系。

就好比高通的芯片自带了高音质的能力，但手机厂商也会再搭载一个音质芯片，以追求更高的音质。

虽然高通有端口可以给手机播放视频玩游戏进行MEMC处理，但手机厂商还是会搭载一个画质芯片，以追求更好的画面表现。

这一切都不是因为高通不好，而是因为高通的能力都是通用的，大家都有的，是公版的。

既然是大家都有的能力，还怎么打出差异化呢？

所以手机厂商自研芯片，其实是基于市场竞争的需求，为了打破同质化竞争的僵局。

那么芯片厂商已经提供了能力，OPPO再自研芯片，是不是在重复造轮子呢？

显然不是。

1. 芯片厂商提供的是通用的工具，在市场上无法形成差异化。
2. OPPO有一些差异化的需求，芯片厂商也无法立刻满足。

比如MariSilicon X不仅可以实现4K HDR AI的视频拍摄能力，而且还可以将拍摄的功耗降低，它就是一颗为了影像而生的定制芯片。

那么如果其他的厂商想要实现同样的视频拍摄能力，要不就等芯片平台提供足够的算力，并且达到足够优秀的能效，要不就只有自己亲自上阵，也自研一颗像MariSilicon X这样的芯片。

不管是其中哪一个路径，要不就等芯片厂商升级，要不就需要同样多的时间和投入去造芯片。

其实不仅是这种先进的技术特性了，就算是Reno7上面那颗RGBW的IMX709，为了能让SoC能够处理RGBW的信号，也需要经过两次转换，中间也就损失了大量的信号。

为什么呢？因为现在的SoC无法直接处理原始的RGBW信息。

那么现在OPPO看好RGBW的技术路线，认为未来这条路线能够让消费者的体验达到最好，但是SoC这边处理RGBW又必然会有画质损失。

那么OPPO就只能自研一颗芯片，前置于SoC，直接对接到CMOS。

信号经过MariSilicon X充分运算之后，再进入SoC的ISP进行最后的处理。

这样的话，既使用了专用芯片，保证了效率最佳，也减少了画质的损失，优化了处理流程。

而这只是OPPO想要推进的两个方向而已。

当然随着芯片厂商的技术不断进步，当然会有更高的性能和更好的能效，但总的来说SoC的性能只代表一个公版的水平。

靠公版或许可以苟活，但绝对无法生存。

没办法，中国手机行业就是这么残酷，OPPO身处这个行业，OPPO也很绝望……

所以MariSilicon X出现之后，很多人解读说，什么为了避免卡脖子啊之类的，我觉得都挺奇怪的。

MariSilicon X是6nm制程啊，6nm中芯国际也造不了啊，怎么就可以避免被卡脖子了呢……

我觉得就单纯是中国手机行业太卷了，OPPO为了生存下去，被迫要自研芯片，就仅此而已……

但是既然决定要造芯片了，上面的内容只是回答了为什么要做芯片。

接下来OPPO要面对的问题就太多了。

MariSilicon X是一个NPU，这一代已经做到了4K HDR AI的规格，下一代呢？

8K HDR AI？

超级夜视仪？

手持高速摄像机？

而这些新的技术特性能建立起产品的优势吗？

或者说，新的卖点能不能转化为销量？

自研的芯片能否让OPPO的品牌更加高端，以此让消费者为溢价买单？

有了更好的品牌，更强的产品，自研的芯片才能提供了一个良性循环的造血，以此让研发的投入能够部分回本？

说实话，以上的问题都是有肯定的答案的。

新的技术特性一定可以建立新的产品优势，而持续迭代的自研形成的技术护城河也一定可以建立更高端的品牌。

但你要问我是不是MariSilicon X一经推出，OPPO的品牌就会立竿见影，均价立刻拉高一千，那我的答案是否定的。

我认为OPPO做芯片，一定是一件长期主义的事情。

MariSilicon X的运气比较好，一次流片就成功了，但如果失败一次，6nm每次仅流片的费用就需要一亿元左右。

而围绕MariSilicon X提供新的技术特性，要适配不同的SoC平台，不同的CMOS，以及第三方的软件。

构建了完整的应用生态后，还需要配套的营销重拳出击，不断反复地向市场进行投放，让消费者构建对于OPPO全新技术主义的认知。

尽了一切的努力之后，还要等待市场给予的反馈，再进行确认修改，重新再继续出发。

这个结果不一定就是好的，但OPPO知道这件事情是一定要去做的。

为什么呢？

有很多原因。

因为市场太过同质化，所有竞争对手都在探索差异化的可能，OPPO必须也去做自己的探索。

因为手机影像硬件的进化不是永无止境的，手机始终就这么大的空间，只有计算影像才能救得了手指腱鞘炎。

因为SoC的迭代并不总是尽善尽美，当SoC翻车的时候，OPPO总得有自己能够把控住的环节——我坐飞机是因为我相信这个交通工具，但你不能说我带个降落伞是盼着你坠机。

又或许因为芯片制程到了6nm已经是一个分水岭，也许往后还会有升级，但物理学已经注定了大家不会一路狂奔了，半导体行业会在这个节点上停留一阵子，也许OPPO在这个节点上有一些零碎的弯道超车的机会。

而在攻坚MariSilicon X的时候，OPPO也将累积自己芯片设计的能力，在6nm这个节点上，OPPO可以搭建自己一整套芯片体系。

要知道手机里面可不只是SoC，所有功能都有其对应的芯片。

你还要知道，需要用到芯片的不只是手机，还有平板，PC，电视，路由器，汽车……

MariSilicon X只是一个开始，你要问我它有什么用，直白地说，就是能让你拍东西更清楚。

但要说它对于OPPO的意义，那将是OPPO探索地球最深海沟第一缕光。

最终OPPO将照亮整个马里亚纳，当然这将是一个很长的过程。

但最终它会亮的，因为OPPO只有这么一个选择。