未来影像旗舰一定要有专用 NPU ？ 第1页

在宣布要自研造芯两年多以后，12月14日的INNO DAY大会上，OPPO交出了第一份自研芯片成绩单——MariSilicon X影像NPU芯片。

与此前坊间流传的版本略有不同，这次发布的MariSilicon X并非单纯的ISP芯片，而是包含了ISP的影像NPU芯片。ISP变成了NPU，这两者间的差距还挺大的，所以我想尝试着来找寻一下答案：为什么要升级做成影像NPU？影像NPU能为OPPO手机带来什么样的加分？

在找寻答案之前，我特地去做了一点功课，搞清楚了两个问题：

• 第一是现在的手机影像软硬件关系如何？
• 第二是手机影像是怎么得来的？

当下智能手机影像的软硬件关系

这个问题很多人都比较清楚，我尽量简要一点来表述。

通过前一个十年的同场竞技，业界已经基本公认了影像是智能手机的主要赛道之一。同时大家也从苹果和华为的成功背后得到启发，基本认同了“手机影像的软硬件一体化开发”才是打开高端大门的密码。

但要获取这个密码，对于OPPO等基于通用芯片平台开发产品的手机厂商而言，还是很困难的。因为他们的上游芯片厂商，不管是高通还是联发科，都无暇为某个客户单独“开小灶”，小修改可以谈，大规模修改自己的产品设计和规格等等，别想。

所以OPPO和他的同行们，都只能立足于这两家芯片厂商提供的通用平台来做软硬件适配和算法优化，而且这个工作还是单向的，多数情况下只能是手机厂商去适应平台，而平台所能做的相应调整却少之又少。

这些年间，OPPO不是没有努力过，可就算他们在其他元器件和算法等方面再怎么努力，但到了图像计算处理的关键点，还是得乖乖回到现有的通用平台框架下来。

这种感觉怎么来形容呢？

高通、联发科提供给OPPO及其他厂商的就是精装房，苹果、华为的则是连隔墙都没有的框架结构的毛坯房。

精装房看似省心，但布局和硬装已经定了，剩下的就只能是这里挂一张画，那里摆个雕塑，甚至打墙都不能随意，很难再去做更适合自己的个性化修改。而毛坯房则不同，只要业主自己懂设计且审美水平高，那么就能装出非常适合自己生活习惯和独特风格的漂亮家居来。

我们现在吐槽手机功能高度同质化，其根源就在于大家都是在差不多的格局里，做着有限的优化。能做出一定的差别，但也非常有限。

手机影像是怎么得来的？

如果单是讲清楚手机影像的成像过程，网上随便搜一下，都能找到各种原理图。比如这样的：

这个过程要用文字来解释也不算晦涩或复杂：

真实的景物或人物通过光学镜头被传感器记录，传感器将Bayer RAW域信号通过光电转换变成模拟电信号，再通过消噪等转换处理之后，传输进入SOC的ISP（数字信号处理器）做更多的图像处理。

图像信号从被传感器记录下来到进入ISP的整个过程中，会经历“RAW—RGB—YUV”的色彩格式转换过程。影像在传感器这个节点生成的是RAW格式，但最后交由ISP处理的时候则是YUV格式。

RAW格式是图像的原始记录格式，保留了最多的图像信息，同时线性度和色彩比较好。既然说起RAW格式这么好，为什么不直接调用RAW格式来做处理，而非要转换为YUV格式呢？

因为RAW是并不是最适合人眼观看的格式，图像发灰、反差也较弱，原始的RAW格式图片用惨不忍睹来形容也不为过。同时如果直接调用RAW格式来处理，对芯片算力和算法的要求都比较高。

为了更直观讲述这个差异，我们用单反拍摄了RAW和JPG格式的照片，RAW格式直出的图片色彩黯淡，反差较弱，明显发灰。

从我阅读的一个资料看，RAW转换为YUV格式的过程一共涉及到了十几个工作环节，其中我们比较熟悉的有：坏点和降噪调整、白平衡调整、Gamma调整、CC校准（Color Correction，色准）等等，就……很繁杂的一系列工作过程。

我们在手机里刚刚拍摄完一张照片后，立即点开查看，往往会有一个几秒钟以内效果变好的过程。这就是最典型的ISP工作场景：先拍后算，拍摄完成后争分夺秒地优化图片。

MariSilicon X为啥不是ISP而是NPU？

铺垫了1000多字，主角总算要来了。对不起，如果不搞清楚背景，就很难理解主角的光环因何而生。

我们都有看到，OPPO一直在强调MariSilicon X不是ISP，而是影像NPU。

看到这句话我还真是心有戚戚焉，这就像我每次给别人说我拍的照片不是用滤镜，而是调色，调色。

了解清楚MariSilicon X的种种细节和工作表现之后，自然就会明白OPPO如此在意“名分”的原因是什么了。

从物理层面来解释，与Google的TPU同为DSA架构的MariSilicon X，除了包含了一个自研的ISP之外，同时还有一个自研的AI计算单元+一个速度可以达到万亿比特/秒的内存子系统。

MariSilicon X首先在设计架构和规模上就已经摆脱了ISP的影子，而从工作原理来说：ISP的算法是前置相对固定的，但MariSilicon X的AI计算单元是具备学习能力的，能协同ISP一起来做很多事情。

当然，这只是在物理结构方面的分析，芯片的强大与否，还是要从算力、能效比、运算速度等多个维度来分析。

性能更强，功耗更省

从发布会上OPPO官方给出的数据可以看到，MariSilicon X的算力可以达到18TOPS。对于不太懂AI算法的人来说，这个数字还蛮抽象的。但幸好我们有一个对标的参照物：今年iPhone13系列上的A15芯片的NPU算力是15TOPS。

有了这个比对，你大概就能秒懂MariSilicon X的算力是有多高了。

仅仅看峰值来评估一颗芯片的算力是不客观的，因为只要不考虑实际商用条件，通过加大面积等手段来堆算力，芯片的算力都还能继续往上冲。可芯片作为高度集成在手机里的一部分，电池的续航能力和机内的温度高低都是非常重要的限制条件。比较手机产品是最会搞妥协和平衡的，各组件之间都是需要相互照顾。

这时候，就迎来了另外一个重要的参考值——“能效比”登场了。

关于这个参数，MariSilicon X为11.6TOPS/W。其实我觉得这个参数都不直观，不如我们通过另外一个例证来了解MariSilicon X的能效比有多惊人！

在OPPO今年的旗舰级Find X3 Pro上使用AI降噪算法优化画面，如果用通用平台的NPU来完成，每秒只能做2帧，且需要功耗约为1693毫瓦。但OPPO的工程师将MariSilicon X搭载进Find X3 Pro的原型机，用MariSilicon X的NPU来做同样的工作，达到了40帧/秒，且功耗只有797毫瓦。

运算能力提升20倍，功耗降低一半，这个表现意味着什么呢？意味着OPPO未来的手机可以对高清视频做AI降噪，意味着OPPO的影像优化能力已经可以从容应对视频级了。

算力提升之后，数据吞吐量就很容易成为新的瓶颈。也是为了避免这样的悲剧发生，MariSilicon X也做了专为NPU服务的内存子系统。这个子系统的速率大家在发布会上的PPT里也看到了，可以达到万亿比特/秒。

超高速率的内存子系统能为MariSilicon X提供什么基础能力呢？马上就会讲到。

实时RAW和超高HDR处理能力

我们前面有聊到RAW格式转换为YUV格式就是为了减轻芯片的算力负载，但从“RAW—RGB—YUV”这个转换过程中，每转换一次都是有信息损耗的。

如果你对信息损耗的感知不明确，这个图一定能让你瞬间就比任何人都懂信息损耗。

这还没有涉及到信号损失，就是正常的在手机里传来传去，都能被消磨下去。当然手机内部转换导致的信号损失没有这么夸张，我们这里主要是为了让大家更直观理解。

那用RAW格式作为信号源的优势在哪里呢？我们继续用RAW格式和JPG格式文件来说明。这两张图的原始曝光数据是完全一致的，但在加了3档曝光之后，差别就出来了。

我们用白色圈出了几个主要的差别点，比如黑色幕布的细节，可乐瓶的文字，蓝色飘带的编织纹理等等，RAW的细节保留也都更为完整清晰。同时JPG格式的图片上，可乐罐的噪点已经开始明显产生，而RAW格式的图片依旧很干净。

用RAW格式来处理图像的优势其实蛮明显的，只是过去受限于硬件水平，算力也不够，数据传输也是瓶颈，所以才采用了转换YUV格式的方案。现在OPPO因为有了MariSilicon X芯片的算力支持，算力和数据吞吐都不再是问题，就可以直接用RAW格式来进行影像优化运算。

MariSilicon X上的 MariNeuro AI计算单元（NPU）和MariLumi 影像处理单元（ISP）都是OPPO的自研IP。得益于算力强悍+信息完整（RAW）+超采加持（RGBW Pro）的多重优势，MariLumi 影像处理单元的HDR能力也达到了目前业界的领先水平。

MariLumi 影像处理单元的HDR能力为20bit，这就是说：用搭载了MariSilicon X的手机去拍摄的画面里，最亮点和最暗点可以达到100万倍的对比度，而采用通用平台的Find X3 Pro的这个数据仅为25万倍。

我们完全可以想象一下，如果我上面的这张照片场景是用搭载了MariSilicon X的手机来拍摄，亮部不会过曝失去细节，暗部也不会是现在这样的死黑一团。

从RGBW到RGBW Pro：芯片与传感器的第一次亲密接触

今年早些时候，OPPO发布了其RGBW排列的传感器方案。这是OPPO耗时六年与索尼的联合研发成果，但高通和联发科的通用平台是不支持这个传感器方案的。得不到SOC“祝福”的新传感器方案很难将优势最大化，最后OPPO只能通过算法修改，将RGBW的信息转换为RGB信息，再传输给SOC自带的ISP进行运算处理。

而在MariSilicon X上，OPPO就明显找到了“我的地盘听我”的感觉。为了最大化发挥RGBW的优势，OPPO将传感器其所采集到的色彩信号分为了两组：一组为RGGB、一组为W，这两组数据分两路进入在MariSilicon X，在这里进行汇合运算，再将运算结果传递给SOC，做下一步处理。

通过这个一分一合的数据运算，得到了两倍RAW格式的影像数据，图像获得了更丰富的纹理细节。相比之前直接将RGBW转化为RGB的算法，RGBW Pro算法的影像信噪比提升了8.6dB，解析率提升了1.7倍。

当然，这次为了将MariSilicon X做到极致，OPPO也是下了血本，MariSilicon X的制程采用了台积电的6nm制程。6nm制程不仅是交钱就能去排期生产，同时也意味着对这支初创芯片团队的考验极大，也响应提升了研发的风险。

不过现在看来，应该是安全过关了！

MariSilicon X对OPPO未来产品力的提升

回头去看OPPO在智能手机的十年，为技术创新而上下求索，却又始终都差了那么一点意思。

单以影像能力为例，OPPO进行了一系列的元器件定制化创新，涵盖了传感器、镜头模组、镜片等等。

在影像算法上，OPPO在人像领域的深度更是堪称绝对领先。我身边的几乎所有女性用户在试过OPPO手机的自拍之后，都是好评不断。我也曾用OPPO Find X3 Pro在正午阳光下拍逆光人像，其准确识别人脸并给出合理曝光的表现，让我一直记忆犹新。

但即便如此，芯片作为影像技术的核心部分，同时也是起到决定性作用的部分，还是成了OPPO心头无法绕开的那道坎。

如果我们将影像系统比喻成一个人，过去的元器件定制都是完成了手脚和躯干，但要释放出OPPO自研AI算法以及其他定制技术的强大能力，还是得回到打造“最强大脑”的路径上来。

这或许也是OPPO不满足于做ISP，而是一上来就要做影像NPU芯片的原因。同时，面对纷纷启动独立ISP研发的各家友商，OPPO也因为深知单一的ISP不足以在竞争激烈的市场中赢得长久的优势。

通过在原型机上测试得到的优秀表现，MariSilicon X已经让我们完全可以预见明年的Find X新款旗舰的影像卖点：

• 全球领先的AI影像算力表现；
• 噪点极低、画面干净的高清夜景视频和照片；
• 前所未有的高动态范围影像画面；
• 所见即所得的图像和视频拍摄体验
• 更好的续航能力和更低发热

“MariSilicon X+RGBW传感器+自研AI影像算法”所释放出的OPPO影像能力新高度，从未像此刻一样让人迫不及待地期待过！

MariSilicon X是OPPO影像产品力的单点创新突破，是自研芯片从零到一的启程。因为MariSilicon X的诞生，不仅让眼下的OPPO手机的算力更强，算法更快，更是支撑OPPO走得更远的良好开端！

计算摄影是未来，自研芯片也是未来，当所有关于未来的牌面都叠在一起的时候，这对OPPO和其他中国品牌一样，都意味着机遇和挑战！

MariSilicon X对智能手机行业的影响

智能手机的第一个十年，研发的推动关系是自上而下的，是芯片、系统等上游厂商用技术驱动产品迭代更新的十年。所以每一代的新品发布，基本都是一场硬件参数的背书会。

伴随着消费者成长和市场成熟而到来的第二个十年，用户的需求越加成为首位，“体验”二字成为了各家品牌的高频词。而ISP芯片与SOC之间的分分合合，可以算得上是伴随用户为导向成长起来的典型产品更新场景。

从最早以外挂形式进入手机芯片序列，到整合进SOC成为高度集成化的一部分，再到如今以个性化开发的新姿态重新独立出来。甚至到了MariSilicon X这里，开始以NPU的形态来赋能影像计算。厂商的这些动作背后，其实都是源于更加关注如何提升产品的综合体验，以赢取用户对品牌的忠诚度。

影像只是用户导向趋势下抛砖引玉的第一块砖，对用户的洞察，对体验的重视是消费电子产品发展到一定技术高度之后必然无法绕开的方向。

MariSilicon X对整个产业链而言，代表着一种新的创新模式正在悄然形成，也代表着产业链的创新驱动核心正在位移。

马里亚纳海沟是地球上最深不可测的地方，OPPO以此来命名自己的芯片计划，本身就是一种态度的说明：对技术的追求和挖掘、对用户需求的跟进和实现，都永远不会有尽头，也永远都值得深入再深入……

为什么影像旗舰需要专用 NPU？

其实我还是想用 Apple 的 M1 来类比。

之前我一直都认为 M1 是 Apple 根据自己用户的需求，专门定制的结果，因为 Apple 知道自己的用户中很大一部分都是内容创作者，他们需要更强的媒体处理性能，就可以在 SoC 里从硬件层面做出改变。

为什么要自己定制，因为上游供应商给出的解决方案不能满足自己的需求。

NPU 最擅长的就是图像处理，更确切地说，是 AI 神经网络地图像处理。这和它的原理有关，我们都知道 GPU 是可以大量进行加减乘除的简单运算的，而目前图像识别处理最常用的一种方法是卷积神经网络：

在卷积的原理就是通过卷积核计算图像的原始信息，在这个过程中需要对两个矩阵的元素进行相乘后相加，为了保证边缘信息不被覆盖，还需要额外补一圈 0, 这意味着计算量的大幅提升。

比如说我们现在拍一个 4000*3000 的 1200 万像素图片，它有 4000*3000 个像素，每一个像素都有 RGB 三个值，在这一步就有 1200*3= 3600 万个数据。

如果我们去用 3*3*3 的卷积核去做一个卷积的话，最终需要 3.2 亿次的乘法计算和接近 3 亿次的加法，所以这对于一个 GPU 来说压力也是很大的。

那 OPPO 这一次做的影像专用 NPU, 也是一样的思路，OPPO 认为自己的用户需要更强的影像效果，这时候 SoC 厂商给的芯片也跑不动 OPPO 的算法，OPPO 就需要自己来定制一个 NPU 芯片解决自己的需求。

正好 OPPO 自己也有芯片团队，直接做 SoC 肯定也不现实，NPU 相对来说难度低一些，也有大量的商用场景，所以 OPPO 第一颗芯片是影像专用 NPU 也就顺理成章了。

---

  evenstar 网友的相关建议: 
      

从技术上来说，专用Npu是垂直整合的需要。这里的专用NPU不一定非要独立的芯片，毕竟那玩意还得占用主板位置，还有功耗问题。用IP的方式甚至胶水的方式整合进Soc也是一样的。垂直整合是消费电子产品做出差异化优势和体验的唯一途径。刘作虎和我聊天的记录里写的很明白。

回头看消费电子史，从最早的游戏机，到后来的手机，Mp3，内置的自研功能芯片是必须的，这是苹果，索尼，东芝，任天堂已经证明成功过的事情。就拿索尼来说，历史上索尼定制的芯片多了去了，全部都是为了垂直整合解决方案。谁都知道索尼电视的黑科技来源于那颗芯片，为什么索尼不买联发科或者海思的公版芯片呢？因为无法垂直整合。佳能在第一代EOS300就开始自研Digic ISP，为什么？也是这个原因。

所有公开的SOC方案，思想负担太重了，厂家无法做垂直整合。看苹果的伟大历史，她真是什么芯片都做，并且把一体化做到了极致。华为这么干，也成功了，不光是手机，华为的家用路由器用海思的芯片，特别是PLC芯片，就是吊打同价位的高通和联发科大路货。

无论是索尼，东芝，苹果，还是华为，他们已经证明过完全基于公开芯片和算法的产品是极大的负担且做不好最牛的品质，然后他们成功了。那么其他公司为什么不能效仿？

未来影像旗舰机，可不是自研NPU这么简单，而是要像刘作虎说的那样，把垂直整合做到极致，自研的一系列芯片和算法是必然的。顶尖的产品，硬件一定是封闭的，这是丢掉公版负担的优势。

不要整天骂苹果，人家三十年前就看穿了这一切，乔布斯的伟大正是如此。也别老说索尼不行了，索尼在垂直整合思路上的能力和预见性，依然世界一流。

更别说OPPO做个NPU没用，这颗芯片是迟早进SOC的，成为OPPO SOC的组成部分。

芯片形态没那么重要，影像旗舰一定要垂直整合到极致才是真正的影像之光。供应商的组装整合，是永远做不成顶尖的！

---

  liu-yan-14-92 网友的相关建议: 
      

马里亚纳X是OPPO造芯的一小步，也是OPPO踏进自研“坑”的一大步。从马里亚纳X这颗芯片的功能来说，OPPO这步走得不错，他们小心翼翼地填平了第一个坑，为自家未来的自研和高度化定制铺了个不错的开头。

这年头，手机影像需要的算力，太大了。

人工智能高速发展的基础是算法、数据和硬件算力。

算法、数据和硬件算力组成了人工智能高速发展的三要素，缺一不可，通常也被称作人工智能三驾马车。

如果用火箭来比喻人工智能，那么存在以下对比关系：

数据=燃料

算法=引擎

算力=加速器

由高性能硬件组成的计算能力是人工智能技术应用的保障，但以前的硬件算力尤其是移动设备的算力并 不能满足人工智能的需求，后来GPU/NPU等硬件加速器和人工智能结合后，移动设备的人工智能应用才迎来了真正的高速发展。

4k视频需要强大的算力。

4k视频分辨率是3840*2160，OPPO之前说过打通了10bit链路，那么就按照10bit来计算，假如是4k@30Fps，那么一帧就是3840*2160*10*3=30M，而处理这一帧的时间仅有1/30秒，如果没处理完，就得拖到下一帧。

换句话说，一张800W像素的照片，必须要在1/30秒内处理完成HDR，否则就是不合格。这个比日常手机需要处理的速度快得多，我们平时手机拍完一张，大多数手机是1200万像素，3-10帧合成，处理上一两秒甚至更长时间。但手机处理照片的时间，拿到视频拍摄，就是不合格。

——这也是为什么大部分手机在4k录像的时候，手机会发热。光是编解码就消耗了大量精力，更别说还需要做图像处理。

也因此手机们夜景视频的质量比不上夜景照片，毕竟运算时间不够。

或者，再举个极端点的例子，上个回答提到的特斯拉FSD和ADAS。

目前主流的ADAS传感器大多不带ISP——为了降低可能出现的发热形成的噪点——把所有信号都交给SoC处理。

因此，目前绝大多数ADAS的摄像头都是800万像素以内的CIS，特斯拉大多是200W像素，不像手机要往千万甚至亿级像素竞争，其主要原因也是——算不过来。车载CIS需要应对的情况更复杂，需要反应的时间更短。简单算一下，如果计算时间是30ms，那么一辆100km/h速度的汽车在30ms内就已经跑了0.83米了，多的不说，撞飞个人还是绰绰有余的。因此各路只能尽量怼算力，尽可能快的处理完成数据，才能真正实现自动驾驶。

拿特斯拉的FSD芯片来说，特斯拉的摄像头串行接口留了25亿像素/秒的处理速度，以及内部集成了24bit流水线的ISP，用来处理8个HDR CIS，每秒具备10亿像素的处理能力。而FSD的两个NPU加起来也就是 73.7TOPS@int8 的处理能力，比马里亚纳X也就高了三倍左右。特斯拉FSD同样采用了大缓存的方式，集成了32MiB的SRAM缓存，用以快速吞吐。

——马里亚纳X好像也是这个理念。

打通定制的链路，也需要强大的算力。

拿IMX709来说，这颗CIS来自于OPPO的定制，在读取方式上就很有意思。OPPO定制预留了接口，这颗CIS的图像信息输出有两种方式：

一种是片上融合输出，即在CIS端融合明度信息，并解出相应的RGB信息，然后由OPPO定制的ISP片上合成后输出。这种方式速度很快，但在片上融合的过程中会损失一部分图像信号，交给处理器的ISP之前就少了一部分信号。

另一种是单独分别输出明度信息和RGB信息，交由外部的ISP处理。在这种情况下，马里亚纳X会接收到两路信息，处理完成后再交给SoC里的ISP处理。因此在这种条件下OPPO表示，SNR可以提升8.6dB，即一倍多，图像解析度可以提升1.7倍。

从另一个角度来说，这颗NPU，是OPPO未来能大胆定制其他CIS的基础。

光有算力还不够，还需要——能效比。

移动设备和嵌入式设备的电能供应及散热条件有限，因此提高移动设备的硬件算力和能源效率同样非常重要。

下面是从社区收集的常见CPU/GPU的算力及能效资料

可以看出 2TOPs INT8 / W 是目前独立GPU/NPU板卡比较优秀的水准。

对比可见，OPPO的新王炸马里亚纳X所具有的18TOPs INT8的硬件算力已经接近独立硬件加速器的性能，其11TLOPs/w的能效比更是逆天的级别。

这也是OPPO选择6nm的重要原因。

一方面是6nm是当代先进制程的重要代表，7nm EUV的升级版。成功流片，说明OPPO家一整套先进造芯流程打通了。

另一方面，6nm也是拼极致的能效比。这年头给一颗专用芯片上6nm，实在是，太奢侈了。NV家的3080都还在用DUV的8nm。

作为对比，其他家试水大多是用12nm或者更高制程。

比如地平线家的旭日系列是12nm；Google家初代TPU也是12nm。

燃鹅，6nm还不够，还需要自研IP。

对于OPPO来说，市面上并没有成熟的影像处理专用NPU的IP，这玩意儿需要高速吞吐，需要单独的影像调节。所以，MariNeuro和MariLumi两大核心IP，是OPPO设计，甚至部分I/O接口，也是OPPO设计的。

也就是说，OPPO现在已经具备一定的6nm级别从自主设计到流片的一整套体系了——即使是对于老玩家，这也算是个不错的成绩了，何况OPPO还是个新玩家。

补一句，从台积电法说会透露的信息来看，他们的先进制程研发进度也比前两年稍微慢了一点点，明年才有望4nm量产，而用上GAA还得两代。

自研IP可能也还不够，所以OPPO采用了DSA架构

在人工智能及深度学习飞速发展过程中，人们发现原有移动处理器的算力无法满足深度神经网络（Deep Neural Networks，简称DNN）这种特定的大量计算的需求，于是针对某个应用领域或应用场景而特别定制的一系列芯片架构被设计出来，此类架构被称作领域专用架构（Domain Specific Architecture，简称DSA），区别于传统CPU/SoC芯片中所使用的以冯·诺依曼架构或哈佛架构为主体的架构设计。

近年来，使用DSA架构设计的移动端专用芯片如雨后春笋般层出不穷，例如谷歌的Tensor处理器、Movidius的Myriad X VPU视觉处理器 、地平线公司的旭日（Sunrise）系列AI处理器等一系列具有代表性的设计。回到DSA这个概念上，其中的Domain其实是是一个度的范畴，比如说Nvidia的A100 GPU是AI与HPC的DSA，Fujitsu的Afx64 CPU也是HPC的DSA，Nvidia的Xavier是自动辅助驾驶的DSA，谷歌的TPU1/2/3/4是AI的DSA，那么这个Domain对于马里亚纳MariSilicon X来说，它是如何定义的呢？答案是影像。马里亚纳MariSilicon X是OPPO的首款自研芯片，也是全球首颗为影像而生的专用NPU芯片。

通常来说，一个DSA架构的NPU芯片不可或缺的设计有向量计算单元、标量计算单元、存储单元等，本质上是一种对AI算法（例如各种深度神经网络）作进一步特定优化的硬件结构，它们可以极好的加速深度神经网络计算，使各种定制AI算法的执行效率更高，提高了深度学习算子对通用场景及特定场景的匹配度。例如，其中经过特别设计的计算单元可以以很高的效率（通常仅使用8位整数或16位半精度浮点数进行计算，速度极快但精度略低）来运行深度神经网络算法相关的矩阵乘法、卷积及张量计算，具备高速处理梯度流及数据流的能力。同时，得益于NPU芯片中的高速独立内存的大带宽，采用这样的设计后，NPU中一条指令便可完成大量数据的计算，这些数据会并行的进入到计算阵列中同时进行计算（可以认为是多条车道），提高了数据处理的并行度。

体现在实际效果上，DSA架构的NPU芯片可以快速的得出AI算法及模型的推理结果，使同一个算法以前需要秒级甚至分钟级处理时间的速度被加速成实时或超实时处理（例如超分辨率、风格迁移、智能HDR、AR/MR增强等），并且能够在很大程度上降低手机设备的能源消耗，使手机CPU得以从繁重的图像处理任务中解脱出来，从而提供更好的操作体验和更长的电池续航。

——11.6TLOPS/W的能耗比，远高于需要处理通用任务的SoC。

总结

OPPO开始芯片自研，并开启大规模招人，是中国这两年芯片设计行业快速发展的节点性事件。虽然我没有确凿的证据表明，芯片设计行业薪酬待遇提升就是从那时候开始的，但行业的转折点差不多就是那个时候。打那以后，就是芯片设计领域一轮轮的融资，甚至有些“鸡犬升天”的意思。

OPPO是这一轮自研浪潮中的佼佼者，这颗马里亚纳X就是这个阶段最好的成果：影像专用NPU芯片——有完整的思考和充分的下游应用；6nm制程——最快速跟上最先进的步伐；自研IP——自研到底。这是一条正确且艰难的道路，OPPO加油。

---

  CommanderYCJiangS117 网友的相关建议: 
      

这个问题问得很好啊，我的建议是看今年年会的摘要集：

中国化学会第32届学术年会 - 论文检索系统 - 中国化学会

可以看到有很多分会，不过计算化学分布得比较散，夹杂在各个分会中。各分会的主题可以从这里找到，可能相关的包括：

有一些主题是理论计算夹杂着实验的，还需要仔细辨别。回到摘要集，以第一分会为例：

中国化学会第32届学术年会摘要集-第一分会：物理化学前沿 - 论文检索系统 - 中国化学会

可以看到题目和单位全都标出来了，而且还可以下载。

显然，能找到相关方向的摘要的单位，就是开设了相关方向的院校，甚至还能精确到具体的某个课题组。

---