为什么 GPU 的通用计算能力高于 CPU？架构原因？内核数量？ 第1页

回答问题前，知乎惯例：先问是不是。什么是“通用”计算能力？就是执行不特定代码的能力。完全不特定的代码，CPU能秒GPU十条街好吧？GPU强的是并行计算——这只是“不特定”里面的一些特例而已。仅仅某些特例的计算能力GPU强，就可以说“通用”计算能力GPU高于CPU么？

正面回答问题：

因为用处不同：CPU首要目标是流程控制，完成前面处理前后续处理流程通常是未知的。而GPU的首要目标是计算，一定程度内计算流程都是清晰的。

我们举一个例子，假设你很有钱，有一个很能干的私人管家（团队）：

某天早上你醒了 ，躺在床上刷知乎，突然看到这段视频：

然后你很想让三上老师现场给你跳一遍，于是你马上找管家，让他搞定这件事。

管家先在网上找到MUTEKI官网——日文的看不懂，于是他要先去找一个日语翻译；

然后MUTEKI说可以，但要先给定金，而且他们只收JPY——于是管家要去把你的USD兑换成JPY转过去；

为了让三上老师尽快过来，你打算用你的私人飞机去接三上老师——管家要联系好空管，申请航线；

结果MUTEKI说三上老师休假了，去了北海道玩不在东京——管家要去更改航线；

……

反正就是你的管家很能干，一顿操作下来，当天下午三上老师就到了，和你愉快的共进晚餐，之后还给你表演了一段舞蹈。

……

于是你觉得SKE48成员跳舞就是好看，想和你的朋友分享，于是你搞了一个表演经纪公司，时不时组织SKE48和其它女团成员来表演一趟。

管家花了大半天时间才找来一个人，经纪公司可以两三天就组织一批十多二十多个女团成员来表演一次，这么一个表演经纪公司只需要几个懂日语的文员沟通，日常开销比你的管家团队还低。是不是经纪就比管家团队的能力更强呢？是不是管家团队吃得多还干活不行呢？

CPU就好比管家，需要处理各种突发请求，需要处理的事情层出不穷。也许你看着电影突然脑子一闪，就想翻出十几年前的照片看一眼——CPU本来在解码视频，然后就要去硬盘上找你的照片，运行看图软件的代码去把照片显示出来；可能你一边在刷知乎看到勃勃的哪篇想法就要敲一大段文字去和他对线——CPU本来在执行浏览器的代码（先不说还有各种网卡驱动、网络协议调用之类的事情），只要你在文本框点一下鼠标，就要马上调用输入法代码来处理你的输入，根据你敲击的字母和顺序展现不同的候选词……

同时，CPU处理这些突发的请求，往往都是需要快速响应的——你不会接受因为自己原来在看视频，找张照片就要两三分钟，点击打开要几十秒才能打开来看；关掉照片继续看视频你不会希望停顿好几秒才能继续播放；更不会接受敲下一串字母后三五秒输入法才蹦出来候选词……

此外，绝大部分情况，CPU处理的事情是前面的事情处理完了，才知道后面要做什么事情。例如上面的例子中，没联系上MUTEKI，就不知道要去换外汇，也不知道要改航线。而我们很常见的一个文件访问操作，CPU不解析完路径就不知道去哪个硬盘哪个分区找数据，不找到上一级目录的数据并且分析完毕就不知道下一级的子目录/文件真正存储的扇区位置。如果是执行一个程序的话，不先找到这个程序的文件位置并把数据载入内存，就完全不知道后面要运行什么代码，运行代码的时候不计算出判断条件的结果就不知道要跳转到哪一段程序去执行后面的过程……

所以CPU耗费了大量晶体管和功耗，去实现种种可以缩短这些突发流程的处理时间的机制。例如高频率以及为了达到高频率把整个指令执行流程拆分成十多二十级流水；为了缩短代码跳转时间采用预测执行分支代码，在判断条件计算完成前就抓取某个分支代码并进行解码；对于没有结果依赖的代码采用乱序执行从而可以同时执行更多指令；缓存的目标是整个存储系统上的所有数据，需要更大容量的缓存……这些机制都耗费了大量的晶体管，而且这些晶体管在高频率下工作会消耗比低频工作高得多的功耗。为了降低功耗和进一步提升性能，需要一条指令可以做更多的事情，所以CPU有各种各样部分功能重合但又无法完全互相取代的组合指令，为了实现这些组合指令又消耗了更多的晶体管……

GPU计算能力强则是只针对特定的，需要处理海量数据、超大量数据可以分组计算、计算顺序无关不需等待上一组算完就可以算下一组、往往是算上一组的时候后面就有好几组数据等待计算这样的应用。因此：

• GPU需要很多核心，数据可以分成更多组同时计算，每一组的计算时间更短从而缩短整个计算时间；
• 在功耗限制下，每组核心能分配到的功耗很低，需要最大化能耗比，这意味着GPU的频率比CPU低得多；
• 低频率不需要太深的流水线；计算顺序无关所以不需要乱序执行；
• 大量数据等待计算，所以某一组数据计算过程中如果需要等待数据加载，可以先切换去计算后面几组数据，所以一方面必要用分支预测去先抓取后面的代码，另一方面缓存容量容纳下后续计算任务需要数据就足够；
• 还有一点，就是在GPU进行这些计算过程中，相对少量的流程处理是CPU去处理了——什么情况运行哪段代码，CPU通过驱动程序控制；需要计算哪些数据，这些数据存储在什么地方，CPU去找了……虽然相对GPU的计算来说，这些操作的计算量很少，但完全由GPU自己处理的话，GPU还真处理不了，就算能处理的，整个计算过程的时间也会有相当大幅度的延迟。

所以，GPU单个核心的结构比CPU简单的多，需要的缓存容量也小得多，自然可以节省下大量的晶体管，低频率又节省了大量的功耗，因此在一定芯片面积、功耗限制下，单个GPU可以容纳下比CPU多得多的计算核心。同样是台积电生产，5nm工艺生产的平头哥倚天710是128核心，每核心按照ARM X2公版计算为4个128位SVE单元；7nm工艺生产的NV GA100是108个SM单元，每个单元64×FP32+64×FP32/INT32+32×FP64；按照1×SVE=4×FP32=2×FP64算，倚天710和GA100的计算单元数量为2048:17280，接近1:8.5。