如何看待Google下一代人工智能架构Pathways? 第1页

更新：

对于Jeaf Dean的观点，回去和公司的几位算法大佬又探讨了一下，总结一下观点：

先简单的谈谈对Pathways的几个关键点的看法。

Pathways一文，三个要点，其实是两个方面：

• 一是关于智能模型能力提升的两个点：one model fit 'all' tasks (multi-task)和multiple senses(multi-modeling)；
• 二是切实影响了AI平台架构的一个点：sparse activation，dynamic-routing。

关于第一方面，多任务，是智能算法一直在发展的方向，多任务模型问题在于任务到底有多么多？泛泛的说多任务，其实需要看这些不同的问题之间，内部是否具有通用的机理，多任务的模型对各个任务都有增益；多模态，其实也是智能算法一直在发展的方向，到底融合哪些信息，其实是一个按应用分场景的问题。我们认为，在多感官信息融合，类似拟人机器人等场合，为了丰富信息来源，本就是必然的；如何多信息融合，不一定有一个通用的最优模式。

总之，关于第一方面的两个点，如果泛泛的一股脑的多任务多模态，效果未必就好，甚至可能过于理想主义。关键要看是否必要：智能模型的部署，至少要粗略的分两种场景，数据中心的巨无霸，和边缘终端等专一小模型，在计算力和能耗上不得不考虑。 如果是面向更强或者更通用的智能的研究，怎么探索都不为过。 只是多任务和多模态，对所谓下一代AI架构来说，个人感觉不是最关键的。

关于第二方面，文章提到的GShard和Switch Transformer等代表的稀疏激活/动态路由等机制，确实会对AI平台的架构产生影响。

我们认为除了Jeaf Dean提到的几个点外，下面几个方向也会深刻影响AI架构未来，值得关注：

1）当前AI计算模式和理想模式的差距；

AI算法最基本的两部分，表达和优化。前者NeruralNetwork/DeepLearning对平台来说是算子的DAG；后者BackPropagation对平台来说是计算梯度然后逐层调整权重。对于后者，从计算流程上看，形象的说，就是ABCDE层前馈，然后EDCBA反馈，一轮又一轮。每一轮，输出对标签的“全局”错误信号，本质上要的逐层传播到最前面的层。

对比人脑，很难找到这种全局错误信号的一轮次一轮次的同步的传播，做到基于物理邻接的层(节点）的错误信息进行学习，应该才是更理想的表达和学习的机制。其中Local Learning是对该问题的研究，曾经系统的跟踪了这些方向：Predictive Coding，Proxy Objective，Feedback Connection，Weight Constraint，Synthetic Gradient，Target Propagation，NGRAD GlobalErrorVector DistributionalCodeDopamine，Biological Plausibility，Equilibrium Propagation，Extra X-Learning。

按照不同的"Local"思路，进一步展开看：

• 朴素的物理原则/生物机制(关联和竞争) ：Hebbian/ContrastiveHebbian /Grossberg/Oja/LWA/…

Random Feedback Weights

• 辅助网络学习调节：RL for Local Learning/MetaL for Local Learning/
• 时变比对：Real Time Recurrent Leaning/Recurrent Backpropagation/Eligibility Propagation(资格传播)/Equilibrium Propagation(均衡传播) (No.3)
• 生成模型：Target Propagation/Difference Target Propagation/Predictive Coding （No.1）
• 反馈连接比对：Feedback Connections/Direct Feedback Alignment (No.2)/ Deep Feedback Control
• 对称权重或符号：Weight Mirror & KP+/ Weight Symmetry/ Sign Symmetry
• 神经/脉冲启发的扩展图（节点）：SpikeGrad/
• 其他：NGRAD/Neural Gradient Representation by Activity Differences / Dynamic Stimuli(动态刺激) Trace Learning/ GlobalErrorVector Broadcasting/ Node Perturbation(节点扰动)

我们需要从三个维度权衡出一条好的路线：1) 能否规模化学习深度网络处理复杂大任务，2) 是否具有局部学习之外的其他学习能力（在线，增量，持续），3) 是否具有硬件友好性（哪怕是全新的可行的底层硬件结构）。

可惜到目前为止，这些方向的研究进展，都还没有达到期望的效果。

回到我们讨论的AI下一代架构的话题上来，Local Learning/Non-BP/Gradient-Free的突破，应该是对架构影响最大的，直接对DAG和BP的冲击。

2）类脑等神经科学发展和相关机制/思想被引入智能算法的影响；

在Bio-Brain和Brain-like的神经计算中，我们觉得这几个关键特征，对AI架构影响很大，现在的AI平台在计算流程中并没有很好的支撑：Asynchronized，Full-Parallel，Pipeline Inference，Sparse Activation，Dynamic Routing。

以异步、高并行度来说，每一个神经元都可以看成一个带有独立内存的和独立芯片的完整的计算单元，甚至更小的神经突触都可以看成异步并行的单元。

以Pipeline Inference来说，人脑是不间断的在做Inference，而且Learning/Train和Inference是紧密的结合在一起的，现在即使是Online Learning也是相对明确可区分的Train和Infer。

当然，另外一个大的方向Spike NN如果能够在CV，NLP等主要的问题上效果超越，AI的平台架构也将是大的改变甚至重启。

Pathways提到的关键点中，包含了Sparse Activation，Dynamic Routing；而Multitask-SingleModel，MultiModeling我们任务对AI架构冲击不大。

3）AI算法发展可能引出的架构需求；

在AI算法发展中，如Reservoir Computing，那种Dense的Topology和Recurrent的计算流，如果大型的网络，会对当前的AI平台有一定挑战。 当前AI算法能较好的解决很多类型的问题如CV,NLP的，特别Transformer为主的巨无霸模型大有一招鲜吃遍天的感觉；但还有一些问题求解极其糟糕，比如Math-Problem（参见google，facebook等公开的一些数据集和当前AI解决的进展），在这些问题上，堆规模几乎无用甚至还有反作用，我们分析，可能Modularity Compositional-Generalization，Neural Memory，High-Integrated Complex Reinforcement Learning，Discrete/Non-Differentiable Algorithms等会是潜在的突破方向；这些方向对AI下一代的架构，可能会有冲击，虽然还不太明朗。

4）AI重量级应用方向的计算的特点；

笼统的说，相对通用的问题如CV,NLP的AI的算法发展进入了一个平缓期，我们认为AI+Science，诸如生物、材料、数字艺术等领域，会有更多的人力物力会投入进来。

这些方向，我们已经感受到一些对AI下一代架构的冲击或诉求：

1）在生物制药、物理材料、求解器等科学问题上，有一类共同的问题：Size Generalization或Scale Generalization。如果我们叫传统的泛化为Instance Generalization，即我们训练和推理的输出结构一样，需要的泛化能力是对新样本的正确预测。而Size/Scale泛化，则是在一个小体系上训练，需要在大若干倍的体系上预测。在Protein/AlphaFold，RL|GNN-TSP，Material等场景已经存在。这既需要算法支持，对平台也有一定的冲击，比如计算图动态能力，超大规模数据结构（不一定稀疏）的支持。

2）同样，在科学计算领域，广义物理世界的很多问题，是含有时间因素的，即Time Dependent。无论是原子，分子，到蛋白质，到细胞。含时对模型和平台都有新的挑战。

综上，我们分析了包含Pathways一文三个关键点中真正对AI Architecture有影响的Sparse-Activation/Dynamic-Routing，也分析了其他一些有潜在大冲击的方向，特别是Local Learning和AI Science Computing。 当然最近期看，Sparse-Activation/Dynamic-Routing是已经最急迫的需要，大模型上由平台原生支持：类似Dynamic-Dispatch这种面向用户的API/算子，和内部在节点内和节点间的Sparse Activation来低能耗大模型计算。

瞎扯一下：

1、试图通过多模/多通道/动态路由/稀疏激活来模拟人脑，但是没有描述大脑中很重要的一个特征-局部学习，所谓局部学习指全局可以分为许多module，每个module可以做局部BP，module间可以灵活组合；Pathways总的来说还是使用全局BP，是个全局学习。

2、感觉没有和DeepMind进行沟通啊，像AI+科学计算这种范式没有描述，比如Alphafold2，通过传统的方程或者传统的实验方式得到一个小的数据集，然后通过神经网络训练从小体系扩展到大体系。

这个想法和实施在Google内部是比较早以前就在做了，在前几年的学术会议和一些技术沙龙里其实已经能听到相关的信息。在 @谭旭 的回答里也把学术研究中公开的线索也梳理了一下。仔细去挖掘的话，技术进步的过程总是存在草蛇灰线的联系。

在一些非Google家的研究工作里也有一些相近的insights，会观察到dense模型训练过程中存在大量的神经元处于conditional activated的状态，比如建模角度的这个工作以及硬件架构设计leverage ReLU sparsity的一些工作（我映象中Cerebras、NV和寒武纪都有过相关的工作）。

能把这个想法推进到技术趋势的角度，确实是G家和Jeff Dean对行业的贡献了。因为除了基于实验现象的观察和insights以外（这个学术界和工业界都会有所发现），还需要一些要素

• 持续压强投入所需要的资源调动能力（很少有公司能够提供跟G家相近的资源，也很少能够有像Jeff Dean这样的人可以对G家这种规模公司的资源具备这样强的驱动力；华为的资源压强能力和不被上市财报约束的特点能保证资源投入，但恐怕内部在AI领域目前也找不到一个像Jeff Dean这种技术和威望资历兼具的人物，另外场景和数据也显著不如G家；NV能够有足够多的资源，也具备压强投入深度技术的特点，也可能找到不那么高调但驱动资源能力强的leader，但缺失了业务场景和数据）
• 优秀的AI infra支持（这方面G家一直是行业标杆了）。我看到Pathways的消息，一个拍脑袋式的联想是，也许这是G家通过定义上层workload和建模trend来抄底AI框架乃至整体AI技术栈把控力的一种可能手段，比如TF和PyTorch，以及G家TPU和NV GPU的技术栈合纵关系的演化。
• 软硬全栈(软件全栈包括系统和建模)的技术人才储备，虽然TPU这两年的宣传力度比前两年弱化了不少，在Google之外的环境下用到的也比较有限，但能够在MLPerf这种军备竞赛式的场景下和NV打成目前这个状态，作为新兴的垂直芯片入局者，这个结果其实是非常出色了。我其实觉得，Transformer这类体现出一定通用性的建模building block，再加上Pathways这种会和全栈系统设计牵连非常密切的建模Methodology，很可能为G家在AI硬软技术全栈上争取到更大的话语权起到重要的作用。互联网to C时代得用户者得天下，AI system领域，把控住建模入口，对于把握整体技术栈的演化，也会起到决定性的作用，成功的例子其实是PyTorch，不过其是通过易用性而不是建模方法论的变革在当时的existing格局下撕开了口子继而奠定自己的地位。
• 场景和数据。这恐怕是华为、NV、Intel以及其他的AI芯片公司这类硬核AI生态players最羡慕也是目前最稀缺的资源了吧。对Workload的定义没有话语权，当workload的定义者同时也是支撑workload运行的系统开发者时，对于硬核players们还是一件蛮难受的事情。这也是我理解为什么在多年以前，华为会决定做Mindspore的一个战略性的思考原因，虽然目前Mindspore的生态还没有大成（最近的宣传Mindspore会更受关注，但实际生态来说，其实国产框架里PaddlePaddle表现会更好一些），但这种AI软硬全栈的打法，确实会更有想象力一些。我个人的推断，其他自研AI芯片的公司，不论互联网大厂还是独立的硬件公司，都会在深度集成AI框架之后，会越来越发现对AI workload这一层没有掌控力难受的地方，只是目前大家大抵还没有到这个阶段，所以矛盾还没有突显。

从一个技术趋势的提出，来推敲一下背后的深层次的原因和逻辑，可能是对从业人员及公司更有帮助的事情吧。技术趋势不断在变，是一朝风月，而背后支撑技术趋势演化的第一性原理，是万古长空。当然，工作总是辛苦的，现实总是骨感的，也不可能都是纯粹的技术理想化的状态，所以适度地也多一点阿Q式的自嘲自乐精神，坦然拥抱可能的技术彩票效应也是有必要的：）。

通用大模型+多任务+稀疏共享（路由），等新风口的同学可以抓紧上车了

顺便推荐一篇我们之前的工作：Learning Sparse Sharing Architectures for Multiple Tasks, https://arxiv.org/abs/1911.05034