mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
有监督和无监督学习都各有哪些有名的算法和深度学习？如何可以通过自学来深入学习机器学习？
如何理解MCMC中的细致平稳条件？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
神经网络，人工智能这块怎么入门？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
transformer中的Q,K,V到底是什么？
如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
相关的话题
如何理解空洞卷积（dilated convolution）？如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
用 TensorFlow 可以做什么有意思的事情？
人工智能已在哪些领域超越了人类的表现？
人工智能领域有哪些精妙的数学原理？
Transformer是如何处理可变长度数据的？
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？
机器学习该怎么入门？
如何看待北京交通大学学生在 ATM 机内学习?
CVPR 2019 有哪些值得关注的亮点？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
当前人工智能特别是深度学习最前沿的研究方向是什么？
多模态方面，有哪些牛组值得我们follow他们的工作？
有谁给解释一下流形以及流形正则化？
什么是meta-learning?
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
为什么神经网络具有泛化能力？
如何评价论文「Stochastic Training is Not Necessary ...」?
如何评价Google Duplex（打电话AI）在特定领域已经通过了图灵测试？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
目前有哪些比较成功的人工智能应用？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？