mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
transformer中的Q,K,V到底是什么？DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
为什么要压缩模型，而不是直接训练一个小的CNN？
深度学习底层开发对数学有哪些要求？
如何解决图神经网络（GNN）训练中过度平滑的问题？
当前（2020年）机器学习中有哪些研究方向特别的坑？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
如何评价 On Unifying Deep Generative Models 这篇 paper?
学习机器学习应该看哪些书籍？
求通俗解释下bandit老虎机到底是个什么东西？
相关的话题
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
TVM 最新发布版本 0.3 有哪些亮点？
2021年，ncnn发展的如何了？
神经网络的万能逼近定理已经发展到什么地步了？
如何理解压缩感知(compressive sensing)？
如何评价 BERT 模型？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
人工智能可以解决人类难题吗？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
Batch Normalization 训练的时候为什么不使用 moving statistics？
有没有必要把机器学习算法自己实现一遍？
普通FPGA工程师怎样向人工智能靠拢？
如何看待阿里巴巴提出的 FashionAI 比赛？
如何看待Capsule Network在NLP领域的潜力？
机器学习的算法和普通《算法导论》里的算法有什么本质上的异同？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？
近几年有哪些关于机器学习中隐私（Privacy）和安全（Security）相关的研究值得关注?
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
为什么在R语言里多用<-而不是=表示赋值？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？