mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
如何评价 NVIDIA 发布的 DGX-1？如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
为什么最近几年 FPGA 变得越发受大家重视了？
有哪些相见恨晚的 TensorFlow 小技巧？
机器学习能否用于综合评价？具体怎么操作？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
能否对卷积神经网络工作原理做一个直观的解释？
Dirichlet Processes 是一个什么样的随机过程？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
相关的话题
消融实验是什么？如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
能分享你收藏的国外AI talk, seminar平台或网站吗？
能分享你收藏的国外AI talk, seminar平台或网站吗？
搞机器学习的生环化材是天坑吗？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
搞机器学习的生环化材是天坑吗？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
现在的人工智能是否走上了数学的极端？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
如何理解MCMC中的细致平稳条件？
有多少个数学家叫 Kolmogorov ?
人工智能在生活中的应用都有哪些？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
GAN 真的创造了新的信息吗？
graph convolutional network有什么比较好的应用task？
自学深度学习是怎样一种体验？
adversarial training为什么会起作用？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
未来20年，新技术将从哪些方面改变人的消费方式？
机器学习的解释模型存在嘛？
机器学习到底是什么，如何使用这项技术？
image caption这个方向更偏向NLP还是CV？
深度学习中，模型大了好还是小了好呢？
有监督和无监督学习都各有哪些有名的算法和深度学习？
ICLR 2019 有什么值得关注的亮点？
近几年有哪些关于机器学习中隐私（Privacy）和安全（Security）相关的研究值得关注?