mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
如何评价沐神他们写的《动手学深度学习》这本书？
自然语言处理怎么最快入门？
为什么交叉熵（cross-entropy）可以用于计算代价？
当前（2020年）机器学习中有哪些研究方向特别的坑？
人是如何做黑盒优化的？
PRML为何是机器学习的经典书籍中的经典？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
相关的话题
实验室一块GPU都没有怎么做深度学习？如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
人工智能被高估了吗？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
神经网络中如果一个重要特征C等于特征A+特征B（算数意义上的相加），选特征的时候还有必要选特征C吗?
机器学习为生物学和医学研究带来了哪些改变？能解决哪些医学难题？
为什么dropout正则化经常在视觉方面使用而不是其他？
如何评价亚马逊AI新开源自动机器学习项目AutoGluon?
2021 年各家大厂的 AI Lab 现状如何？
计算机视觉是否已经进入瓶颈期？
已有大量编程基础，如何速成python用于学习机器学习？
机器学习中有哪些形式简单却很巧妙的idea？
机器学习包含哪些学习思想？
如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论？
如何看待Capsule Network在NLP领域的潜力？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
插值和拟合最根本的区别是什么？机器学习为啥用拟合？？
有监督和无监督学习都各有哪些有名的算法和深度学习？
目前有哪些比较成功的人工智能应用？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
怎么通俗地理解张量？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
深度学习领域有哪些瓶颈？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
如何看待西安电子科技大学偷偷给贫困生打钱，大数据精准帮助贫困生是否值得推广？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
如何看待QQ邮箱翻译出他人的快递通知？