mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
未来 3~5 年内，哪个方向的机器学习人才最紧缺？基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
学习机器学习有哪些好工具推荐？
关于材料计算，模拟，仿真什么区别?
Transformer是如何处理可变长度数据的？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
现在互联网公司还有做特征工程的工作吗？
有监督和无监督学习都各有哪些有名的算法和深度学习？
相关的话题
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？机器通过主动学习能为人类生活带来怎样的改变？
为何中国人迷恋吴恩达的机器学习课？
人类大脑的聪慧程度以 IQ 为标准，那么人工智能的水平用什么指标来衡量呢？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
行为识别常用哪种特征提取？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
R 中的哪些命令或者包让你相见恨晚？
你有哪些deep learning（rnn、cnn）调参的经验？
如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
为什么读论文最好打印出来读？
你实践中学到的最重要的机器学习经验是什么？
t-sne数据可视化算法的作用是啥？为了降维还是认识数据？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
如何评价Momenta ImageNet 2017夺冠架构SENet?
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
如何评价深度学习之父Hinton发布的Capsule论文？
Python 如何画出漂亮的地图？
目前手势识别发展到什么水平了？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
pytorch 的高层库ignite怎么样？
如何判断两个Deep Learning 数据集的数据分布是否一致？
如何评价Google发布的第二代深度学习系统TensorFlow?
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
未来五年，数据科学家（Data Scientist）的岗位需求会如何变化？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
神经网络中的能量函数是如何定义的？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？