mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？Learning To Rank的pair wise方法如何得到全局排序结果呢？
图像处理和机器学习有什么关系？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
为什么机器学习解决网络安全问题总是失败?
CPU和GPU跑深度学习差别有多大？
相关的话题
为什么读论文最好打印出来读？为什么说深度学习没有理论基础?
有哪些看了让你醍醐灌顶的书籍、论文、期刊，使你对如何做数据挖掘、特征工程、统计挖掘有了眉目？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
南京大学LAMDA（周志华）组的实力如何？
机器学习中macro-F1的计算公式？
编写基于机器学习的程序，有哪些编写和调试的经验和窍门？
三门问题(蒙提霍尔悖论)变种，如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗？
深度学习做股票预测靠谱吗？
有什么深度学习数学基础书推荐？
如何看待微软小冰写的诗？
人工智能已在哪些领域超越了人类的表现？
如何看待与评价 AAAI 2022 的录用结果？
机器学习系统MLSys中有哪些比较有前途的研究方向？
PyTorch中在反向传播前为什么要手动将梯度清零？
Batch normalization和Instance normalization的对比？
未来五年，数据科学家（Data Scientist）的岗位需求会如何变化？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
深度学习如何入门？
机器学习，数据挖掘在研究生阶段大概要学些什么？
985工科研一觉得快要退学了怎么办？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
cygwin和mingw选哪个？
怎样从机器学习模型中获取知识？
你见过最差的算法工程师能差到什么程度？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
联邦学习在机器学习领域有什么独立存在的价值?
如何评价深度学习之父Hinton发布的Capsule论文？