百科问答小站 logo
百科问答小站 font logo



mxnet的并行计算为什么这么牛,是什么原理? 第1页

  

user avatar   james-82 网友的相关建议: 
      

个人理解

通过执行引擎来达到计算和收发的并行,例如后向时算完某一个参数的梯度后,执行引擎会立刻提交到发送队列中开始发送,这时候其他的后向计算还在进行中。

此外发送与接收的队列有优先级,时刻保证最高优先级参数的接收与发送

上述机制保证了对于较深的网络能够达到了很好的线性加速比,不过对于浅层网络,比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。

总的来说还是灰常牛逼滴!


user avatar   mli65 网友的相关建议: 
      

简单来说是当计算开销大于通讯开销时,通过并行两者可以达到将近线性的加速。

具体可参见 Sec 4.4 和 4.5

cs.cmu.edu/~muli/mu-the

ps: 这里有新的在256块GPU上的加速,和10台机器vs单机的收敛:




详细见:

dmlc/mxnet



  

相关话题

  请解释下variational inference? 
  目前工业界常用的推荐系统模型有哪些? 
  为什么中文 NLP 数据集这么少? 
  有没有必要把机器学习算法自己实现一遍? 
  新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗? 
  深度学习中Attention与全连接层的区别何在? 
  对于多指标评价,BP神经网络评价和TOPSIS有什么区别呢? 
  怎样让机器有意识? 
  AAAI 2022有哪些值得关注的方向? 
  为什么做stacking之后,准确率反而降低了? 

前一个讨论
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作?
下一个讨论
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台?





© 2025-01-22 - tinynew.org. All Rights Reserved.
© 2025-01-22 - tinynew.org. 保留所有权利