MPI 在大规模机器学习领域的前景如何？ 第1页
1
mli65 网友的相关建议:
这个取决于场景，如果要在超算（super computer）上跑机器学习，用MPI是不错的选择。但在云上，不管是公有云的例如AWS/Azure/GCP或者私有云，MPI没有太多必要。
MPI定义的是接口，具体用的时候我们是用某个特定的实现，例如openmpi或者mpich2. 为了简单，这里统一叫MPI。
用MPI实现机器学习是没问题的，不管是对高维稀疏模型还是深度学习。MPI的接口在一些算法的实现上很方便，另外一些地方（例如异步）绕一绕也是可以的。例如虽然MXNet没有用MPI，不过使用MPI来实现个kvstore的backend也是可行的。
MPI的一大优势是支持各种网络硬件，例如infiniband和Intel Omni Path，或者网络拓扑结构，例如cray的dragonfly。通常MPI会做各种针对性的优化从而得到不错的性能。这一点
@SIY.Z已经提到了。
这个优势主要体现在超算上。而对于云，通常使用常见的网络硬件（例如Ethernet）和连接结构（multi-rooted tree），MPI做的优化通常不会有太大效果。
在云上，MPI的一大问题是容灾。任何一个节点出问题会导致整个任务失败，会导致运营成本增加。（回答里面有提到百度有MPI集群。我当年是最大的用户，一度使用超过50%的节点。对于这一点我是深有体会，例如凌晨3点起来重启任务。）
所以结论是，如果要在云上跑机器学习的话，MPI前景不大。但如果是使用Top500类似的超算，MPI是不错的选择。
siyz 网友的相关建议:
这个4年前的问题选择在这个时间点突然出现在我今天的时间线上显得非常 亦可赛艇！
Android是2008年初才发布，而Oracle在2009年就以7.4B$收购了Sun，是Google不够睿智吗？
非也！
1）如果Android没有如此成功，Java对于Google而言就是一坨shit，Google从来没有想到自己会站在一坨翔上面取得空前的成功，如果有算命的告诉Google的命中贵人是阿翔，它就是穿越回去吃也要把它吃下去，可惜历史不能假设！
2）Google一直有python基因，很多系统都是基于python的，你知道工程师主导文化的可怕性吗？这帮pythonic的nerd出于情怀或者节操或者叫清高或者叫偏执或者叫真爱，它说什么都不会去买Java的，“老子看不上”！谁知造化弄人，09年你对我爱答不理，18年老子叫你高攀不起88亿！（注：今天的Google在各种收购之后，Java服务的比重占的也非常大了，变成了一个杂合的技术栈，而官司也很可能打到高院，尚未定论）
3）Google一直有跟开源保持共存共荣共襄盛举的传统，它跟Mozilla做生意，赞助开源项目，捐赠Wiki，主张“不作恶”，简直就是一副乌托邦理想主义者的化身，圈粉无数（包含答主），像Java这种项目，它更可能的方式是烧一笔钱给它花，然后来几句“希望Java明天会更好”之类的废话，它根本就不曾想过有一个家伙抄底了，因为那时候Android根本就没有火，Google从来就没有想过Java也T-M-D算哪门子“底”？
4）Sun的主手人也是个技术型的，就是技术牛掰业务做的稀烂，当时怎么看Sun都处在夕阳，SPARC也是逼格满满业务下滑被Intel捣的稀烂，那个价格没有几家觉得划算的，幸好是Oracle这种剑走偏锋的收购了它，要是换一家公司收购多半就把Sun雪藏甚至捣腾碎了，Java也就没有今日风光了，而Google在坊间也有创业公司杀手的美称，也许这就已经是历史发展的最好结果了。
什么，你问我对于Oracle收购Sun和MySQL怎么看？
还能怎么看？好白菜都让猪给拱呢呗！
但是作为吃瓜群众，我最喜欢看大佬们掐架，Google与Oracle的这场官司绝对酸爽，大家保持关注，各家都有千百号律师，吵起架来想想都 亦可赛艇！学知识产权法/专利法/法理学的同学们千万不要错过，说不定两年后就能进教材作案例呢！
什么，你又问我Google应该怎么做？
靠，我有不是劈柴！按我的观点，Google这次是违反了Java的使用协议的（无意引战，定论的事情留给专业法官），不能因为体量大就以为能压死人，那可是在美帝，万事全靠律师一张嘴，怎么讲都有理！
大家还记得微软以前有个skydrive吗？在英国被判败诉了，最后也得改名叫OneDrive呢！Google有钱了不起啊，过来领罚单！
而Java的坑早早就埋在那里了，所以苹果直接一刀切：老子不支持，免得搞一嘴毛！Flash一身毛病，一刀切，老子不支持！
所以，我对Google的建议是：
从Android 10开始，一刀切：老纸永生永世不再支持Java！
名字我都起好了： Badroid！
这TM不是关乎技术，不是关乎信仰，不是关乎生态，不是关乎用户体验！
这TM关系到命！
什么？要我预测结果？
法官中间调停，你们俩和解，google把赚的钱按每部手机给Oracle付钱？什么你说太扯了？你每买一部Android，都要给微软钱，你造吗？Oracle就想躺着就把钱收了！
ma-chao-61 网友的相关建议:
这个4年前的问题选择在这个时间点突然出现在我今天的时间线上显得非常 亦可赛艇！
Android是2008年初才发布，而Oracle在2009年就以7.4B$收购了Sun，是Google不够睿智吗？
非也！
1）如果Android没有如此成功，Java对于Google而言就是一坨shit，Google从来没有想到自己会站在一坨翔上面取得空前的成功，如果有算命的告诉Google的命中贵人是阿翔，它就是穿越回去吃也要把它吃下去，可惜历史不能假设！
2）Google一直有python基因，很多系统都是基于python的，你知道工程师主导文化的可怕性吗？这帮pythonic的nerd出于情怀或者节操或者叫清高或者叫偏执或者叫真爱，它说什么都不会去买Java的，“老子看不上”！谁知造化弄人，09年你对我爱答不理，18年老子叫你高攀不起88亿！（注：今天的Google在各种收购之后，Java服务的比重占的也非常大了，变成了一个杂合的技术栈，而官司也很可能打到高院，尚未定论）
3）Google一直有跟开源保持共存共荣共襄盛举的传统，它跟Mozilla做生意，赞助开源项目，捐赠Wiki，主张“不作恶”，简直就是一副乌托邦理想主义者的化身，圈粉无数（包含答主），像Java这种项目，它更可能的方式是烧一笔钱给它花，然后来几句“希望Java明天会更好”之类的废话，它根本就不曾想过有一个家伙抄底了，因为那时候Android根本就没有火，Google从来就没有想过Java也T-M-D算哪门子“底”？
4）Sun的主手人也是个技术型的，就是技术牛掰业务做的稀烂，当时怎么看Sun都处在夕阳，SPARC也是逼格满满业务下滑被Intel捣的稀烂，那个价格没有几家觉得划算的，幸好是Oracle这种剑走偏锋的收购了它，要是换一家公司收购多半就把Sun雪藏甚至捣腾碎了，Java也就没有今日风光了，而Google在坊间也有创业公司杀手的美称，也许这就已经是历史发展的最好结果了。
什么，你问我对于Oracle收购Sun和MySQL怎么看？
还能怎么看？好白菜都让猪给拱呢呗！
但是作为吃瓜群众，我最喜欢看大佬们掐架，Google与Oracle的这场官司绝对酸爽，大家保持关注，各家都有千百号律师，吵起架来想想都 亦可赛艇！学知识产权法/专利法/法理学的同学们千万不要错过，说不定两年后就能进教材作案例呢！
什么，你又问我Google应该怎么做？
靠，我有不是劈柴！按我的观点，Google这次是违反了Java的使用协议的（无意引战，定论的事情留给专业法官），不能因为体量大就以为能压死人，那可是在美帝，万事全靠律师一张嘴，怎么讲都有理！
大家还记得微软以前有个skydrive吗？在英国被判败诉了，最后也得改名叫OneDrive呢！Google有钱了不起啊，过来领罚单！
而Java的坑早早就埋在那里了，所以苹果直接一刀切：老子不支持，免得搞一嘴毛！Flash一身毛病，一刀切，老子不支持！
所以，我对Google的建议是：
从Android 10开始，一刀切：老纸永生永世不再支持Java！
名字我都起好了： Badroid！
这TM不是关乎技术，不是关乎信仰，不是关乎生态，不是关乎用户体验！
这TM关系到命！
什么？要我预测结果？
法官中间调停，你们俩和解，google把赚的钱按每部手机给Oracle付钱？什么你说太扯了？你每买一部Android，都要给微软钱，你造吗？Oracle就想躺着就把钱收了！
1
相关话题
本科数学，目前在读计算机研一，毕业的时候想要应聘数据挖掘工程师，看了对数据挖掘工程师的招聘要求，感觉太宽泛了，希望能具体说一下现在应该准备哪些知识（算法？编程语言？其他？），谢谢！Linear least squares, Lasso,ridge regression有何本质区别？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
如何看待与评价 AAAI 2022 的录用结果？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
如何评价新Nature子刊Nature Machine Intelligence的出现？
到了 2022 年，人工智能有哪些真正可落地的应用？
简要概括人工智能?
现在的BERT等语言模型，最快训练要多久？
为什么神经网络具有泛化能力？
相关的话题
GBDT算法的细节问题？attention跟一维卷积的区别是啥？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
为什么deep lab v3起，输出不再接 DenseCRF了？
怎么通俗地理解张量？
精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
有没有可能设计一种虚拟货币，把需要解的问题替换为有实际意义的科学计算（比如天气预报，太空探索）问题？
已有大量编程基础，如何速成python用于学习机器学习？
Auto X的自动驾驶技术用了什么技术？
深度学习领域有哪些瓶颈？
编写基于机器学习的程序，有哪些编写和调试的经验和窍门？
人工智能在生活中的应用都有哪些？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
特征工程中的「归一化」有什么作用？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
如何评价Google Duplex（打电话AI）在特定领域已经通过了图灵测试？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
有哪些关于机器学习的真相还鲜为人知？
为什么说深度学习没有理论基础?
关于材料计算，模拟，仿真什么区别?
如何理解attention中的Q,K,V？
推荐系统应该如何保障推荐的多样性？
用于数据挖掘的聚类算法有哪些，各有何优势？
Partial Multi-Label Learning是什么？它的发展史又是怎样的？最新的进展如何？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
MPI 在大规模机器学习领域的前景如何？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？