pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?当前（2020年）机器学习中有哪些研究方向特别的坑？
深度学习（机器学习）的下一步如何发展？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
AMD的CPU是否适合搭建深度学习主机？
现在的人工智能是否走上了数学的极端？
人是如何做黑盒优化的？
为什么学习深度学习感觉无法入门？
基于深度卷积神经网络进行人脸识别的原理是什么？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
如何评价 DeepMind 新提出的关系网络（Relation Network）？CVPR2022 有什么值得关注的论文 ?
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
基于深度卷积神经网络进行人脸识别的原理是什么？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
如何评价PyTorch 0.4.0？
新手如何入门pytorch？
图片上训的模型，怎么迁移视频上呢？
如何看待百度无人车， 三千多个场景，一万多个if？
有哪些比较好的元学习（meta learning）领域的学习资源？
现在的人工智能是否走上了数学的极端？
为什么PyTorch的GPU训练推荐用NCCL而不是Gloo？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
为什么要压缩模型，而不是直接训练一个小的CNN？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
搞机器学习的生环化材是天坑吗？
如何评价Sony新出的深度学习库NNabla？
神经网络中的能量函数是如何定义的？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何评价DALL-E模型的实现？
有哪些途径把自己的计算机贡献出去搞分布式云计算？
如何看待NVIDIA 即将开源的DLA？
如何评价 PyTorch 团队推出的推荐系统库 TorchRec？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
神经网络为什么可以（理论上）拟合任何函数？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
如何评价 2018 年度图灵奖颁发给三位深度学习之父？