pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
如何看待周志华等人的新书《机器学习理论导引》？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
全连接层的作用是什么？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如何证明数据增强（Data Augmentation）有效性？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
如何看待百度无人车， 三千多个场景，一万多个if？如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
如何判断两个Deep Learning 数据集的数据分布是否一致？
关于tensorflow中的滑动平均？
如何评价「Patches are all you need」?
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
结合深度学习的图像修复怎么实现？
如何评价AWS的图神经网络框架DGL？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
国内做NLP业务的香侬科技值得去吗？
基于深度卷积神经网络进行人脸识别的原理是什么？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
如何看待何恺明最新一作论文Masked Autoencoders？
深度学习在信息安全的应用有哪些可以关注的人或论文？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
人工智能可以解决人类难题吗？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
让人工智能去下路边街头的象棋残局会赢吗？
是不是并不是所有问题都适合用神经网络预测？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
深度学习中有哪些数据增强方法？
如何看待MXNet获得amazon官方支持首位？