pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？如何看待Hinton的论文《Dynamic Routing Between Capsules》？
为什么学习深度学习感觉无法入门？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
wav2vec中的30ms是怎么得来的?
深度学习两张3080ti和一张3090ti哪个好?
如何看待End-to-End Object Detection with Transformers？
如何评价PyTorch 0.4.0？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
如何评价论文「Stochastic Training is Not Necessary ...」?如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
如何评价 NVIDIA 发布的 DGX-1？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
TensorFlow 有哪些令人难以接受的地方？
有没有必要把机器学习算法自己实现一遍？
多模态训练，怎么解决不同模态之间差异的问题？
如何将手中 20 多台旧电脑，组建一台超级计算机？
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
有什么算法能对一个长短不一的时间序列进行分类预测?
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
TVM 最新发布版本 0.3 有哪些亮点？
计算机视觉是否已经进入瓶颈期？
迁移学习与fine-tuning有什么区别？
如何理解深度学习中的deconvolution networks？
为什么要压缩模型，而不是直接训练一个小的CNN？