pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
如何看待Hinton的论文《Dynamic Routing Between Capsules》？如何评价AWS的图神经网络框架DGL？
为什么现在不看好 CV 方向了呢?
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
Resnet是否只是一个深度学习的trick？
为什么读论文最好打印出来读？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
如何理解今年发表在JMLR上随机森林算法SPORF？
你有哪些deep learning（rnn、cnn）调参的经验？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？三维重建怎么入门？
大家用resnet50在imagenet上面top1最高能到多少？
如何评价Deepmind自监督新作BYOL？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何评价陈天奇的模块化深度学习系统NNVM？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
为什么ViT里的image patch要设计成不重叠？
现在互联网公司还有做特征工程的工作吗？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
为什么现在有这么多人工智能无用论？
ICML2020有哪些值得关注的工作?
二分类问题，应该选择sigmoid还是softmax？
如何评价陈天奇的模块化深度学习系统NNVM？
有什么深度学习数学基础书推荐？
是否存在一个字符串，它的md5值是其自身？
人工智能相关的岗位薪酬状况如何？
全连接层的作用是什么？
GAN生成的数据没有标签怎么用来训练分类模型？
如何判断两个Deep Learning 数据集的数据分布是否一致？
Transformer在工业界的应用瓶颈如何突破？
下一代 AI 框架长什么样？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
wasserstein 距离的问题?
深度学习底层开发对数学有哪些要求？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？