pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
生成对抗网络的毕设怎么上手？如何评价DALL-E模型的实现？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
为什么 BERT 的 intermediate_size 这么大？
如何看待何恺明最新一作论文Masked Autoencoders？
如何评价DALL-E模型的实现？
为什么softmax很少会出现[0.5，0.5]？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
机器学习，深度神经网络等方法是否是正确的方向？目标检测算法中Two-stage算法速度慢,到底在哪里?
Resnet是否只是一个深度学习的trick？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
为什么说深度学习没有理论基础?
怎么选取训练神经网络时的Batch size?
为什么VAE-GAN的训练很容易发生梯度爆炸，如何避免？
机器学习能否用于综合评价？具体怎么操作？
PyTorch中在反向传播前为什么要手动将梯度清零？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
硕士方向，选择迁移学习还是自然语言处理？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
人工智能相关的岗位薪酬状况如何？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
现在的人工智能是否走上了数学的极端？
有哪些比较好的机器学习，深度学习的网络资源可利用？
现在的BERT等语言模型，最快训练要多久？
深度学习调参有哪些技巧？
人工智能退潮期来了吗？
是不是并不是所有问题都适合用神经网络预测？
石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
如何评价Google发布的第二代深度学习系统TensorFlow?
AI 有可能代替人类从事数学研究吗？
深度学习在信息安全的应用有哪些可以关注的人或论文？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？