为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？ 第1页
1
huo-hua-de-41 网友的相关建议:
可能是因为logK诅咒，其中K是batch size。softmax后的交叉熵损失函数可以写成：
其中， 是正样本的分数， 是负样本的分数。
因为对比学习的正负样本差别是挺大的， 的分数很快就会趋近于0，此时损失函数的数值将趋近于 ，其中 可以简单理解为所有负样本 分数的平均值。当batch size比较小的时候，可以理解为 的值也会比较小，接近于0，这个时候浮点误差就会对计算结果造成比较大的影响，最后使得梯度变成随机噪音，使得模型无法进一步收敛。
以上分析来自于下面这篇FlatNCE的论文，详细地分析可以自己看下。
所以避免这个问题，最简单的解法就是使用比较大的batch size。或者改造一下损失函数，这也是FlatNCE的目的和贡献。
wang-feng-98-82 网友的相关建议:
supervised training的batch size不能简单地从字面上理解，最后一层fc的weight可以理解为每一类的template，它们代表了大量的负样本。
而contrastive learning的样本都是要过一整个网络的，负样本多少直接取决于batch size大小。
feng-xia-chong-90 网友的相关建议:
TL,DR：Batch越大，负例越多，可以缓解表示坍塌。补充 @Gordon Lee
资料来源于：
gordon-lee 网友的相关建议:
我的理解是这样的，不对的地方请指正：
对比学习一般是自监督学习的方式，相比于supervised方法，它的监督信号是自己构造的，也就是自己和自己的augmentation被认为是正例，负例是in batch的其他样本。
1.相比supervised使用来自数据集的监督信号，对比学习用自监督的方式需要更多的训练steps来收敛。
2.对比学习的一般做法就是拉齐正样本，排开负样本，实际上正样本很好拉齐，你可以用mse，或者cross entropy都可以。关键在于，怎么保证拉齐的同时，保持一个好的uniform。这时候负样本的采样就成了关键。之所以要更大的batch size，就是因为in batch的其他样本作为负样本，充当了防止表征崩塌的角色，batch size越大，用于对比的负样本越多，效果就越好。
3.也可以想象一个极端的场景。对比学习最终理想状态是，数据集里的每个样本都和它自己的augmentation接近，和其他所有样本都远离。要实现和其他所有样本都远离的话，那么batch size就要等于数据集的大小。但实际情况并不能做到这点，那只有尽量越大越好了。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
PyTorch中在反向传播前为什么要手动将梯度清零？深度学习工作站中使用AMD的CPU会有问题吗？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
如何解决图神经网络（GNN）训练中过度平滑的问题？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
你有哪些deep learning（rnn、cnn）调参的经验？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
中国和美国谁能成人工智能领域的领军者？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
卷积神经网络中卷积核是如何学习到特征的？
前一个讨论
下一个讨论
相关的话题
请问应该怎样去学习图像识别和深度学习？为什么很少人用FFT加速CNN卷积层的运算？
什么是大模型？超大模型？Foundation Model？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
如何评价 BERT 模型？
深度学习底层开发对数学有哪些要求？
用 TensorFlow 可以做什么有意思的事情？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
pytorch 的高层库ignite怎么样？
如何直观地解释 backpropagation 算法？
人工智能在生活中的应用都有哪些？
2021年深度学习在哪些应用上有实质进展？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
为什么都说神经网络是个黑箱？
resnet（残差网络）的F（x）究竟长什么样子？
二分类问题，应该选择sigmoid还是softmax？
卷积神经网络（CNN）的结构设计都有哪些思想？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
物理专业的学生如何看待机器学习和大数据这些方向呢？
什么是meta-learning?
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
ICLR 2021 有什么值得关注的投稿？
搞机器学习的生环化材是天坑吗？
如何评价AWS的图神经网络框架DGL？
多模态方面，有哪些牛组值得我们follow他们的工作？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
DL/ML 模型如何部署到生产环境中？