为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？ 第1页
1
huo-hua-de-41 网友的相关建议:
可能是因为logK诅咒，其中K是batch size。softmax后的交叉熵损失函数可以写成：
其中， 是正样本的分数， 是负样本的分数。
因为对比学习的正负样本差别是挺大的， 的分数很快就会趋近于0，此时损失函数的数值将趋近于 ，其中 可以简单理解为所有负样本 分数的平均值。当batch size比较小的时候，可以理解为 的值也会比较小，接近于0，这个时候浮点误差就会对计算结果造成比较大的影响，最后使得梯度变成随机噪音，使得模型无法进一步收敛。
以上分析来自于下面这篇FlatNCE的论文，详细地分析可以自己看下。
所以避免这个问题，最简单的解法就是使用比较大的batch size。或者改造一下损失函数，这也是FlatNCE的目的和贡献。
wang-feng-98-82 网友的相关建议:
supervised training的batch size不能简单地从字面上理解，最后一层fc的weight可以理解为每一类的template，它们代表了大量的负样本。
而contrastive learning的样本都是要过一整个网络的，负样本多少直接取决于batch size大小。
feng-xia-chong-90 网友的相关建议:
TL,DR：Batch越大，负例越多，可以缓解表示坍塌。补充 @Gordon Lee
资料来源于：
gordon-lee 网友的相关建议:
我的理解是这样的，不对的地方请指正：
对比学习一般是自监督学习的方式，相比于supervised方法，它的监督信号是自己构造的，也就是自己和自己的augmentation被认为是正例，负例是in batch的其他样本。
1.相比supervised使用来自数据集的监督信号，对比学习用自监督的方式需要更多的训练steps来收敛。
2.对比学习的一般做法就是拉齐正样本，排开负样本，实际上正样本很好拉齐，你可以用mse，或者cross entropy都可以。关键在于，怎么保证拉齐的同时，保持一个好的uniform。这时候负样本的采样就成了关键。之所以要更大的batch size，就是因为in batch的其他样本作为负样本，充当了防止表征崩塌的角色，batch size越大，用于对比的负样本越多，效果就越好。
3.也可以想象一个极端的场景。对比学习最终理想状态是，数据集里的每个样本都和它自己的augmentation接近，和其他所有样本都远离。要实现和其他所有样本都远离的话，那么batch size就要等于数据集的大小。但实际情况并不能做到这点，那只有尽量越大越好了。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
LSTM如何来避免梯度弥散和梯度爆炸？消融实验是什么？
为什么ViT里的image patch要设计成不重叠？
ICLR 2022有哪些值得关注的投稿？
为什么神经网络具有泛化能力？
为何感觉“知识蒸馏”这几年没有什么成果？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
BERT模型可以使用无监督的方法做文本相似度任务吗？
如何解决图神经网络（GNN）训练中过度平滑的问题？
基于深度卷积神经网络进行人脸识别的原理是什么？
前一个讨论
下一个讨论
相关的话题
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？深度学习在生物信息领域有什么应用？
为什么交叉熵（cross-entropy）可以用于计算代价？
2018年了，MXNet 发展的如何了？
什么是meta-learning?
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
如何进行图像模糊与清晰的分类？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
消融实验是什么？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
为什么 Bert 的三个 Embedding 可以进行相加？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
如何评价「Patches are all you need」?
算法工程师是否应该持续读论文？
如何看待NVIDIA 即将开源的DLA？
Resnet到底在解决一个什么问题呢？
为什么Transformer要用LayerNorm？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
卷积神经网络（CNN）的结构设计都有哪些思想？
Graph Attention Network的本质是什么？
Transformer在工业界的应用瓶颈如何突破？
目前有哪些比较成功的人工智能应用？
什么是大模型？超大模型？Foundation Model？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
有没有必要把机器学习算法自己实现一遍？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
什么是meta-learning?