为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？ 第1页
1
huo-hua-de-41 网友的相关建议:
可能是因为logK诅咒，其中K是batch size。softmax后的交叉熵损失函数可以写成：
其中， 是正样本的分数， 是负样本的分数。
因为对比学习的正负样本差别是挺大的， 的分数很快就会趋近于0，此时损失函数的数值将趋近于 ，其中 可以简单理解为所有负样本 分数的平均值。当batch size比较小的时候，可以理解为 的值也会比较小，接近于0，这个时候浮点误差就会对计算结果造成比较大的影响，最后使得梯度变成随机噪音，使得模型无法进一步收敛。
以上分析来自于下面这篇FlatNCE的论文，详细地分析可以自己看下。
所以避免这个问题，最简单的解法就是使用比较大的batch size。或者改造一下损失函数，这也是FlatNCE的目的和贡献。
wang-feng-98-82 网友的相关建议:
supervised training的batch size不能简单地从字面上理解，最后一层fc的weight可以理解为每一类的template，它们代表了大量的负样本。
而contrastive learning的样本都是要过一整个网络的，负样本多少直接取决于batch size大小。
feng-xia-chong-90 网友的相关建议:
TL,DR：Batch越大，负例越多，可以缓解表示坍塌。补充 @Gordon Lee
资料来源于：
gordon-lee 网友的相关建议:
我的理解是这样的，不对的地方请指正：
对比学习一般是自监督学习的方式，相比于supervised方法，它的监督信号是自己构造的，也就是自己和自己的augmentation被认为是正例，负例是in batch的其他样本。
1.相比supervised使用来自数据集的监督信号，对比学习用自监督的方式需要更多的训练steps来收敛。
2.对比学习的一般做法就是拉齐正样本，排开负样本，实际上正样本很好拉齐，你可以用mse，或者cross entropy都可以。关键在于，怎么保证拉齐的同时，保持一个好的uniform。这时候负样本的采样就成了关键。之所以要更大的batch size，就是因为in batch的其他样本作为负样本，充当了防止表征崩塌的角色，batch size越大，用于对比的负样本越多，效果就越好。
3.也可以想象一个极端的场景。对比学习最终理想状态是，数据集里的每个样本都和它自己的augmentation接近，和其他所有样本都远离。要实现和其他所有样本都远离的话，那么batch size就要等于数据集的大小。但实际情况并不能做到这点，那只有尽量越大越好了。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
KL散度衡量的是两个概率分布的距离吗？为什么Transformer要用LayerNorm？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
2018年了，MXNet 发展的如何了？
为什么现在不看好 CV 方向了呢?
搞机器学习的生环化材是天坑吗？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
如何系统学习机器学习？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
ICML2020有哪些值得关注的工作?
前一个讨论
下一个讨论
相关的话题
联邦学习在机器学习领域有什么独立存在的价值?生成对抗网络的毕设怎么上手？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
为啥gan里面几乎不用pooling？
为啥gan里面几乎不用pooling？
围棋AI为什么没有下出同局？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
如何评价贾扬清离职 Facebook？
TVM 最新发布版本 0.3 有哪些亮点？
如何判断两个Deep Learning 数据集的数据分布是否一致？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
神经网络中如果一个重要特征C等于特征A+特征B（算数意义上的相加），选特征的时候还有必要选特征C吗?
为什么softmax很少会出现[0.5，0.5]？
机器学习能否用于综合评价？具体怎么操作？
如何看待上海交大研发人工智能：通过脸部识别技术辨别罪犯？
如何看待 Nervana 被 Intel 收购？
视觉算法的工业部署及落地方面的技术知识，怎么学？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
深度学习做股票预测靠谱吗？
国内做NLP业务的香侬科技值得去吗？
神经网络中如果一个重要特征C等于特征A+特征B（算数意义上的相加），选特征的时候还有必要选特征C吗?
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
如何看待 Nervana 被 Intel 收购？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
如何理解深度学习源码里经常出现的logits？