为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？ 第1页
1
huo-hua-de-41 网友的相关建议:
可能是因为logK诅咒，其中K是batch size。softmax后的交叉熵损失函数可以写成：
其中， 是正样本的分数， 是负样本的分数。
因为对比学习的正负样本差别是挺大的， 的分数很快就会趋近于0，此时损失函数的数值将趋近于 ，其中 可以简单理解为所有负样本 分数的平均值。当batch size比较小的时候，可以理解为 的值也会比较小，接近于0，这个时候浮点误差就会对计算结果造成比较大的影响，最后使得梯度变成随机噪音，使得模型无法进一步收敛。
以上分析来自于下面这篇FlatNCE的论文，详细地分析可以自己看下。
所以避免这个问题，最简单的解法就是使用比较大的batch size。或者改造一下损失函数，这也是FlatNCE的目的和贡献。
wang-feng-98-82 网友的相关建议:
supervised training的batch size不能简单地从字面上理解，最后一层fc的weight可以理解为每一类的template，它们代表了大量的负样本。
而contrastive learning的样本都是要过一整个网络的，负样本多少直接取决于batch size大小。
feng-xia-chong-90 网友的相关建议:
TL,DR：Batch越大，负例越多，可以缓解表示坍塌。补充 @Gordon Lee
资料来源于：
gordon-lee 网友的相关建议:
我的理解是这样的，不对的地方请指正：
对比学习一般是自监督学习的方式，相比于supervised方法，它的监督信号是自己构造的，也就是自己和自己的augmentation被认为是正例，负例是in batch的其他样本。
1.相比supervised使用来自数据集的监督信号，对比学习用自监督的方式需要更多的训练steps来收敛。
2.对比学习的一般做法就是拉齐正样本，排开负样本，实际上正样本很好拉齐，你可以用mse，或者cross entropy都可以。关键在于，怎么保证拉齐的同时，保持一个好的uniform。这时候负样本的采样就成了关键。之所以要更大的batch size，就是因为in batch的其他样本作为负样本，充当了防止表征崩塌的角色，batch size越大，用于对比的负样本越多，效果就越好。
3.也可以想象一个极端的场景。对比学习最终理想状态是，数据集里的每个样本都和它自己的augmentation接近，和其他所有样本都远离。要实现和其他所有样本都远离的话，那么batch size就要等于数据集的大小。但实际情况并不能做到这点，那只有尽量越大越好了。
tylin98 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
深度学习应用在哪些领域让你觉得「我去，这也能行！」？是不是对于任意 n×n 大小的围棋棋盘，人类都赢不了 AlphaGo Zero 了？
为什么 Bert 的三个 Embedding 可以进行相加？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
如何理解深度学习源码里经常出现的logits？
搞机器学习的生环化材是天坑吗？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
LSTM如何来避免梯度弥散和梯度爆炸？
前一个讨论
下一个讨论
相关的话题
如何看待MXNet获得amazon官方支持首位？如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
CNN网络的pooling层有什么用？
为啥gan里面几乎不用pooling？
LSTM如何来避免梯度弥散和梯度爆炸？
机器学习包含哪些学习思想？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
LSTM如何来避免梯度弥散和梯度爆炸？
为什么计算机科学中的神经网络模型得出来的结果被认为是科学的，而中医诊断却不被认为是科学的？
为什么交叉熵（cross-entropy）可以用于计算代价？
多任务学习中loss多次backward和loss加和后backward有区别吗？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
人工智能在生活中的应用都有哪些？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
为何感觉“知识蒸馏”这几年没有什么成果？
如何理解今年发表在JMLR上随机森林算法SPORF？
TensorFlow 有哪些令人难以接受的地方？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
深度学习有哪些好玩的案例？
如何评价谷歌刚推出的Cloud AutoML？
为什么现在很多人不看好商汤科技？
如何评价Hinton组的新工作SimCLR?
面试官如何判断面试者的机器学习水平？
全连接层的作用是什么？
2021 年了，机器/深度学习还有哪些坑比较好挖？
如何理解 Graph Convolutional Network（GCN）？
神经网络的损失函数为什么是非凸的?
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
深度学习中Attention与全连接层的区别何在？