如何评价最近火热的对比学习，会引领预训练模型新的范式嘛? 第1页
1
chen-jia-yu-65-36 网友的相关建议:
引用lecun的一张图，谈一谈对CV和NLP中无监督预训练的看法
lecun通过Low dim -> High dim、Discrete -> Continuous和Less uncertainty -> More uncertainty三个维度来表示CV和NLP中不同无监督方法的位置。文本是离散的，不确定性低，维度低；而图像是连续的，不确定性高，维度高。模态的不同，导致了无监督的处理方式上的不同。
NLP任务因为确定性更高，生成式无监督预训练方法可以非常好进行预测(如BERT)，而由于CV任务不确定性更高，导致需要设计更自由灵活的方法，对比方法相比于生成方法自由度更高，可能更加适合CV任务作为无监督预训练方法。
猜测未来NLP领域生成式和判别式会出现并存的局面，sentence级别任务倾向于使用判别式，word级别任务倾向于使用生成式。而CV领域判别式会占主导地位，一方面由于图像是二维的，生成式计算量会更庞大，另一方面判别式的自由度会更高一些。
欢迎关注Smarter，构建CV世界观，输出优质内容
欢迎加入Smarter交流群，添加微信「cjy094617」，备注「学校-方向」即可
1
相关话题
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？如何看待 Daniel Povey 离开 JHU 后加入小米？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
面试官如何判断面试者的机器学习水平？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
有没有一些图像处理新手可以练习的项目？
如何用一句话证明自然语言处理很难？
前一个讨论
如何系统地学习数据挖掘？
相关的话题
为什么Transformer适合做多模态任务？目前（2017年）机器阅读技术发展得如何？能达到什么水平？有哪些应用？
如何评价Momenta ImageNet 2017夺冠架构SENet?
反馈控制理论在优化、机器学习等领域有哪些应用？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
上学和读书有什么区别?
为什么神经网络具有泛化能力？
深度学习attention机制中的Q,K,V分别是从哪来的？
注意力机制是如何学习到模型所应注意的区域的？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
机器学习中有哪些形式简单却很巧妙的idea？
如何看待百度无人车， 三千多个场景，一万多个if？
BERT模型可以使用无监督的方法做文本相似度任务吗？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
2021 年了，机器/深度学习还有哪些坑比较好挖？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
Pytorch有什么节省显存的小技巧？
全连接层的作用是什么？
你有哪些deep learning（rnn、cnn）调参的经验？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
有什么深度学习数学基础书推荐？
如何进行图像模糊与清晰的分类？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
transformer中的Q,K,V到底是什么？
预训练模型的训练任务在 MLM 之外还有哪些有效方式？