百科问答小站 logo
百科问答小站 font logo



基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度? 第1页

  

user avatar   gordon-lee 网友的相关建议: 
      

更新了回答,请大家指正~


其实这是一个蛮常见的误解。模型并不懂什么叫做语义。

1.单句之间的对比学习其实只需要学到足够区分正负例之间的特征,它的loss就能降下来,其实也没有真正去捕捉整个句子的意思。

比如: 我喜欢足球 和 我喜欢篮球;如果这两个是负例的话,那么模型不用知道 我喜欢XXX的意思,只需要知道足球和篮球是不同的东西就行。说白了,就是只需要学到一些足够区分的特征就ok。

2.模型是不是真的学到语义了?

并不是。语义就是人为定义的东西。比如:我今天去上海。和 我今天去北京。

A: 从意图上看,这两个都是去某个地方,从这个意义上讲,应该被认为是相似句。

B: 但是从到达点看,这两个去的都不是一个地方,那么不应该被认为是相似句。

假如这个例子在测试集中的label是相似句。模型也认为这两个是相似的。那么模型真的就学到语义了吗?

其实可能情况是,训练集中,模型看到了这种case: 我今天吃苹果 和 我今天吃梨子 被打上了相似句的label。模型只需要学到 两个句子有较多的重叠部分,那么两个句子就是相似的,这一特征。

总之就是,当你觉得模型学到了语义时,模型没准只是恰好捕捉的特征和你想的方面一样而已。当你觉得模型没学到语义时,模型没准是从另一方面觉得他们是相似的




  

相关话题

  LSTM如何来避免梯度弥散和梯度爆炸? 
  CPU和GPU跑深度学习差别有多大? 
  如何看待NVIDIA 即将开源的DLA? 
  百度学术能否替代 Google 学术网站?有没有其他选择? 
  什么是meta-learning? 
  NLP 方向在国内清北读博还是国外? 
  如何评价微软提出的无监督视觉模型BEiT:ImageNet达到88.6,ADE20K达到57.0? 
  学生网络用知识蒸馏损失去逼近教师网络,如何提高学生网络的准确率? 
  在推荐系统中,如何较好的采用深度学习方法获取用户长短期兴趣? 
  如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端? 

前一个讨论
毕业前,要学会什么技能才算是能走出校园,融入社会?
下一个讨论
目标检测算法中Two-stage算法速度慢,到底在哪里?





© 2024-06-25 - tinynew.org. All Rights Reserved.
© 2024-06-25 - tinynew.org. 保留所有权利