百科问答小站 logo
百科问答小站 font logo



基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度? 第1页

  

user avatar   gordon-lee 网友的相关建议: 
      

更新了回答,请大家指正~


其实这是一个蛮常见的误解。模型并不懂什么叫做语义。

1.单句之间的对比学习其实只需要学到足够区分正负例之间的特征,它的loss就能降下来,其实也没有真正去捕捉整个句子的意思。

比如: 我喜欢足球 和 我喜欢篮球;如果这两个是负例的话,那么模型不用知道 我喜欢XXX的意思,只需要知道足球和篮球是不同的东西就行。说白了,就是只需要学到一些足够区分的特征就ok。

2.模型是不是真的学到语义了?

并不是。语义就是人为定义的东西。比如:我今天去上海。和 我今天去北京。

A: 从意图上看,这两个都是去某个地方,从这个意义上讲,应该被认为是相似句。

B: 但是从到达点看,这两个去的都不是一个地方,那么不应该被认为是相似句。

假如这个例子在测试集中的label是相似句。模型也认为这两个是相似的。那么模型真的就学到语义了吗?

其实可能情况是,训练集中,模型看到了这种case: 我今天吃苹果 和 我今天吃梨子 被打上了相似句的label。模型只需要学到 两个句子有较多的重叠部分,那么两个句子就是相似的,这一特征。

总之就是,当你觉得模型学到了语义时,模型没准只是恰好捕捉的特征和你想的方面一样而已。当你觉得模型没学到语义时,模型没准是从另一方面觉得他们是相似的




  

相关话题

  Transformer在工业界的应用瓶颈如何突破? 
  如何评价 DeepMind 新提出的关系网络(Relation Network)? 
  现在的人工智能是否走上了数学的极端? 
  机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别? 
  为什么 BERT 的 intermediate_size 这么大? 
  研究推荐系统要对NLP很了解吗? 
  如何评价 CVPR 2020的论文接收结果?有哪些亮点论文? 
  如何评价DALL-E模型的实现? 
  如何理解深度学习源码里经常出现的logits? 
  如何评价沐神他们写的《动手学深度学习》这本书? 

前一个讨论
毕业前,要学会什么技能才算是能走出校园,融入社会?
下一个讨论
目标检测算法中Two-stage算法速度慢,到底在哪里?





© 2024-06-09 - tinynew.org. All Rights Reserved.
© 2024-06-09 - tinynew.org. 保留所有权利