百科问答小站 logo
百科问答小站 font logo



基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度? 第1页

  

user avatar   gordon-lee 网友的相关建议: 
      

更新了回答,请大家指正~


其实这是一个蛮常见的误解。模型并不懂什么叫做语义。

1.单句之间的对比学习其实只需要学到足够区分正负例之间的特征,它的loss就能降下来,其实也没有真正去捕捉整个句子的意思。

比如: 我喜欢足球 和 我喜欢篮球;如果这两个是负例的话,那么模型不用知道 我喜欢XXX的意思,只需要知道足球和篮球是不同的东西就行。说白了,就是只需要学到一些足够区分的特征就ok。

2.模型是不是真的学到语义了?

并不是。语义就是人为定义的东西。比如:我今天去上海。和 我今天去北京。

A: 从意图上看,这两个都是去某个地方,从这个意义上讲,应该被认为是相似句。

B: 但是从到达点看,这两个去的都不是一个地方,那么不应该被认为是相似句。

假如这个例子在测试集中的label是相似句。模型也认为这两个是相似的。那么模型真的就学到语义了吗?

其实可能情况是,训练集中,模型看到了这种case: 我今天吃苹果 和 我今天吃梨子 被打上了相似句的label。模型只需要学到 两个句子有较多的重叠部分,那么两个句子就是相似的,这一特征。

总之就是,当你觉得模型学到了语义时,模型没准只是恰好捕捉的特征和你想的方面一样而已。当你觉得模型没学到语义时,模型没准是从另一方面觉得他们是相似的




  

相关话题

  2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势? 
  基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度? 
  nlp有哪些值得完整实现一遍的算法? 
  简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系? 
  Bert中的词向量各向异性具体什么意思啊? 
  如何看待知乎的AI答主「四十二」?人工智能有可能理解生命的意义是什么吗? 
  AI 有可能代替人类从事数学研究吗? 
  如何评价周志华教授新提出的 Deep Forest 模型,它会取代当前火热的深度学习 DNN 吗? 
  深度学习在信息安全的应用有哪些可以关注的人或论文? 
  了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构? 

前一个讨论
毕业前,要学会什么技能才算是能走出校园,融入社会?
下一个讨论
目标检测算法中Two-stage算法速度慢,到底在哪里?





© 2025-05-06 - tinynew.org. All Rights Reserved.
© 2025-05-06 - tinynew.org. 保留所有权利