百科问答小站 logo
百科问答小站 font logo



实体提取任务中使用BERT-CRF时,CRF根据数据统计可以得到转移概率,为啥还要训练呢? 第1页

  

user avatar   tylin98 网友的相关建议: 
      

1、CRF并不显式定义转移概率这个概念,NER任务常用的线性链CRF只有转移特征的概念(而不是转移概率),不能简单通过统计获取。转移特征的绝对数值不能反映概率大小,但相对大小是有意义的,因此可以用加Mask的方法来引入概率上的先验,例如从S到E标签转移是不可能发生的,可以在转移矩阵上对应位置引入一个很小的负值。

2、跳出CRF的框架来看,提前统计的方法并不是很符合端到端学习的政治正确,CRF这类模块加在标注模型的顶端提供的主要是一种约束作用,参数的overhead其实并不高,没有理由通过额外的环节来获取这部分的参数。


user avatar   lbigrain 网友的相关建议: 
      

女王:求求题主放过我,我可不敢有什么政绩。。。




  

相关话题

  简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系? 
  有哪些深度学习效果不如传统方法的经典案例? 
  BERT可以用于文本聚类吗? 
  为什么有的论文放出训练好的模型和测试脚本,但不开源训练代码? 
  CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别? 
  一个完整的Pytorch深度学习项目代码,项目结构是怎样的? 
  卷积神经网络中卷积核是如何学习到特征的? 
  为什么 Google 翻译只重算法不重语言学的语法结构和规则? 
  国内外厂商发布的各类 AI 智能音箱,优缺点分别是什么? 
  上学和读书有什么区别? 

前一个讨论
南京大学LAMDA(周志华)组的实力如何?
下一个讨论
杭州空气是不是很差?如果是,为什么那么差?





© 2025-01-30 - tinynew.org. All Rights Reserved.
© 2025-01-30 - tinynew.org. 保留所有权利