实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？怎样让机器有意识?
如何看待在某度搜不到megengine官网？
现在互联网公司还有做特征工程的工作吗？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
机器学习包含哪些学习思想？
深度学习如何入门？
有哪些深度学习效果不如传统方法的经典案例？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
如何看待 TI7 上与 Dendi solo 的 OpenAI？为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何评价openai的新工作DALL·E?
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
NLP领域，你推荐哪些综述性的文章？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
如何用一句话证明自然语言处理很难？
目标检测算法中Two-stage算法速度慢,到底在哪里?
2019年NeurIPS有哪些糟糕的论文？
image caption这个方向更偏向NLP还是CV？
word2vec有什么应用？
卷积神经网络（CNN）的结构设计都有哪些思想？
如何理解今年发表在JMLR上随机森林算法SPORF？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
AI 有可能代替人类从事数学研究吗？
如何判断两个Deep Learning 数据集的数据分布是否一致？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
如何用自然语言处理判断一句话是否符合中文口语习惯？
硕士方向，选择迁移学习还是自然语言处理？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
ICML2020有哪些值得关注的工作?
图片上训的模型，怎么迁移视频上呢？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
为啥gan里面几乎不用pooling？