实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？ 第1页
1
tylin98 网友的相关建议:
1、CRF并不显式定义转移概率这个概念，NER任务常用的线性链CRF只有转移特征的概念（而不是转移概率），不能简单通过统计获取。转移特征的绝对数值不能反映概率大小，但相对大小是有意义的，因此可以用加Mask的方法来引入概率上的先验，例如从S到E标签转移是不可能发生的，可以在转移矩阵上对应位置引入一个很小的负值。
2、跳出CRF的框架来看，提前统计的方法并不是很符合端到端学习的政治正确，CRF这类模块加在标注模型的顶端提供的主要是一种约束作用，参数的overhead其实并不高，没有理由通过额外的环节来获取这部分的参数。
lbigrain 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
你实践中学到的最重要的机器学习经验是什么？百度学术能否替代 Google 学术网站？有没有其他选择？
硕士方向，选择迁移学习还是自然语言处理？
AI 都学会看论文了，科研工作者会被淘汰么？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
基于深度学习的人工智能程序和传统程序的差别在哪里？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
2021年人工智能领域有哪些关键性进展和突破？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
前一个讨论
南京大学LAMDA（周志华）组的实力如何？
下一个讨论
杭州空气是不是很差？如果是，为什么那么差？
相关的话题
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？如何评价 2021 年 12 月新改版的知识引擎 magi.com？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
能否对卷积神经网络工作原理做一个直观的解释？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
如何评价1700亿参数的GPT-3？
resnet（残差网络）的F（x）究竟长什么样子？
多模态方面，有哪些牛组值得我们follow他们的工作？
如何评价微软亚洲研究院提出的LightRNN？
ICLR 2019 有什么值得关注的亮点？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
AlphaGo「理解」围棋吗？
因果推断会是下一个AI热潮吗？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
深度学习有哪些好玩的案例？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
为何感觉“知识蒸馏”这几年没有什么成果？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
为什么机器学习解决网络安全问题总是失败?
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
实验室一块GPU都没有怎么做深度学习？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
人工智能可以为人类找寻他们心目中的另一半吗?
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
深度学习中Attention与全连接层的区别何在？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
二分类问题，应该选择sigmoid还是softmax？