BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
为什么 Non-Convex Optimization 受到了越来越大的关注？计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何评价陈天奇的模块化深度学习系统NNVM？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
如何评价 Self-Normalizing Neural Networks 这篇论文?
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
神经网络的损失函数为什么是非凸的?
未来 3~5 年内，哪个方向的机器学习人才最紧缺？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
Deep Learning 的专家如此急缺，它难在何处？目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
算法岗位真的需要顶会才能入场吗？
多因子模型是否真的可以带来阿尔法（alpha）？
为什么在R语言里多用<-而不是=表示赋值？
算法工程师是否应该持续读论文？
为什么强大的 MXNet 一直火不起来？
物理专业的学生如何看待机器学习和大数据这些方向呢？
如何评价 On Unifying Deep Generative Models 这篇 paper?
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
如何评价 On Unifying Deep Generative Models 这篇 paper?
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
如何评价哈工大的左旺孟老师？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
Python 如何画出漂亮的地图？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
机器学习最好的课程是什么？
wav2vec中的30ms是怎么得来的?
为什么 Bert 的三个 Embedding 可以进行相加？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
神经网络中 warmup 策略为什么有效；有什么理论解释么？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
行为识别常用哪种特征提取？
机器学习，深度神经网络等方法是否是正确的方向？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
目前工业界常用的推荐系统模型有哪些？
能分享你收藏的国外AI talk, seminar平台或网站吗？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？