BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
有哪些深度学习效果不如传统方法的经典案例？上学和读书有什么区别?
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
我应该从计算机视觉回到做FPGA 吗？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
graph convolutional network有什么比较好的应用task？
NLP领域，你推荐哪些综述性的文章？
基于深度卷积神经网络进行人脸识别的原理是什么？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
百度学术能否替代 Google 学术网站？有没有其他选择？word2vec有什么应用？
生成对抗网络的毕设怎么上手？
请问刘知远老师提供的网易新闻标注数据集开源吗？
目标检测算法中Two-stage算法速度慢,到底在哪里?
人工智能退潮期来了吗？
如何评价微软亚洲研究院提出的LightRNN？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
深度学习中，模型大了好还是小了好呢？
有什么算法能对一个长短不一的时间序列进行分类预测?
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
为什么梯度下降能找到最小值？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
神经网络的损失函数为什么是非凸的?
如何用一句话证明自然语言处理很难？
最数学的计算机科学方向有哪些？
推荐算法岗是否存在严重人才过剩?
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何看待多模态transformer，是否会成为多模态领域的主流？
为什么读论文最好打印出来读？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
全连接层的作用是什么？
有哪些可以自学机器学习、深度学习、人工智能的网站？
深度学习在生物信息领域有什么应用？
图像处理和机器学习有什么关系？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
现在的BERT等语言模型，最快训练要多久？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
如何看待End-to-End Object Detection with Transformers？
如何评价MXNet发布的1.0版本？