BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
二分类问题，应该选择sigmoid还是softmax？为什么softmax很少会出现[0.5，0.5]？
深度学习中有哪些数据增强方法？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
什么是机器学习？
为什么现在有这么多人工智能无用论？
为什么要压缩模型，而不是直接训练一个小的CNN？
刷leetcode使用python还是c++？
知识图谱+nlp，有什么适合硕士独自研究的方向？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
为什么nlp没有像cv四小龙一样的创业公司？神经网络为什么可以（理论上）拟合任何函数？
为什么计算注意力机制的时候不加偏置项？
有没有必要把机器学习算法自己实现一遍？
全连接层的作用是什么？
2021年深度学习在哪些应用上有实质进展？
为什么 BERT 的 intermediate_size 这么大？
有哪些深度学习效果不如传统方法的经典案例？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
GAN的生成器是怎么产生图片的？
神经网络的万能逼近定理已经发展到什么地步了？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
如何用简单易懂的例子解释隐马尔可夫模型？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
为什么nn的较大问题是会陷入局部最优时，不选用凸函数作为激活函数？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？
机器学习如何才能避免「只是调参数」？
CVPR 2019 有哪些值得关注的亮点？
深度学习做股票预测靠谱吗？
知识图谱+nlp，有什么适合硕士独自研究的方向？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
机器学习里面的流形都是怎么用的？
神经网络为什么可以（理论上）拟合任何函数？
wasserstein 距离的问题?
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
视觉算法的工业部署及落地方面的技术知识，怎么学？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？