BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何全面理解工程师红利？怎么通过一维分布的随机样本推测原分布？
现在的BERT等语言模型，最快训练要多久？
机器学习，深度神经网络等方法是否是正确的方向？
深度学习中Attention与全连接层的区别何在？
为什么说股票不能通过机器学习来预测？
有什么深度学习数学基础书推荐？
如何理解今年发表在JMLR上随机森林算法SPORF？
计算机视觉中，目前有哪些经典的目标跟踪算法？
有谁照着论文把 AlphaGo 重现出来了？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
如何看待周志华等人的新书《机器学习理论导引》？为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
2019年NeurIPS有哪些糟糕的论文？
为什么 BERT 的 intermediate_size 这么大？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
人工智能领域有哪些精妙的数学原理？
2021 年了，机器/深度学习还有哪些坑比较好挖？
怎么通过一维分布的随机样本推测原分布？
机器学习的理论方向 PhD 是否真的会接触那么多现代数学（黎曼几何、代数拓扑之类）？
如何用自然语言处理判断一句话是否符合中文口语习惯？
为什么dropout正则化经常在视觉方面使用而不是其他？
机器学习包含哪些学习思想？
如何看待 Alex Smola 加入 Amazon？
请解释下variational inference？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
为什么在SGD中使用L1正则化很难获得稀疏性？
2020到2021年小样本学习取得重大进展了吗？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
为什么中文 NLP 数据集这么少？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
深度学习领域有哪些瓶颈？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
如何评价生成模型框架 ZhuSuan?
为何总感觉人工智能和神经科学（神经网络）被绑在一起？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
2021 年，深度学习方面取得了哪些关键性进展？