BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
有哪些深度学习效果不如传统方法的经典案例？基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
为啥gan里面几乎不用pooling？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
Bert中的词向量各向异性具体什么意思啊？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
为什么新增特征有时候会对模型带来负面影响？
为啥gan里面几乎不用pooling？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？人工智能和自动控制能在一起擦出什么样的火花？
深度学习（机器学习）的下一步如何发展？
人工智能领域有哪些精妙的数学原理？
ICLR 2022有哪些值得关注的投稿？
神经网络能否代替决策树算法？
机器全面代替人工劳动力的那一天，你能如何生存下去？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
注意力机制是如何学习到模型所应注意的区域的？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
已有大量编程基础，如何速成python用于学习机器学习？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何用一句话证明自然语言处理很难？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
机器学习中如何识别图片中的手是手背还是手心？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
如何看待比 iPad 还大的史上最大芯片问世？ 功耗比电磁炉还高有什么用？
如何评价陈天奇团队新开源的TVM？
如何用简单易懂的例子解释隐马尔可夫模型？
Transformer在工业界的应用瓶颈如何突破？
当前（2020年）机器学习中有哪些研究方向特别的坑？
如何看待周志华等人的新书《机器学习理论导引》？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
2021年人工智能领域有哪些关键性进展和突破？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
视觉算法的工业部署及落地方面的技术知识，怎么学？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何看待2021年秋招算法岗灰飞烟灭？