BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
深度学习有哪些好玩的案例？
上学和读书有什么区别?
做中文 NLP 的时候，大家为啥不用拼音？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
大家用resnet50在imagenet上面top1最高能到多少？
研究推荐系统要对NLP很了解吗？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
为什么要压缩模型，而不是直接训练一个小的CNN？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
对于技术岗位而言，开发岗累还是算法岗累呢？如何评价小米开源的移动端深度学习框架MACE？
迁移学习与fine-tuning有什么区别？
如何评价 NVIDIA 发布的 DGX-1？
如何评价openai的新工作DALL·E?
如何看待 AI 方向 PhD 申请竞争过于激烈的现象？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
为什么 BERT 的 intermediate_size 这么大？
mxnet的并行计算为什么这么牛，是什么原理？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
为什么 BERT 的 intermediate_size 这么大？
联邦学习在机器学习领域有什么独立存在的价值?
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
为什么 Bert 的三个 Embedding 可以进行相加？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
KL散度衡量的是两个概率分布的距离吗？
AI领域的灌水之风如何破局？
神经网络为什么可以（理论上）拟合任何函数？
金融学及金融从业者如何应对人工智能和大数据？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
我们目前的时代距离人工智能具有自我意识还有多远？
知识图谱+nlp，有什么适合硕士独自研究的方向？
超越人类的人工智能 (AI) 是否能够实现？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
熵权法确定权重的原理是不是因为它仅依赖于数据本身的离散性?
插值和拟合最根本的区别是什么？机器学习为啥用拟合？？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
神经网络中的能量函数是如何定义的？
能否对卷积神经网络工作原理做一个直观的解释？