BERT模型可以使用无监督的方法做文本相似度任务吗？ 第1页
1
cai-jian-wei-47 网友的相关建议:
语义相似度的方法，一般包括：不交互的方法（query和doc各自构建embedding，再由匹配层计算相似度）、交互的方法（基于query和doc的二维相似度矩阵，构建交互的embedding，直接计算相似度）。从训练的loss或者语义相似度的效果来看，交互的方法都会比不交互的方法好。
不过工业界为了构建embedding，正常会使用第一种方法，主要是为了利用faiss或者nsg等，更方便的做大规模语义向量的检索。第二种方法，会用于精排序。
拿bert做语义相似度的任务，可以考虑以下两方面：
1）复用了预训练模型学习到外部语料的表征（直接使用开源bert模型的cls embedding计算出来的pooled output效果会比较差；主要是数据的差异性导致的，因此需要做fine-tune）。正常gpu充裕可以做一版特定领域数据的预训练模型，学习到领域数据的表征
2）在下游的语义匹配任务，做fine-tune。利用了bert模型里面的transformer结构，相比以往的lstm或者cnn模型，对文本的表征更好。
su-jian-lin-22 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
有哪些可以自学机器学习、深度学习、人工智能的网站？编程达到什么水平才能编写出像caffe这样的深度学习框架？
机器全面代替人工劳动力的那一天，你能如何生存下去？
word2vec有什么应用？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何评价Kaiming He团队的MoCo v3？
如何理解 Graph Convolutional Network（GCN）？
如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
前一个讨论
男方家境不好真的不能嫁嘛？?
相关的话题
如何评价「Patches are all you need」?有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
深度学习在无人驾驶汽车上面的运用有哪些？
计算机视觉有多少分支？
如何评价陈天奇团队新开源的TVM？
GBDT算法的细节问题？
广告算法工程师的核心竞争力是什么？
现在的人工智能是否走上了数学的极端？
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
如何评价PyTorch 0.4.0？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
人工智能 CV 岗位是不是现在供严重大于需？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
Kaggle如何入门？
ICLR 2022有哪些值得关注的投稿？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
机器学习，数据挖掘在研究生阶段大概要学些什么？
机器学习领域是否已经达到饱和？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何看待微软小冰写的诗？
cv/nlp等方向的就业困难是全球性的吗？
能分享你收藏的国外AI talk, seminar平台或网站吗？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？