BERT可以用于文本聚类吗? 第1页
1
ceng-guan-rong-72 网友的相关建议:
可以，但是不容易。
得弄清聚类的目标是什么。
众所周知聚类本身是不定项的，于是要把握你的聚类方向，只能靠特征。
聚类所用的特征或者信息是否有与你的聚类目标有关，有没有，有多少，和够不够，另外有多少背离或者影响你的聚类目标。
那么问题来了，bert做向量，聚出来的是啥，心里有数吗，是话题领域？语言风格？还是时间年代？不好说啊。
因此，哪怕是聚类，定义一下你的聚类目标，根据目标设计一些数据集和下游方案，整点finetuning或者套个submodel训一下，再不行加点人工特征，可能更好。
1
相关话题
为什么编程语言语法的设计不往缩小与自然语言的差别的方向发展，或者说在这个方向发展得这么慢呢？如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
2021年人工智能领域有哪些关键性进展和突破？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
深度学习与机器学习的关系是什么？
2021 年了，机器/深度学习还有哪些坑比较好挖？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
有监督和无监督学习都各有哪些有名的算法和深度学习？
为什么 Bert 的三个 Embedding 可以进行相加？
前一个讨论
自然语言处理方向研究生好找工作吗？
下一个讨论
大学时在学科排名 A+ 的学院就读是什么体验？
相关的话题
做中文 NLP 的时候，大家为啥不用拼音？如何用一句话证明自然语言处理很难？
如何看待 ICLR2021 的拒稿被评为 ACL2021 的 Best Paper?
NLP领域，你推荐哪些综述性的文章？
如何评价openai的新工作DALL·E?
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
为什么编程语言语法的设计不往缩小与自然语言的差别的方向发展，或者说在这个方向发展得这么慢呢？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
自然语言处理方向研究生好找工作吗？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何评价openai的新工作DALL·E?
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
预训练模型的训练任务在 MLM 之外还有哪些有效方式？
2021 年了，机器/深度学习还有哪些坑比较好挖？
国内外厂商发布的各类 AI 智能音箱，优缺点分别是什么？
考古队可以跨省挖掘吗？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
如何理解深度学习源码里经常出现的logits？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
自然语言处理怎么最快入门？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
请问有哪些法律和计算机领域结合的例子？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
现在的BERT等语言模型，最快训练要多久？
如何理解深度学习源码里经常出现的logits？
研究推荐系统要对NLP很了解吗？