BERT可以用于文本聚类吗? 第1页
1
ceng-guan-rong-72 网友的相关建议:
可以，但是不容易。
得弄清聚类的目标是什么。
众所周知聚类本身是不定项的，于是要把握你的聚类方向，只能靠特征。
聚类所用的特征或者信息是否有与你的聚类目标有关，有没有，有多少，和够不够，另外有多少背离或者影响你的聚类目标。
那么问题来了，bert做向量，聚出来的是啥，心里有数吗，是话题领域？语言风格？还是时间年代？不好说啊。
因此，哪怕是聚类，定义一下你的聚类目标，根据目标设计一些数据集和下游方案，整点finetuning或者套个submodel训一下，再不行加点人工特征，可能更好。
1
相关话题
BERT可以用于文本聚类吗?预训练模型的训练任务在 MLM 之外还有哪些有效方式？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
如何评价 BERT 模型？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
BERT可以用于文本聚类吗?
Facebook 的人工智能实验室 (FAIR) 有哪些厉害的大牛和技术积累？
NLP 方向在国内清北读博还是国外？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
前一个讨论
自然语言处理方向研究生好找工作吗？
下一个讨论
大学时在学科排名 A+ 的学院就读是什么体验？
相关的话题
没有顶会的CV/NLP方向的博士生毕业出路在哪里？在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
什么是无监督学习？
graph convolutional network有什么比较好的应用task？
多模态方面，有哪些牛组值得我们follow他们的工作？
一个无监督学习算法，如何判断其好坏呢?
如何评价 2021 年 12 月新改版的知识引擎 magi.com？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
如何看待多模态transformer，是否会成为多模态领域的主流？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
如何评价1700亿参数的GPT-3？
2021 年了，机器/深度学习还有哪些坑比较好挖？
BERT模型可以使用无监督的方法做文本相似度任务吗？
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
自然语言处理方向研究生好找工作吗？
transformer中的Q,K,V到底是什么？
多模态方面，有哪些牛组值得我们follow他们的工作？
国内较强的NLP高校实验室有哪些？
现有的编程语言当中，哪些和自然语言更接近？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
transformer中的Q,K,V到底是什么？
自然语言处理是计算机实现通用人工智能的最难挑战吗？
没有顶会的CV/NLP方向的博士生毕业出路在哪里？
BERT可以用于文本聚类吗?
Pytorch有什么节省显存的小技巧？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？