BERT可以用于文本聚类吗? 第1页
1
ceng-guan-rong-72 网友的相关建议:
可以，但是不容易。
得弄清聚类的目标是什么。
众所周知聚类本身是不定项的，于是要把握你的聚类方向，只能靠特征。
聚类所用的特征或者信息是否有与你的聚类目标有关，有没有，有多少，和够不够，另外有多少背离或者影响你的聚类目标。
那么问题来了，bert做向量，聚出来的是啥，心里有数吗，是话题领域？语言风格？还是时间年代？不好说啊。
因此，哪怕是聚类，定义一下你的聚类目标，根据目标设计一些数据集和下游方案，整点finetuning或者套个submodel训一下，再不行加点人工特征，可能更好。
1
相关话题
如何评价 BERT 模型？2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
有哪些深度学习效果不如传统方法的经典案例？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
有哪些深度学习效果不如传统方法的经典案例？
国内外厂商发布的各类 AI 智能音箱，优缺点分别是什么？
深度学习与机器学习的关系是什么？
前一个讨论
自然语言处理方向研究生好找工作吗？
下一个讨论
大学时在学科排名 A+ 的学院就读是什么体验？
相关的话题
如何看待微软小冰写的诗？如何评价1700亿参数的GPT-3？
如何评价 Exploring Simple Siamese Learning?
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
工作之后，顶会还重要吗？
如果用机器学习的理论来理解人的行为，会有什么发现？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
什么是狄利克雷分布？狄利克雷过程又是什么？
《失控玩家》中的游戏有可能实现出来吗？
目前（2017年）机器阅读技术发展得如何？能达到什么水平？有哪些应用？
2021年人工智能领域有哪些关键性进展和突破？
现在的BERT等语言模型，最快训练要多久？
硕士方向，选择迁移学习还是自然语言处理？
如何评价Hinton组的新工作SimCLR?
为什么 Bert 的三个 Embedding 可以进行相加？
Pytorch有什么节省显存的小技巧？
2021 年，深度学习方面取得了哪些关键性进展？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
考古队可以跨省挖掘吗？
AI 都学会看论文了，科研工作者会被淘汰么？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
如何看待2021年秋招算法岗灰飞烟灭？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
Partial Multi-Label Learning是什么？它的发展史又是怎样的？最新的进展如何？
硕士方向，选择迁移学习还是自然语言处理？
有哪些令你印象深刻的魔改transformer？