联邦学习以及安全多方计算中，哪些研究方向比较好发文章？ 第1页

今天开个回答聊聊 个性化联邦学习 的研究。

联邦学习中存在数据非独立同分布问题（俗称Non-IID问题），传统针对non-iid问题，我们都是把它看成一个bug，会影响我们的模型性能，但是使用个性化以后，non-iid就变成了一种feature，可以作为我们个性化的一种指导。

目前比较主流的两种个性化方案就是：

一）基于联邦学习global model的微调

在baseline的基础上根据用户需求或者数据进行fine-tune，这样子我们就能通过fl来训练一个性能不够强，但是已经能接受的baseline，剩下的微调方式不同，就构成了不同的个性化形式。

包括但不限于：

1. 把特征提取层的global model作为baseline，然后通过个性化head进行优化；

2. 通过联邦学习训练出元模型/HyperNetwork后，针对不同任务生成不同模型；

3. 在联邦学习训练出的 Global model 上加约束，得到本地模型；

4. 把 global model 拿来迁移做本地任务 or 多任务学习（不展开）

包括把预训练的模型拿到本地数据再训练；或者是迁移学习的模型迁移；或者是多任务学习或者元学习里的元模型；然后还有各种fine-tune的方式其实就已经构建了目前大多数个性化的方式。

二）基于用户聚类的个性化联邦学习

把不同数据特征的用户看成了不同的任务，通过聚类的方式把原任务分解为多个类似于iid的任务，这样当然能够提高模型性能了，这也是一种从多任务的视角看问题的方式。

关于用户选择和聚类方面的工作也有很多，如何选出有代表性的用户降低通信成本、如何计算用户特征的相似性并聚类，类似的思路也有很多。

用户聚类方式的个性化隐含着的思路就是在联邦学习步骤前的处理。

如何对用户进行处理（根据图模型学习embedding表示、聚类、分类等，类似于 FLoC的思路）、如何对用户的数据处理（数据增强、数据特征空间表示）也是解决个性化学习的一大方向。

事实上，把文章的思路抽象出来其实大同小异，在大模型Fine-tune过程中使用过的技术完全可以应用在个性化联邦学习中，包含多模态等建模方式也是用在联邦学习的一大交叉点。

也有关于半监督学习、图网络+联邦学习的一些思考，以后有空再写~

以上，是昨天跟小师弟聊天过程中的一点小总结~感兴趣的朋友可以点个关注和赞 @lokinko ，内容仅提供一些思考思路，如有错误可以随时提出~