做Federated Learning优化就是decentralized optimization吗？ 第1页

不太确定你说的优化具体是指什么。联邦学习本身是一种新的机器学习范式，解决跨域数据在保护数据隐私的情况下进行联合建模和推理的计算模式。 数据和计算decentralized不是目的，而是要解决的问题。 从机器学习角度来看，需要解决模型（纵向联邦）和数据（横向联邦）并行情况下算法和模型的设计，从数据隐私保护角度来看，需要解决的梯度和embedding保护的问题，从架构层面，需要解决跨公网传输的效率和稳定性问题。

笼统的讲，与其说 Federated Learning 是做 Decentralized optimization 的机器学习，倒不如说是用 Distributed optimization 描述更准确。

一方面，传统的联邦学习需要一个中心节点 Server 用来做模型的更新，所有 Worker 结点计算本地更新后将 梯度 / 模型参数 上传至 Server 端，通过一定的更新策略达到收敛效果。

并且目前也有一些关于去中心化的联邦学习论文介绍如何在没有中心节点同步的情况下进行全局的联邦学习训练和更新。通过与邻域结点进行通信，减少通信成本，提高收敛速度。

另一方面，联邦学习的优化不仅在于常见的分布式架构造成的 通信 / 鲁棒性 / 同步 等一系列问题，还有关于联邦系统中 隐私加密 / 公平性 / 激励机制 / 算法收敛策略 / 数据异构 等问题。

联邦学习的优化不仅体现在计算上的优化，还有架构上也能创新和优化，甚至是深度学习系统中各参与方的激励策略的优化都能使得联邦学习的效果更优。