论文分享｜基于有损通信的联邦学习模型传输策略
论文名称：On Model Transmission Strategies in Federated Learning With Lossy Communications
论文来源：IEEE TPDS
论文作者：Xiaoxin Su, Yipeng Zhou, Laizhong Cui and Jiangchuan Liu
论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10032555
前言
在联邦学习中，分布式客户端通过互联网与参数服务器交换模型更新，共同训练模型。它利用客户端的本地数据并保护数据隐私，但也会产生大量通信开销。现有的模型更新传输研究主要关注通信通道的带宽限制。然而，互联网上的无线传输极不可靠，仅使用传输控制协议（TCP）可能导致在高丢包情况下网络利用率低下。
为了解决高丢包情况下网络资源利用率低的问题，本文提出了一种在丢包通信环境下的联邦学习传输策略。具体而言，该方法使用用户数据报协议（UDP）在客户端和参数服务器之间进行数据传输，以在不可靠的网络中高效利用带宽资源。为了避免丢失数据对模型收敛的影响，本文系统地结合了压缩、前向纠错和自动重传技术，设计了FedLC算法来控制传输的流量和丢包率。
我们分析了FedLC在训练具有非凸损失函数的模型时的收敛速度，并基于收敛结果设计了相应的优化问题，以调整数据压缩率、冗余和重传次数，从而实现最优传输策略。该算法显著提高了训练模型的准确性，并在给定训练时间内减少了传输流量。
本文主要结论
这篇论文的发现对于在实际场景中应用联邦学习（FL）具有几个实际意义。
首先，提出的框架——带有丢失通信的联邦学习（FedLC）可以帮助减轻丢失通信对FL的影响，提高所得模型的准确性并减少需要在网络上传输的数据量。这在网络带宽有限或不可靠的情况下特别有用，如偏远地区或农村地区。
其次，论文的发现表明，模型压缩、前向纠错编码（FEC）和重传可以是改善丢失通信环境下FL性能的有效策略。这些策略可以应用于各种FL应用，包括医疗、金融和其他涉及数据隐私的行业。
最后，论文的结果表明，与最先进的基线相比，FedLC平均可以提高3.91%的模型准确性，或者减少34.27%-47.57%的通信流量。这些改进对于FL应用具有重要的实际意义，因为它们可以减少在分布式数据上训练准确模型所需的时间和资源。
互联网的有损特性及缓解策略
互联网的丢包特性对于联邦学习(Federated Learning, FL)的性能有重要影响，可能导致通信错误和延迟，从而减慢训练过程并降低结果模型的准确性。
为了减轻丢包通信对FL的影响，本文提出了一个名为Federated Learning with Lossy Communications (FedLC)的框架，它集成了模型压缩、前向纠错编码(FEC)和重传。模型压缩可以减小模型更新的大小，从而减少需要在网络上传输的数据量。FEC为传输的数据添加冗余，有助于恢复丢失的数据包。重传则是重新发送丢失的数据包，以确保所有客户端都收到必要的更新。
本文推导了在非凸损失函数下FedLC的收敛速度，并提出了有效的实际解决方案。作者使用公共数据集评估了FedLC的性能，并将丢包率从10%变化到50%。在固定的训练时间预算内，与现有的最新基线相比，FedLC平均可以提高模型准确性3.91%，或者减少通信流量34.27%-47.57%。
结果展示
如图1和2所示，使用公开的数据集CIFAR-10和FEMNIST进行实验，在不同的丢包率下（丢包率为0.1，0.3和0.5），设计的FedLC算法可以优化模型的传输，从而在给定训练时间进一步提高训练的模型的性能。
图1. CIFAR-10数据集上的模型训练结果
图2. FEMNIST数据集上的模型训练结果
总结
因为客户在联邦学习中采用了远程工作模式，快速传输模型更新是影响联邦学习性能和广泛应用的最重要因素之一。本文展示了在不稳定的互联网连接下模型更新传输面临的挑战。
研究了在这种情况下的最佳传输策略，并推导了在该传输场景下的收敛速度。基于UDP建立了FedLC算法，在互联网环境中有效地平衡模型准确性和通信成本。
公开数据集上的实验结果表明，与现有工作相比，FedLC能更有效地利用带宽资源并改善模型性能。
本文来源： 深大计算机与软件学院
分享仅供学习参考，若有不当，请联系我们处理。
END
热文
2.笔记分享｜组队学习密码学（5）— 密码数学基础：初等数论
推荐4. 论文分享｜基于Vector OLE构造的恶意安全的PSI协议（VOLE-PSI）