FedML AI平台完成千万级天使轮融资，发布全球首个联邦学习开放平台! 附产品介绍!

联邦学习 (Federated Learning) 无疑是当前人工智能领域的一匹“黑马”，它是AI建模”数据可用不可见”的关键技术，在私有数据交易市场上也极具潜力。在过去短短两年时间里，全球范围内，互联网公司如微众银行、腾讯、阿里、百度、平安科技、华为、头条、谷歌、脸书、英伟达等纷纷开始布局，2021年学术界年发表论文高达10000篇，发展速度远超其他众多AI方向，最近的热度甚至超过海量大模型。政府更是高度重视，详细出台了一系列政策来推动有关的数字经济基建发展，例如《关于加快构建全国一体化大数据中心协同创新体系的指导意见》、《“十四五”数字经济发展规划》指出要强化个人数据信息保护、建立安全可信的数据流通机制。

在这样一个跨多学科的硬科技赛道上，存在着一个默默耕耘、由华人主导的国际化团队：FedML, Inc. (https://FedML.ai)，他们起源于美国南加州大学 (University of Southern California)，是全球范围内研究该技术的早期机构之一。过去几年，FedML起初作为博士生主导的科研开源项目，服务于多个科研基金，辅助所在实验室发表了50多篇相关顶级论文。近期，他们终于从学术的“幕后”走向了工业的“前台”，于2022年3月完成了首轮超千万融资，投资方包括Plug and Play、GGV、奇绩创坛 (陆奇博士)、AceCap、个人投资者包括加州伯克利教授、斯坦福教授“香农奖”得主David Tse、美国南加州大学校友王言治、张弥教授等。公司成立后，FedML已经在智慧城市、医疗、工业化IoT等场景拿到多个商业合同。

经过短短几个月的研发，FedML完成了诸多工业化产品升级。除了继续加强开源社区维护及API升级之外，还完成了FedML Open Platform - 全球首个公有云下的联邦与分布式机器学习开放平台建设、FedML协作式应用生态FedML App Ecosystem。在边缘端，Open Platform (https://open.fedml.ai) 能通过一行命令完成边缘模型训练部署，并支持手机与IoT设备接入；在云端，Open Platform支持全球化协作机器学习，为跨国、跨城市、多租户提供免费的公有云聚合服务器，也支持私有云部署 (包含docker模式)；在实验管理能力上，该平台特别为分布式训练量身打造了实验追踪、管理、可视化、和分析能力。FedML最新发布的协作式应用生态FedML App Ecosystem能与Open Platform互相协同，现阶段支持20多个应用的开放协作，全面覆盖了计算机视觉、自然语言处理、图数据挖掘、物联网等主流AI应用场景。如果说开放平台把建模过程的研发门槛降低到了最低，那App Ecosystem则用于降低各行各业从业人员的AI应用研发门槛：中小企业无需雇佣高成本机器学习团队，只需要1名工程师，便可在社区成果的基础上“一键导入”，低成本接入使用。

FedML在社区运作上也进展迅速。目前，开源版本已经积累了1800+ Stars, 500+ Forks, 有1100+ 位来自全球不同国家的Slack用户，其开放平台更是短期内吸引了近500专业用户。接下来，我们来详细介绍下产品与技术成果以及FedML创始团队。

一、背景介绍

二、从科研开源到工业化平台

三、FedML Open Platform - 全球首个公有云下的联邦与分布式机器学习开放平台

3.1 模拟实验与真实部署无缝迁移，零代码修改

3.2 一行命令完成边缘模型训练部署

3.3 支持全球化协作机器学习，跨国、跨城市、多租户

3.4 提供免费的公有云聚合服务器，同时支持私有云部署 (包含docker模式)

3.5 为分布式训练量身打造的实验监控与分析能力

3.6 跨平台一体化设计，支持手机与IoT设备

四、互联互通、开放协作：开源、开放平台、协作式应用生态

五、极简灵活的API，助力算法与系统优化创新

六、联合Okwin发布Cross-silo FL数据集，让研发面向真实场景

七、50+顶会论文加持，覆盖安全、效率、弱监督、公平等关键问题

一、背景介绍

联邦学习 (Federated Learning) 是一种去中心化机器学习范式，能在保护参与训练的边缘节点数据隐私的情况下完成联合机器学习建模。FedML公司联合创始人及FL技术的早期研究者Prof. Salman Avestimehr教授则喜欢用”Train locally and Aggregate Globally”这样的定义来概括联邦学习（如图），是指边缘节点进行建模训练，中央节点进行全局聚合计算，从而使得普惠的模型效果超过所有边缘个体。Fedearetd Learning最佳入门资料可以参考2019年Google主导、FedML创始人参与联合发表的综述《Open Problems and Advances in Federated Learning. FnTML 2021》以及2022年的升级版《A field guide to federated optimization》这两篇众多全球顶尖学者参与的文章。

当下的历史时期，联邦学习技术显得尤为重要，这是因为它处于隐私计算、边缘计算、Web3/Blockchain三大科技热点的历史交叉路口。

随着AI在千行百业的落地，人们对于隐私和数据安全的关注空前的高，政府也非常强调安全合规的数据要素流通规则；深度学习虽然是过去10年AI浪潮的关键推动者，它在输入端极其依赖于海量集中数据的问题也日益凸显。现实世界中有无数分散的小数据，每一份数据都有它的属主，属主要有自己对数据的掌控权、使用权，有它特殊的利益和隐私。因此个人用户，大型企业或机构，都难以将无数有属主的数据集中到一起，从而推动FL成为AI发展史的转折点；在算法上，过去的算法都是基于一个单节点计算中心设计的，但随着移动互联网、个人电脑的彻底成熟，因为数据所有权、隐私与安全、通信与存储开销等诸多因素，聚合海量设备数据的想法越来越不切实际，AI算法的设计也出现了人类历史上从未遇到过的需要考虑海量分布式计算节点与分散小数据下的合理算法，兼顾安全、准确率、系统效率三者缺一不可；最后，我们也看到了区块链和web3的高速发展，它在数据去中心化计算、确权、可追溯、激励机制、可信安全等角度，都与联邦学习让数据价值安全流通的构想不谋而合。正因为这些历史机遇，造就了federated learning巨大的市场潜力。

目前federated learning技术的发展已经可以给千行百业赋能，从全球已经落地的案例来看，联邦学习已经服务了医疗、金融、广告推荐、智慧城市、工业制造、交通/无人车、元宇宙等行业。

二、从科研开源到工业化平台

在学术界，最受欢迎的开源框架无疑是FedML (https://github.com/FedML-AI)，FedML已在世界范围内广泛使用 (详见https://fedml.ai/use-cases/)，包括来自美国、加拿大、中国、德国、丹麦、韩国和新加坡的研究人员和工程师。部分来自谷歌、亚马逊、Adobe、思科、华为等大公司，以及斯坦福、普林斯顿、南加州大学、科大、清华等知名研究型大学，在顶级人工智能会议发表论文，包括 ICML、NeurIPS、ICLR 和 AAAI。至今为止收获近200次引用。该框架也曾在NeurIPS 2020 federated learning研讨会上获得最佳论文奖。学术界也存在其他框架，从学术影响力数据来看，FedML的普及范围最广，引用数也最多，更受欢迎 (FedML-196; Flower-96; PySyft-32; FedScale-20; FATE-14)。

如今，FedML团队将学术成果进一步升级为工业化平台。FedML 为机器学习构建了简单而通用的 API, SDK与云服务，可以在任何地方以任何规模构建开放与协作人工智能应用。换句话说，FedML 既支持数据孤岛的联邦学习，又支持通过 MLOps 和开源支持进行加速的分布式训练，涵盖前沿的学术界研究和工业级用例。FedML 将场景进行切分，细分产品研发包括： 

• FedML Parrot - 在现实世界中模拟联邦学习

• FedML Cheetah - 通过用户友好的分布式训练加速模型训练

• FedML Octopus - 用于跨组织/帐户训练的联邦学习（包括基于 Python 的边缘 SDK）

• FedML Beehive - 智能手机和物联网的跨设备联合学习（包括适用于 Android/iOS 和嵌入式 Linux 的边缘 SDK）

• FedML MLOps：FedML 的机器学习运营管理平台，用于在任何地方以任何规模运行的 AI

• FedML Model Serving则专注于为边缘人工智能提供更好的用户体验

FedML成立公司后的Logo设计也启发于这些产品规划。

截止到今天，FedML GitHub开源已经积累了1800+ Stars, 500+ Forks, 有1100+ 位来自全球不同国家的Slack用户，其开放的工业化平台更是短期内吸引了近500专业用户(如图所示)。

看完了宏观数据，接下来，我们重点介绍FedML从成立公司以来的产品化进展。

三、FedML Open Platform - 全球首个公有云下的联邦与分布式机器学习开放平台

FedML Open Platform: https://open.fedml.ai

区别于绝大多数公司的闭源商业平台或者”申请试用”的限制模式，FedML重在打造MLOps (ML Operations) 平台，并免费向全球用户开放，任何人都可以直接注册账号后立刻投入使用，无需背景调查审核。目前支持gmail, github, 邮箱注册三种注册/登陆方式。这一模式既进一步降低了Federated Learning的学习和产品化部署门槛，也为普通用户间数据协作、以及机构间数据协作打开了一扇新的窗户，在应用场景上充满想象力。FedML的MLOps平台具备以下主要特点: 

3.1 模拟实验与真实部署无缝迁移，零代码修改

图1: FedML MLOps 工作流程 (可点击屏幕放大查看)

FedML可以帮助用户把实验仿真 (POC) 的代码无缝迁移到真实的生产环节(Production)下开展真实私有数据和边缘设备分布式训练系统下的实验。仿真实验是指通过本地若干开发服务器或者本地笔记本电脑进行的实验验证阶段，确定federated learning对具体应用能产生建模效果后，用户可以在无须修改代码的情况下，通过FedML MLOps把验证仿真阶段的代码直接部署到拥有真实数据的边缘设备。如图1左上方所示，用户首先在”Local Development”完成本地开发调试，然后生成安装包，最终经过比较简洁的命令和UI交互，可以把这些安装包与脚本分发到任意私有设备上 (如图右边红色所示)。

3.2 一行命令完成边缘模型训练部署

用户登陆平台后，只需要通过“fedml login”这样一行命令即可完成边缘设备与平台的关联。登陆后，在”Edge Devices”页面即可查看已经绑定好的边缘设备，用于后续训练流程。除了”fedml login”外，还支持如下命令，以提高研发效率：

3.3 支持全球化协作机器学习，跨国、跨城市、多租户

FedML协作变得无比简单，只需要像与好友协作文档一样，发送一个邀请链接就可以轻松建立联邦学习群组，并且没有地域、国界、城市限制，在全球任何地方，随时随地发起。

在近期的一次实验中，我们展示了来自美国不同城市、日本、中国四个地区公有云下联邦学习的全过程。

3.4 提供免费的公有云聚合服务器，也支持私有云部署 (包含docker模式)

为了降低联合建模训练的难度，FedML的开放平台特别为大家提供了公有云聚合服务器，用户在发起训练的时候，可以任意选择公有云上提供的免费服务节点。

当然，FedML也为平台用户考虑到了更为安全严格的部署需求，为此FedML平台还研发了可以自由部署私有的聚合服务器，依然只需要一行命令，即fedml login命令就可以运行安全的docker环境完成私有服务器部署，示例如下：

fedml login userid(or API Key) -s --docker --docker-rank rank_index

3.5 为分布式训练量身打造的实验跟踪与分析能力

除了上述降低用户接入门槛的功能，FedML平台也帮助各类AI应用建模提供实验追踪、管理、可视化、和分析能力。目前支持的主要能力包括：

1. 边缘设备训练状态追踪。

2. 自定义metrics上报，例如深度学习中常见分类任务中的准确率指标，回归任务的误差率，甚至包括系统状态的运行时间，内存显存占用情况，GPU利用率。

3. Profiling flow与边缘设备系统性能。可以帮助用户查看每个边缘设备上不同任务的执行性能，便于分析系统的瓶颈。

4. 分布式日志。这是目前通用机器学习平台所不具备的能力，可以方便地实时跟踪分析每个设备上发生的异常。

5. 实验报告，方便用户对多个实验结果进行对比。

详情参见：

https://doc.fedml.ai/mlops/user_guide.html#invite-collaborators-create-a-group-and-a-project

3.6 跨平台一体化设计，支持手机与IoT设备

FedML近期还针对手机设备发布了Android平台，详情可以从以下链接获取：

FedML Android Platform:

https://github.com/FedML-AI/FedML/tree/master/android

FedML IoT Platform:

https://github.com/FedML-AI/FedML/tree/master/iot

四、互联互通、开放协作：开源、开放平台、协作式应用生态

FedML除了运营开源社区之外，还从多个产品角度推进互联互动、开放协作。FedML还研发了前文介绍的开放平台open.fedml.ai以及协作式应用生态 App Ecosystem (如图，https://open.fedml.ai可访问)。App Ecosystem与平台互相协同，不断丰富应用生态，第一个版本已经完成了20多个应用的开放协作，用户可以协作贡献并共享使用这个应用，每一个应用包含了某个AI应用所有基于FedML的模型定义、训练脚本、配置文件等。目前App Ecosystem覆盖了计算机视觉、自然语言处理、图数据挖掘、物联网等主流AI应用场景。

如果说开放平台把建模过程的研发门槛降低到了最低，那App Ecosystem则是针对千行百业的从业者降低应用研发的门槛。中小企业无需雇佣很多人组成的机器学习团队，只需要1名工程师在社区成果基础上完成应用的接入使用，无需复杂的研发与部署流程。特别地，对于已经发布的这些应用，只需要一键导入即可免费使用。

五、极简灵活的API，助力算法与系统优化创新

介绍到这里，大家应该很好奇到底怎样的API设计才能经受起复杂平台、跨众多应用的考验呢？FedML在这个过程中做了很多探索，这里无私为开源社区介绍几个关键的设计。

首先，从应用的角度，FedML尽最大的可能性屏蔽了分布式训练的所有代码细节与复杂配置，计算机视觉、自然语言处理、数据挖掘等应用层面的数据科学家、工程师，只需要像往常便写单机程序一样编写model, data, trainer即可，然后传递给FedMLRunner这一个对象来完成所有过程。这极大地降低了应用开发者的使用门槛。

其次，FedML团队认为API的设计应该顺应当下技术发展趋势，不应该认为当今的技术就是最终的方案，应该边走边迭代。我们可以看到开源社区的算法创新依然非常活跃，每个月都在持续诞生很多更有用户价值的算法。也正是基于这样的背景，FedML才考虑把自定义API做到如此灵活，给算法创新赋能。为此，FedML将核心的trainer与aggregator抽象出来，为用户提供FedML.core.ClientTrainer, FedML.core.ServerAggregator两个抽象对象，用于只需要继承这两个抽象对象的接口，传递给FedMLRunner即可完成自定义。这样的自定义给机器学习开发者提供了最大的灵活性。用户可以定义任意的模型结构、优化器、损失函数等。这样的自定义也可以在FedMLRunner的帮助下与前面讲到的开源社区、开放平台、应用生态无缝衔接，彻底解决了从创新算法到落地产品化周期长的滞后问题。

最后，FedML认为，FL虽然是安全、系统效率、模型准确性三者协同的综合技术，但第一要务依然是"面向机器学习研发" (ML-oriented R&D)。比如安全和系统优化当然是重要的，但为此让ML的受众有巨大的学习负担并不是好的产品设计，最终会让核心受众放弃一款产品。所以，FedML在架构上，考虑让安全、隐私、系统优化都应该为ML服务，通过分层设计把这些辅助模块的细节隐藏掉，并最终在ML的体验上达到最佳。这一职责，在FedML体系中通过FedML Flow来完成。

具体来说，如图所示，FedML把复杂安全协议、分布式训练等分布式计算过程看作一种有向无环图(DAG)的流式计算过程，让复杂协议的编写就像单机程序一样简单，基于此思想，可以轻易的切分出安全协议Flow Layer 1，以及机器学习算法流程FLow Layer 2，从而可以让安全工程师和机器学习工程师各司其职而无需掌握多种技术，不会因此造成互相不熟悉对方的技术而无形中增加了代码维护难度。

为了让大家更直观的理解FedML Flow，下面这个例子是通过FedML Flow来实现FedAvg算法并增加多个分布式任务的过程。首先，对于每一个分布式节点，我们可以看成一个抽象的FedMLExecutor，它承载于一个独立进程之中，负责执行具体的Task，这个Task可以是训练，也可以只是一些协议消息，从而保持了高度的灵活性与抽象性。而Flow则是帮助用对这些分布式Executor进行行为传递的框架，可以编排Task执行的顺序以及Task间的消息传递。具体到一个FedAvg算法，我们可以定义一个Client Executor，以及一个Server Executor对象，他们自定义的函数则是具体的Task，通过Flow API，用户可以随意的组合出这些Executor的执行过程。下面的代码展示了进行模型初始化、多轮次训练、以及最终进行模型的分布式评估全过程。最为重要的是，这样的代码编写过程，仅仅发生在FedML用户的个人电脑上，无需掌握任何分布式系统的开发技能。

六、联合Okwin发布Cross-silo FL数据集，让研发面向真实场景

与LEAF与FedScale等论文梳理的合成或者假设数据不同（注：仅有天然的ID切分并不能代表产品与商业场景的真实性），FedML联合Okwin发布的数据集取自于真实的federated learning场景。

如图所示，目前的版本主要集中在医疗场景，包含 7 个自然分割的医疗数据集，涵盖多个任务、模式和数据量，每个都带有基线训练代码供大家研究。这些成果全部发布在FedML开放平台上，详见https://open.fedml.ai (登陆后点击App Ecosystem)。

七、50+顶会论文加持，覆盖安全(MPC/TEE/DP)、效率、弱监督、公平等关键问题

最后，让我们来看看FedML公司在预研上的进展。除了上述平台和产品体验的升级，FedML团队在科研上也保持了相当的投入，过去两年，共计在分布式计算与机器学习结合的领域发表论文高达50多篇，覆盖如下方面：(1) Vision Paper for High Scientific Impacts

(2) System for Large-scale Distributed/Federated Training

(3) Training Algorithms for FL

(4) Security/privacy for FL

(5) AI Applications

所有论文成果全部总结在https://doc.fedml.ai/resources/papers.html 

这里列举几个与产品落地高度相关的文章，覆盖安全、效率、弱监督、公平等关键问题。

1. LightSecAgg: a Lightweight and Versatile Design for Secure Aggregation in Federated Learning. MLSys 2022

Abstract: Secure model aggregation is a key component of federated learning (FL) that aims at protecting the privacy of each user’s individual model while allowing for their global aggregation. It can be applied to any aggregationbased FL approach for training a global or personalized model. Model aggregation needs to also be resilient against likely user dropouts in FL systems, making its design substantially more complex. State-of-the-art secure aggregation protocols rely on secret sharing of the random-seeds used for mask generations at the users to enable the reconstruction and cancellation of those belonging to the dropped users. The complexity of such approaches, however, grows substantially with the number of dropped users. We propose a new approach, named LightSecAgg, to overcome this bottleneck by changing the design from “random-seed reconstruction of the dropped users” to “one-shot aggregate-mask reconstruction of the active users via mask encoding/decoding”. We show that LightSecAgg achieves the same privacy and dropout-resiliency guarantees as the state-of-the-art protocols while significantly reducing the overhead for resiliency against dropped users. We also demonstrate that, unlike existing schemes, LightSecAgg can be applied to secure aggregation in the asynchronous FL setting. Furthermore, we provide a modular system design and optimized on-device parallelization for scalable implementation, by enabling computational overlapping between model training and on-device encoding, as well as improving the speed of concurrent receiving and sending of chunked masks.

Arxiv Link: https://arxiv.org/pdf/2109.14236.pdf

2. SSFL: Tackling Label Deficiency in Federated Learning via Personalized Self-Supervision. Best Paper Awards at AAAI 2021 FL workshop.

Abstract: Federated Learning (FL) is transforming the ML training ecosystem from a centralized over-the-cloud setting to distributed training over edge devices in order to strengthen data privacy. An essential but rarely studied challenge in FL is label deficiency at the edge. This problem is even more pronounced in FL compared to centralized training due to the fact that FL users are often reluctant to label their private data. Furthermore, due to the heterogeneous nature of the data at edge devices, it is crucial to develop personalized models. In this paper we propose self-supervised federated learning (SSFL), a unified self-supervised and personalized federated learning framework, and a series of algorithms under this framework which work towards addressing these challenges. First, under the SSFL framework, we demonstrate that the standard FedAvg algorithm is compatible with recent breakthroughs in centralized self-supervised learning such as SimSiam networks. Moreover, to deal with data heterogeneity at the edge devices in this framework, we have innovated a series of algorithms that broaden existing supervised personalization algorithms into the setting of self-supervised learning. We further propose a novel personalized federated self-supervised learning algorithm, Per-SSFL, which balances personalization and consensus by carefully regulating the distance between the local and global representations of data. To provide a comprehensive comparative analysis of all proposed algorithms, we also develop a distributed training system and related evaluation protocol for SSFL. Our findings show that the gap of evaluation accuracy between supervised learning and unsupervised learning in FL is both small and reasonable. The performance comparison indicates the representation regularization-based personalization method is able to outperform other variants.

Arxiv Link: https://arxiv.org/pdf/2110.02470.pdf

3. 3LegRace: Privacy-Preserving DNN Training over TEEs and GPUs. Privacy Enhancing Technologies Symposium (PETS) 2022

Abstract: Leveraging parallel hardware (e.g. GPUs) for deep neural network (DNN) training brings high computing performance. However, it raises data privacy concerns as GPUs lack a trusted environment to protect the data. Trusted execution environments (TEEs) have emerged as a promising solution to achieve privacy-preserving learning. Unfortunately, TEEs' limited computing power renders them not comparable to GPUs in performance. To improve the trade-off among privacy, computing performance, and model accuracy, we propose an \emph{asymmetric} model decomposition framework, \AsymML{}, to (1) accelerate training using parallel hardware; and (2) achieve a strong privacy guarantee using TEEs and differential privacy (DP) with much less accuracy compromised compared to DP-only methods. By exploiting the low-rank characteristics in training data and intermediate features, \AsymML{} asymmetrically decomposes inputs and intermediate activations into low-rank and residual parts. With the decomposed data, the target DNN model is accordingly split into a \emph{trusted} and an \emph{untrusted} part. The trusted part performs computations on low-rank data, with low compute and memory costs. The untrusted part is fed with residuals perturbed by very small noise. Privacy, computing performance, and model accuracy are well managed by respectively delegating the trusted and the untrusted part to TEEs and GPUs. We provide a formal DP guarantee that demonstrates that, for the same privacy guarantee, combining asymmetric data decomposition and DP requires much smaller noise compared to solely using DP without decomposition. This improves the privacy-utility trade-off significantly compared to using only DP methods without decomposition. Furthermore, we present a rank bound analysis showing that the low-rank structure is preserved after each layer across the entire model.