Bennett贡献了量子比特 | qbitai
在人工智能领域，无论是从理论角度还是从实践角度，如何在保护用户隐私和数据安全的前提下，提高模型训练的效率和质量，都是重要的研究重点。
习学习是一种在不损害用户隐私的情况下训练AI模型的技术。
随着云计算、边缘计算和终端设备的发展，端-边-云协同计算范式的出现，为联邦习算法的实现和部署提供了新的路径。
由中国科学院计算技术研究所、中国科学院大学、中关村实验室和北京交通大学研究团队共同完成的“聚合联邦学习：通过端边云协同赋能大模型训练”在Infocom 2024中提供了新的视角，引领我们进入联邦学术习和端边云协同的新时代。
端边云协同是一种新兴的计算范式，借助远程云数据处理中心、近端边缘服务器和终端设备的分布式计算能力，提供高效、灵活、可扩展的计算框架。
在端边云协同的架构下，云服务器、边缘服务器、终端设备可以充分发挥各自的优势。
云服务器具有强大的计算能力，适用于大规模数据处理和模型训练任务边缘服务器靠近用户，可以处理对时间敏感、延迟敏感的任务在保护用户隐私的前提下，终端设备可以使用丰富的用户数据进行本地化的模型训练和优化。
在这种模式下，云服务器、边缘服务器和终端设备可以在不同计算层之间协同工作，共同承担计算任务，提高整体计算效率。
在此背景下，作者探讨了如何通过设备-边缘-云协作帮助联邦学术习处理大型模型的训练任务。
本文作者提出了一种习聚联邦学习框架，该框架通过桥接基于桥接样本的在线蒸馏协议，递归组织树状拓扑的端边云算力网络，实现设备-边缘云之间每对父子节点的模型独立性。
具体来说，下级节点首先使用轻量级编码器对本地数据进行编码，然后将编码上传到上级节点父节点使用预先训练的解码器来生成编码的伪样本。 在这些伪样本上提炼出不同层次节点之间的模型，并逐层传递知识。
这样一来，不同层的节点就可以基于本地计算资源训练出合适规模的模型，而规模明显超过设备侧设备承载能力的模型，可以在将所有知识集成到云端后进行训练。
此外，本文作者还展示了该框架在端边云计算网络中的灵活性，即每个非根节点计算节点可以随意切换同一级别的父节点，这为计算网络中的单点宕机修复和负载均衡操作提供了空间。
实验结果表明，与现有框架相比，压缩联邦习可以显著提高模型的精度和收敛性。
*地址：*友情链接：