科技日报记者 陈曦
记者4月29日从天津理工大学获悉，该校计算机科学与工程学院副教授亓帆以及所指导的2022级研究生李帅，针对多模态联邦学习中常见的模态不兼容问题展开了深入研究，提出了一种创新的自适应超图聚合的多模态联邦学习框架。近日，该成果论文被计算机视觉和人工智能领域国际公认的顶级会议（CVPR 2024）录用。
据介绍，在联邦学习设置下，只会传输模型参数或梯度进行全局优化，不会传输每个客户端的隐私数据，从而有助于保护用户隐私，但大多数现有的联邦学习方法在训练时仍使用的是单模态数据。随着边缘计算的不断发展，不同传感器和设备产生的数据具有不同模态（如触觉、视觉、听觉等）。基于上述研究因素，对于多模态联邦学习（MMFL）的研究是有必要的。该框架通过结构化设计客户模型、全局共识原型增强器以及自适应超图聚合协作图三大关键模块，能够自适应地完成多模态客户端之间模型的聚合，实现跨模态数据客户端之间的联邦协同训练。
值得一提的是，相较于已有联邦学习工作关注客户端数据统计异质的挑战，该框架同时解决了模态不兼容和统计异质性的双重挑战，甚至在服务器不清楚客户端模态的情况下也能自适应地完成这一任务。
