原创 让你更懂AI的 2025-11-12 18:11 北京
联邦学习个性化视觉-语言融合新框架
在推荐系统中，同时利用图像和文本信息来理解物品早已不是新鲜事。但如果场景换成联邦学习，即所有用户数据都必须保留在本地设备上，我们该如何高效地融合这些多模态信息，并为每个用户提供个性化的服务呢？
这是一个棘手的问题。目前主流的联邦推荐，要么干脆只用交互 ID，牺牲了内容信息；要么就制定一套“一刀切”的融合规则，让所有用户以相同的方式去理解图文。
但现实是，用户间的偏好差异巨大：有人更依赖图片，有人更在乎文字描述，还有人更信赖协同信号。这种“融合偏好”的异质性，恰恰是影响个性化体验的关键。
为了解决这个问题，悉尼科技大学与香港理工大学的研究者提出了 FedVLR 框架。它的核心思路非常直接：既然融合偏好因人而异，那就把融合的决策权交给用户端侧，同时把计算量大的工作留在服务器。
论文标题：
Federated Vision-Language-Recommendation with Personalized Fusion
论文链接：
https://arxiv.org/abs/2410.08478
代码链接：
https://github.com/mtics/FedVLR
本文已被 AAAI 2026 接收为口头报告（Oral Acceptance）。
FedVLR 的工作逻辑：“服务器预加工 + 客户端个性化组合”
FedVLR 巧妙地设计了一种双层融合机制，清晰地划分了服务器和客户端的职责：
1. 服务器端：多视图“预融合”（Pre-Fusion）
联邦学习中，物品的图文内容（如商品图、描述文字）通常存储在服务器。FedVLR 的服务器不会直接把原始特征发给客户端。
相反，它会先利用强大的视觉-语言（V-L）模型（如 CLIP）进行密集的特征提取，然后通过一组不同的融合算子，将图、文、ID 等信息加工成若干种“候选融合视图（Pre-fused Views）”。
可以理解为，服务器预先准备了几种不同侧重点的物品表示方案（比如“侧重视觉的”、“侧重文本的”、“图文均衡的”等），并把这个计算量最大的步骤在云端完成。
2. 客户端：轻量级“个性化精炼”（Personalized Refinement）
当客户端（例如用户的手机）需要进行训练或推理时，它会从服务器获取这些“候选视图”。
接着，关键一步来了：客户端会根据本地存储的用户历史交互数据（这些数据永远不会离开设备），启用一个非常轻量级的本地模块（具体实现为 Mixture-of-Experts 路由器）。这个模块的唯一任务就是动态地决定如何加权组合那些来自服务器的“候选视图”。
例如，如果本地数据显示该用户对视觉信息更敏感，那么“侧重视觉的”视图就会被分配更高的权重。
最终，每个用户都在自己的设备上，生成了专属的、个性化的物品表示。
一个“即插即用”的增强层
FedVLR 的设计定位并非要推翻现有的联邦推荐算法（如 FedMF，FedNCF 等），而是作为一个可插拔的增强层。
它可以无缝地“挂载”到各种以 ID 为主的联邦推荐框架上，使其在不改变原有联邦优化流程（如 FedAvg）的前提下，立刻拥有感知内容和个性化融合的能力。
这对工程落地非常友好，因为它意味着：
通信开销不变：客户端上传的依然是梯度或小模型，与标准联邦学习一致。
隐私边界清晰：个性化参数和用户数据严格保留在本地，不上传。
兼容性强：可以和差分隐私（DP）等现有的隐私增强技术叠加使用。
端侧负担小：客户端新增的只是一个轻量的路由模块，计算开销可控。
实验效果如何？
研究团队在电商、电影、短视频等多个公开数据集上进行了验证。
结果显示，无论 FedVLR 挂载到哪种联邦算法基线上，都能带来持续且稳定的排序指标提升（如 NDCG 和 HR）。
一个重要的发现是，在数据稀疏的场景下，个性化融合带来的改进尤其明显。这表明 FedVLR 能够更有效地利用有限的本地数据来理解内容，在某些条件下甚至缩小了与中心化训练模型的差距。
总结
FedVLR 针对联邦学习中“个性化”与“多模态”难以兼顾的痛点，提供了一个实用且高效的解决方案。
它通过“服务器预融合、客户端精炼”的架构，在严格保护隐私的前提下，成功地将“融合图文”这一决策本身个性化，让推荐系统真正做到“因人而异”地理解内容。
对于希望在保护用户隐私的同时、提升内容推荐质量的业务来说，FedVLR 提供了一个低成本、易部署的升级路径。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·