原创 让你更懂AI的 2025-10-07 19:04 北京
从“以图搜图”到“图文同搜”
在智能安防、失踪人口查找、公共场所人员溯源等实际场景中，我们往往需要结合「目标人物参考照片」和「文字描述」定位具体个体——比如用失踪者过往生活照，搭配“近期穿灰色连帽卫衣、戴黑色边框眼镜”的实时描述展开搜寻。
但传统人物检索技术要么仅依赖图像、要么仅依赖文本，无法充分利用跨模态信息，导致检索精度难以满足复杂场景需求。
近日，题为“Automatic Synthetic Data and Fine-grained Adaptive Feature Alignment for Composed Person Retrieval” 的工作提出的「组合人物检索（Composed Person Retrieval, CPR）」研究成功被 NeurIPS 2025 接收。
论文地址：
https://arxiv.org/abs/2311.16515
代码与数据集地址：
https://github.com/Delong-liu-bupt/Composed_Person_Retrieval
这项工作首次系统性定义 CPR 任务，通过自动合成百万级高质量数据集、设计细粒度特征对齐框架，彻底解决了跨模态人物检索的数据稀缺与特征 mismatch 核心难题，性能全面超越现有 SOTA 方法。
▲ 图1. 文章贡献一览：(a) 所提出的组合人物检索任务与多种经典行人检索任务的对比。(b) 所提出的自动高质量组合行人检索（CPR）数据合成流程、所提出的训练框架 FAFA，以及该领域首个精心标注的测试集 ITCPR 的示意图。(c) 来自本文全合成数据集 SynCPR 的部分示例。
研究背景：为什么需要「组合人物检索（CPR）」？
传统人物检索主要分为两大技术方向，但其局限性在实际应用中十分突出：
图像-only 检索：仅依靠单张参考图像匹配目标，无法应对“人物服装更换、发型改变、拍摄场景切换”等常见情况（例如用某人夏季短袖照片，检索其冬季穿羽绒服的身影）；
文本-only 检索：仅通过文字描述定位人物，文字难以精准捕捉面部轮廓、体态细节、肤色特征等视觉信息，且易因“描述歧义”导致误检（例如“穿黑色外套的男性”可能对应多个相似个体）。
而在真实需求场景中，「图像+文本」的跨模态信息往往同时存在：比如机场安检时，工作人员会结合旅客证件照与“携带棕色双肩包、穿蓝色牛仔裤”的实时观察描述排查；商场寻人时，顾客会提供亲友照片与“身高约 175cm、戴白色棒球帽”的特征描述。
为此，这项工作首次提出组合人物检索（Composed Person Retrieval, CPR）任务，核心目标是通过「参考人物图像（）+ 相对文本描述（）」的组合查询，从大规模人物图像库中精准定位目标人物图像（），实现“视觉信息与语义信息互补”的高效检索。
但 CPR 任务面临两大核心挑战，制约了技术落地：
1. 数据稀缺难题：构建 CPR 所需的「(参考人物图, 相对文本描述, 目标人物图)」三元组，需要大量人工标注——标注者需先筛选同身份人物的不同状态图像，再精准撰写两者差异的文本，不仅耗时耗力，还存在个人隐私泄露风险（如涉及监控场景人物图像）；
2. 跨模态特征对齐难题：人物图像的视觉特征（如面部五官、服装纹理、姿态）与文本的语义特征（如“卫衣款式、眼镜类型”）存在天然表征鸿沟，如何实现细粒度、动态的特征匹配，是提升检索精度的关键。
核心突破：三大创新破解CPR关键难题
针对上述挑战，这项工作从「数据合成」「模型设计」「评测基准」三个维度构建完整技术体系，系统性解决 CPR 任务的核心痛点。
▲ 图2. 文章方法的整体框架：(a) 高质量三元组的合成流程，包含三个关键阶段：文本四元组生成、行人图像对合成与数据筛选。(b) FAFA 的结构：左侧展示了模型的训练过程，右侧重点呈现了 FAFA 所采用的关键损失。
1. 自动合成百万级数据集SynCPR：彻底解决“无数据可用”
为规避人工标注的高成本与隐私风险，这项工作设计了一套可扩展的 CPR 数据自动合成流水线，最终生成包含 115 万高质量三元组的 SynCPR 数据集，整个流程分为三步，确保数据质量与多样性：
▲ 图3. SynCPR合成数据集中的示例
步骤1：LLM生成多样化文本四元组
首先利用大语言模型（Qwen2.5-70B）生成「人物文本四元组」，每个四元组包含：
参考人物图描述（）：如“一位25岁左右女性，留黑色长直发，穿白色短袖T恤、蓝色牛仔裤”；
目标人物图描述（）：如“同一位女性，留黑色长直发，穿黑色连帽卫衣、灰色运动裤”；
正向相对描述（）：如“从白色短袖T恤、蓝色牛仔裤，变为黑色连帽卫衣、灰色运动裤”；
反向相对描述（）：如“从黑色连帽卫衣、灰色运动裤，变为白色短袖T恤、蓝色牛仔裤”。
通过精心设计的提示词模板（包含人物年龄、发型、服装类型、颜色等可控元素），并随机注入高质量人工标注示例，确保 LLM 生成的文本覆盖多样化场景（如不同年龄段、职业风格、季节穿搭），且能精准捕捉同身份人物的状态差异。
步骤2：微调扩散模型生成身份一致的人物图像
直接使用预训练扩散模型生成人物图像，易出现“参考图与目标图人物身份不匹配”的问题（如面部特征、体型差异过大）。为此，这项工作提出针对性优化方案：
模型微调：用真实人物图像-文本配对数据集（CUHK-PEDES）微调 Flux.1 扩散模型，通过 LoRA（Low-Rank Adaptation）仅优化跨注意力层，让生成的人物图像更贴近真实人物检索场景的视觉风格（如监控视角、日常场景质感）。
联合生成+裁剪策略：将 和 合并为统一提示词（如“左右分栏布局，左侧：[参考图描述]，右侧：[目标图描述]”），让模型一次性生成包含两个子图的完整图像，再通过裁剪得到独立的参考人物图（）和目标人物图（）——这种方式从生成逻辑上保证了两者身份一致性，避免独立生成导致的人物特征偏差。
步骤3：MLLM多维度过滤，保证数据高质量
为剔除生成过程中的低质量样本，这项工作采用多模态大语言模型（Qwen2.5VL-32B）对三元组进行打分（1-10 分），评估维度包括：
人物图像自然度：图像中人物是否真实、无模糊/畸变/ artifacts（不单纯依赖分辨率）
身份一致性： 与 是否为同一位人物（面部特征、体型是否匹配）；
图文对齐度： 与 、 与 的描述是否匹配（如“红色外套”是否对应图像中服装颜色）；
CPR 任务相关性：能否通过 + 准确推断 （文本描述是否聚焦差异、无冗余信息）。
仅保留四项评分平均值≥8.5 的三元组，最终筛选得到 115 万高质量样本，为 CPR 模型训练提供充足且可靠的数据支撑。
▲ 图4. 数据筛选过程中被筛选掉的样本的典型示例。从左至右，每个子图分别对应四个评估维度中的一个，这些样本因在其对应维度上得分较低而被排除。
2. FAFA框架：细粒度特征对齐，突破跨模态匹配瓶颈
为解决“人物视觉特征与文本语义特征鸿沟”问题，这项工作提出 Fine-grained Adaptive Feature Alignment（FAFA）框架，通过三大核心机制实现细粒度、动态的跨模态特征匹配：
（1）细粒度动态对齐（FDA）：聚焦人物关键特征匹配
不同于传统对比学习仅做“全局特征单一匹配”，FAFA 从目标人物图像中提取细粒度局部特征，动态筛选与查询信息最相关的部分进行对齐：
特征拆分：对目标人物图像（）提取N个细粒度特征（如面部特征、上衣特征、裤子特征、配饰特征等），每个特征对应人物的一个局部关键区域；
动态筛选：计算“参考图+文本”融合后的查询特征（）与每个细粒度特征的相似度，选取Top-K个最相关特征（如K=6）求平均，作为最终匹配分数；
标签平滑优化：将“同一文本四元组生成的三元组”标记为“弱正样本”（相似度权重α=0.5），避免模型过度拟合单一正样本，提升泛化能力。
（2）特征多样性监督（FD）：减少特征冗余
为确保每个细粒度特征都能捕捉人物的独特信息，引入特征分散损失：通过限制任意两个细粒度特征的余弦相似度不超过阈值（如 m=0.5），强制特征间保持多样性，避免多个特征重复表征同一信息（如“上衣颜色”与“整体服装颜色”的冗余）。
（3）双向掩码特征推理（MFR）：强化跨模态互补
随机对查询特征（）和目标人物图像全局特征（）进行 30% 掩码，将未掩码特征输入轻量级解码器，重构完整特征——这一过程强制模型学习“用文本补充图像缺失信息、用图像验证文本描述”的跨模态互补能力，提升特征鲁棒性。
FAFA 框架基于 BLIP-2 构建，冻结 ViT-G/14 图像编码器以降低计算成本，通过可训练的 Query Transformer 实现“图像-文本”特征的高效融合，兼顾模型效率与检索精度。
3. 手动标注ITCPR测试集：建立CPR客观评测基准
▲ 图5. ITCPR测试集中的典型数据示例
为公平、准确验证 CPR 方法性能，这项工作基于 3 个公开的“服装变化人物检索数据集”（Celeb-reID、PRCC、LAST），手动标注了 Image-Text Composed Person Retrieval（ITCPR）测试集：
数据规模：包含 2225 个 CPR 三元组，覆盖 1199 个不同人物身份；
图库设置：测试图库包含 20510 张人物图像，其中 2225 张为三元组对应的目标图，确保检索难度贴近真实场景；
文本标注原则：仅描述 与 的差异（如“从短袖变为长袖、从运动鞋变为皮鞋”），不包含冗余信息，避免文本主导匹配；
质量控制：通过“视觉检索初筛+人工核验”消除图库中的假阴性样本（如漏标同身份目标图），确保评测结果可靠。
▲ 表1. FAFA方法在ITCPR数据集上的指标。从表中可以看出使用完整的信息可以获得更高的指标，说明任务设置的合理性。此外，所提出的方法的性能远远超高已有的仅图像/仅文本，以及将两种方法简单叠加的方法，也超越了组合图像检索领域的相关方法。
总结与未来展望
本研究围绕组合人物检索（CPR）任务，从数据、模型、评测三个维度实现突破，核心贡献可概括为：
1. 首次定义 CPR 任务：填补“参考图+文本”跨模态人物检索的研究空白，更贴合智能安防、寻人等实际应用需求；
2. 提出 SynCPR 数据集：通过“LLM 文本生成+微调扩散模型图像生成+MLLM 过滤”的自动流水线，解决 CPR 数据稀缺难题，为后续研究提供基础数据支撑；
3. 设计 FAFA 框架：通过细粒度动态对齐、特征多样性监督、双向掩码推理，突破跨模态特征匹配瓶颈，性能全面超越现有 SOTA 方法。
未来，他们将进一步拓展 CPR 任务的应用边界：
探索“多参考图+多文本”的复杂 CPR 场景（如结合人物正面/侧面照+多段描述）；
研究开放集 CPR（目标人物不在图库中时，如何鲁棒返回“无匹配结果”）；
优化合成数据与真实数据的域自适应方法，进一步缩小合成数据训练与真实场景应用的性能差距。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·