让你更懂AI的 2025-09-23 18:12 北京
替换与自由生成一把梭
图像定制(Image Customization)是工业级媒体生产中的核心需求——无论是虚拟试衣、商品植入,还是创意 IP 衍生,都需要让生成的图像与参考保持身份一致。
传统方法通常分为两类:
位置相关(Position-aware):需要在指定位置(例如遮罩指定)进行定制,比如“替换图中的商品”。
位置无关(Position-free):不依赖具体位置,从零生成符合参考身份的新图像,比如“让某个角色出现在全新的场景里”。
然而,这两类方法往往相互独立,缺乏一个统一框架来灵活应对多种需求。
今天,腾讯 ARC Lab 联合北京大学团队开源了全新研究成果 IC-Custom 🚀 ——一个通过 In-Context Learning 实现的统一、多场景图像定制框架。
论文地址:
https://arxiv.org/abs/2507.01926
项目主页:
https://liyaowei-stu.github.io/project/IC_Custom/
代码链接:
https://github.com/TencentARC/IC-Custom
社区适配与支持
值得一提的是,社区开发者已经将 IC-Custom 适配到了 ComfyUI 工作流,方便大家快速体验:
🔧 ComfyUI 节点:
ComfyUI_RH_ICCustom
⚙️ RunningHub 工作流:
RunningHub_ICCustom
🎥 ComfyUI 演示视频:
T8star-Aix ComfyUI 演示(Bilibili)
ComfyUI 官方教程(Bilibili)
https://www.bilibili.com/video/BV1bHYPz8EUi/?vd_source=b08a459ef4b115fe7614b270fe47627a
IC-Custom 的核心亮点
1. 统一框架
同时支持 位置相关(精确或用户绘制 mask)、位置无关(从零生成)定制场景。
一个模型搞定多种任务,避免了以往需要单独训练多个模型的局限。
2. 创新的 In-Context Multi-Modal Attention(ICMA)机制
引入可学习的任务标记(task-oriented register tokens)与边界感知位置嵌入(boundary-aware positional embeddings),有效解决任务混淆与边界歧义问题。
3. 高质量生成
精心收集了 1.6 万+ 高质量样本,包含真实与合成数据,覆盖服装、家具、饰品等场景。
数据分辨率普遍超过 1024×1024,保证了生成的细节与真实性。
4. 轻量高效
仅需训练原模型 0.4% 参数(4926 万),就能取得表现优于社区工作流(FLUX.1 Fill 万物迁移)和闭源模型的表现。
实验与评估
在 ProductBench 与 DreamBench 上,IC-Custom 在身份一致性、整体和谐度、文本对齐度三大指标上均取得显著提升现有方法。
人类偏好测试中,IC-Custom 获得了约 73% 的偏好提升。
无论是带 mask 的定制场景,还是完全自由的生成场景,IC-Custom 都能生成高质量、和谐且身份一致的图像。
应用场景
🧥 虚拟试衣:快速生成多角度、多场景的试穿效果
💍 配饰摆放:轻松模拟饰品、家居、商品的多种展示方案
🎨 创意 IP 衍生:动漫角色、虚拟人物在不同环境下的个性化生成
IC-Custom 让 AI 生成更懂“定制”,为工业生产与创意设计带来更多可能性。
🔗 了解更多
📄 论文地址:
https://arxiv.org/abs/2507.01926
🌐 项目主页:
https://liyaowei-stu.github.io/project/IC_Custom/
💻 开源代码(欢迎Star✨):
https://github.com/TencentARC/IC-Custom
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·