动态列表

  • 一半人明天不上班,GDP不会掉一点!耶鲁大学揭AGI残酷真相
  • 告别胶水代码,5倍飚速!无问芯穹首次揭秘,Infra智能体蜂群登场
  • Depth Anything再出新作!浙大 & 港大出品:零样本,优化任意深度图
  • H-1B「天价签证」引爆恐慌!印裔精英返乡梦碎,2800亿市场剧震
  • 突发:甲骨文CEO下台!刚和OpenAI签下3000亿美元大单,或因路线斗争
  • 年轻一代创作者,学会与 AI 共舞
  • MiniCPM-V 4.5技术报告正式出炉!首个高刷视频理解多模态模型全解析
  • 北京内推 | Apple中国招聘机器学习/AI方向研究型实习生
  • 一套框架搞定图像定制!IC-Custom统一「位置相关/无关」,万物迁移真落地
  • KDD 2025 | 从个股偏离到市场共振:UMI挖出股市非理性因子,显著提升预测精度
  • SilentStriker:无声击溃大模型
  • Yann LeCun团队新作LLM-JEPA:结合联合嵌入预测架构,显著提升大模型微调性能与效率,在代码生成任务上表现卓越
  • 小米 17 系列手机官宣 9 月 25 日发布;iPhone 17 标准款需求超预期,苹果已增产;罗永浩再回应债务问题:个人债务五年前就还完了,后面是主动还的公司债务|极客早知道
  • 比思维链准43%!逻辑脑+大模型直觉,推理可靠性大幅提升
  • 陶哲轩官宣AI数学基金首轮名单:29个项目瓜分1.3亿,数学界沸腾!
  • GPT-5仅23.3%,全球AI集体挂科!地狱级编程考试,夺金神话破灭
  • 一手奶瓶一手键盘!新手宝妈产假氛围编程,自研实用家庭App
  • 刚刚,DeepSeek-V3.1「终极版」重磅发布!最大提升超36%,V4/R2还远吗?
  • 为了千元机用户的「流畅权」,OPPO 为安卓换了个「引擎」
  • ​一年卖出 10 个亿,这是年轻人真正的「户外神器」
  • Teable 宣布完成数百万美元天使轮融资,让数据库「长出耳朵和手」
  • 北京内推 | 智源研究院多模态交互研究中心招聘多模态/具身智能方向研究型实习生
  • RLHF要下岗?Meta × 牛津搞出新套路:用算力教算力,大模型训练新范式来了!
  • Lumos-1登场!自回归 + 离散扩散合体:让大模型真正“构造”动态世界!
  • 博士申请 | 复旦大学魏龙老师课题组招收AI4Science方向博士/硕士/RA/实习生
  • 不到两千块,我拍到了专业级别的月全食|New Things
  • 苹果发布Manzano:一种简单可扩展的统一多模态大模型,其混合视觉Tokenizer统一了理解与生成任务,性能SOTA
  • 博后年薪40万到90万 | 东方理工朱文韬课题组招聘AI方向博士后、研究助理教授、访问学生、实习生
  • 字节跳动SAIL-VL2登顶OpenCompass,开源高效多模态新标杆
  • 黄仁勋出手,50 亿美元入股英特尔,英伟达一统「GPU+x86」生态
  • 巴菲特清仓比亚迪,期间股价上涨 38 倍;苹果折叠屏手机细节曝光;雷军年度演讲定档 9 月 25 日
  • 刚刚,Gemini「灵魂人物」官宣加盟xAI!马斯克火速转推背书
  • 靠10万+粉丝,北漂插画师秒贷款!华为全栈AI加速,让银行及时看见
  • 醒醒,LLM根本没有性格!加州理工华人揭开AI人格幻觉真相
  • 哈佛大佬都哭了!H-1B签证飙至10万刀,微软谷歌连夜召回全球员工
  • 马斯克xAI百天血战,100天狂招100人!联创实权被削,豪言干掉微软
  • 全球双榜SOTA!明略科技专有大模型 Mano开启GUI智能操作新时代
  • 谷歌Gemini IMO和ICPC夺金功臣之一被xAI挖走,马斯克直呼:起飞
  • 工业级3D世界构建提速90倍!全新框架LatticeWorld让虚拟世界「一句话成真」
  • 集合通信库VCCL释放GPU极致算力,创智、基流、智谱、联通、北航、清华、东南重磅开源
  • 【招生招聘】阿卜杜拉国王科技大学孟彦达博士组全奖博士、博后、实习、交流生
  • 告别视频“抽帧”理解,美国东北大学新算法GRT算法实现高效可扩展的高帧率密集视频理解
  • iPhone17 卖爆,官网发货延至双 11;比亚迪仰望 U9 赛道版开启预定;网友玩坏 iPhone「舌头刷抖音」
  • 「逆龄大脑药」首次人体试验!奥特曼押注RTR242,返老还童将要成真?
  • 终结CMU霸权,清华首次登顶CSRankings世界第一!北大AI领域夺冠
  • 大模型训练新突破!Meta提出LSP:无数据也能实现能力飞升
  • OpenAI最新硬件2026年底亮相!狂挖苹果20+老将,首款神秘设备或将颠覆iPhone
  • 小扎AI眼镜当场死机,CTO自曝灾难级演示内幕:一个指令干趴自家服务器
  • 当大厂「卷」Agent,腾讯选择「下产线」
  • 陈天桥旗下AI公司MiroMind打造全球顶尖预测型大模型,性能登顶行业基准
  • OpenAI从苹果挖了20多人搞硬件,知情人士:苹果创新缓慢、官僚主义令人厌倦
  • Mini-Omni-Reasoner:实时推理,定义下一代端到端对话模型
  • TPAMI 2025 | DiffMVS/CasDiffMVS:一种置信度感知的扩散模型,实现轻量且准确的多视图立体三维重建
  • 北大等提出BEVUDA++,首次解决BEV感知跨域难题,夜间检测性能提升12.9%
  • iPhone 17 Pro 首日即现划痕;传 OpenAI 联手立讯做 AI 硬件;2025 年搞笑诺贝尔出炉
  • 史上最大升级!7亿周活ChatGPT逼宫,谷歌慌了,这次要把AI整个塞进Chrome
  • 谷歌AI或摘千禧年大奖!华人博士破解百年数学难题,首次捕获奇点
  • 登顶多模态推理榜MMMU!UCSD新方法超越GPT-5、Gemini
  • DeepSeek-R1登顶Nature,8位专家严审通过, 大模型「交卷时刻」来了
  • 18岁天才少年,登上Nature封面!
  • ICML 2025 | 乱写Prompt更给力?删几个Token,上下文学习立刻“反向觉醒”
  • 北京内推 | 腾讯混元大模型X团队招聘大模型/强化学习方向“青云计划”实习生
  • 扩散大语言模型也能飞?DPad免训练加速61倍,全局规划照样稳
  • 不要ViT也不要扩散!OneCAT甩掉编码器,统一多模态自回归模型来了
  • 华为超节点:用「一台机器」的逻辑,驱动AI万卡集群
  • 5555被拒稿,AC接收但PC强拒,NeurIPS揭榜引争议
  • 超强开源模型Qwen3、DeepSeek-V3.1,都被云计算一哥「收」了
  • 攻克大模型训推差异难题,蚂蚁开源新一代推理模型Ring-flash-2.0
  • 给大模型「精准手术」:美团智能客服提出逆向学习技术精准纠偏,风险控制提升38%
  • Meta新作SyncSeal:用深度学习“封印”同步信息,让数字水印不再怕裁剪和旋转
  • 阿联酋大学CVLab IEEE Fellow团队招收2026春季/秋季全奖博士生
  • 千禧年大奖难题有望突破?AI为流体动力学提供新思路
  • 生物学迎来「ChatGPT时刻」:Evo构建首个AI生成的「基因组」,开启生成式基因设计时代
  • 英伟达50亿美元入股英特尔,将发布CPU+GPU合体芯片,大结局来了?
  • 理解帮助生成?RecA自监督训练让统一多模态模型直升SOTA
  • 投50亿美元,英伟达联手英特尔;谷歌将Gemini加入浏览器;网约车司机平均月入过万
  • GPT-5攻入数学圈,证明定理快过博士生?网友热议AI新角色
  • 阿里王牌Agent横扫SOTA,全栈开源力压OpenAI!博士级难题一键搞定
  • ChatGPT负责人深度复盘,爆4o复活内幕!过快下线是失误,将迭代模型人格
  • 全球首个AI基因组诞生,35亿年生命代码重编程!生物学迎「ChatGPT时刻」
  • 芯片大地震,黄仁勋355亿入股!英特尔要为老黄造CPU,股价狂飙30%
  • 新思科技中国30周年,引领AI智能体工程师重塑芯片设计范式
  • 科大讯飞发布面向东盟的多语言大模型及系列产品,布局中国—东盟AI生态大未来
  • Nature | 20年后你会患上哪些疾病?AI准确预测超1000种疾病患病风险,助力预防
  • 我们还是低估了英伟达
  • 北京内推 | 字节跳动国际电商团队招聘大模型方向算法实习生
  • 少样本不够看?给LLM装上“学习引擎”,上下文学习迈入千样本时代
  • ICCV 2025 | Gap即力量!挖掘模态间隔潜力,MG-CLIP实现持续学习SOTA
  • 谁在拖慢你的RL?别怪显卡,错的可能是你的PG-loss
  • OneSearch,揭开快手电商搜索「一步到位」的秘技
  • 17.38 万的大六座 SUV,吉利用银河 M9 敲碎了友商的心
  • 刚刚,OpenAI在ICPC 2025编程赛上满分登顶,Gemini也达到金牌水平
  • 从一个公众号智能体说起:好用的Agent,究竟需要什么?
  • B站出海的强有力支柱:最新开源文本转语音模型IndexTTS-2.0标志零样本TTS进入双维度时代
  • 腾讯企点营销云发布Magic Agent,营销工具全面AI化
  • 带屏 AI 眼镜登场!Meta「眼镜全家桶」炸街了
  • 通义DeepResearch震撼发布!性能比肩OpenAI,模型、框架、方案完全开源
  • 让机器人「不只是走路」,Nav-R1引领带推理的导航新时代
  • 刚刚,DeepSeek-R1论文登上Nature封面,通讯作者梁文锋
  • 腾讯 AI 的新叙事
  • 传小米 YU7 新车型曝光纽北;李飞飞放出 3D AI 新成果; 49.2%,火山引擎大模型调用份额占半壁江山
  • 小扎豪掷143亿,却换不来AI燃料!数据之争下半场,中国冲出一匹黑马
  • 终结数据荒!智源开源首个Deep Research数据合成框架InfoSeek
  • 我用一张照片,生成了一个能走进去的世界
  • 奥特曼爆料:GPT-5重构彻底一切!一人顶五个团队
  • 最新实测GPT-5-Codex:前端能力碾压,复杂项目轻松搞定,Claude可以扔了!
  • 南开大学等提出RAM++:从关注“降质”到关注“内容”,实现鲁棒的全能图像恢复
  • TPAMI 2025 | 弱监督与自监督引领自动驾驶运动预测新范式,用场景分割“脑补”运动,仅需0.01%标注,性能媲美监督方法
  • 博士申请 | 新加坡国立大学CoSTA Lab招收人工智能全奖博士/RA/实习生
  • 不改参数不重训!CARVE一招纠偏,对比注意力让视觉模型精准聚焦
  • ICML 2025 | AI福尔摩斯来了!LLaVA-ReID多轮发问,行人重识别一步步锁定
  • 清华新作颠覆CoT!ParaThinker并行思考,终结单链推理天花板
  • 没想到,音频大模型开源最彻底的,居然是小红书
  • 6.1B打平40B Dense模型,蚂蚁开源最新MoE模型Ling-flash-2.0
  • 「AI助手」真来了?谷歌牵头推进Agent支付协议AP2
  • 腾讯AI Lab首创RL框架Parallel-R1,教大模型学会「并行思维」
  • 阿里开源通义DeepResearch,性能超OpenAI、DeepSeek旗舰模型
  • 华为发布4+10+N中小企业智能化方案,打通迈向智能世界「最后一公里」
  • LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
  • Cell丨谷歌AI co-scientist联合帝国理工揭开谜团:提出并验证细菌基因转移机制假说
  • 华为首款旅行车 1 小时订单破 5000,余承东再次「封神」?
  • 腾讯、复旦、上海创智学院提出SwiftVideo:首个Continuous-time视频蒸馏加速框架,实现业界最快最高清视频生成
  • 刚刚,李飞飞空间智能新成果震撼问世!3D世界生成进入「无限探索」时代
  • 突破单链思考上限,清华团队提出原生「并行思考」scale范式
  • 刘强东喊话王兴:尊重兴哥,不应是仇人;美机器人公司估值暴涨至390亿美元;iOS 微信支持聊天发实况图|极客早知道

TPAMI | 数据增强还在“盲操”?南大提出IPF-RDA,让模型训练告别信息丢失

CV君 2025-09-23 16:09 江苏

让数据增强不再是一门“玄学”。

各位炼丹师们,大家好!今天CV君想和大家聊一个咱们训练模型时几乎天天在用,但又可能没那么在意的“常规操作”——数据增强(Data Augmentation)。

简单说,数据增强就是通过对原始图片做些“小手术”,比如翻转、裁剪、加点噪声,来凭空“造”出更多训练数据,好让模型学得更扎实,见识更广。这招确实好用,但大家有没有想过,万一“手术”没做好,会发生什么?

没错,可能会“好心办坏事”。比如,一张“猫”的图片,用Cutout随机挖掉一块,结果正好把猫头给挖了,那这张图对于模型来说,标签还是“猫”,但内容已经不是猫了。这种信息丢失和分布偏移,不仅没帮上忙,反而可能把模型“带跑偏”,限制了性能。针对这个问题,来自南京大学的研究者们提出了一个全新的信息保持框架——IPF-RDA,让数据增强变得更“智能”,不再“盲操”。

数据增强的“双刃剑”效应

为了让大家更直观地理解数据增强的分类和潜在问题,研究者们首先对现有的数据增强方法做了一个梳理,大致分为三类:

  1. 区域删除型 (Regional Deletion) :比如CutoutRandomErasing,在图上随机挖掉一块。优点是能模拟遮挡,但缺点也明显,容易把关键信息(比如猫头)挖掉。

  2. 图像级别变换 (Image-level Transformation) :比如AutoAugment,对整张图进行颜色、几何变换。这类方法策略组合多,但可能引入意想不到的分布变化。

  3. 图像混合型 (Image Mixing) :比如CutMixMixup,把两张图混在一起。这种方法能创造出标签和特征都更平滑的样本,但混合区域如果选择不当,同样会造成信息混乱。

这些方法的共同问题是:在增强数据的“多样性”和保持标签的“一致性”之间,存在一个两难的权衡。增强得太猛,信息就丢了;太保守,又达不到增强的效果。

IPF-RDA:让数据增强“长眼睛”

IPF-RDA框架的核心思想非常直观:在做数据增强前,先搞清楚图片上哪些部分是“重点保护对象”,然后在增强时“手下留情”,别把这些关键信息给破坏了。

整个框架分为两大步:

第一步(线下):识别关键信息 (CDIEA算法)

研究者们设计了一个“类别判别信息估计算法”(Class-Discriminative Information Estimation Algorithm, CDIEA)。通俗地讲,这个算法会去寻找图片中对分类结果最敏感、最脆弱的像素点。它通过一种类似“对抗攻击”的思路,找出用最小的扰动就能让模型分错类的区域。这些区域,就是对分类最重要的“命门”所在。这个过程是离线完成的,为每个数据集生成一次“重要性地图”,后续训练直接用,非常高效。

第二步(线上):保护关键信息 (IPF框架)

有了“重要性地图”后,在训练时进行数据增强就有了指导。IPF(Information-Preserving Framework)会根据不同的增强类型,采取不同的保护策略:

  • 对于Cutout这类区域删除方法,IPF会确保挖掉的区域是“不那么重要”的。

  • 对于AutoAugment这类图像级别变换,IPF会在变换后,把被破坏的关键区域给“恢复”回来。

  • 对于CutMix这类图像混合方法,IPF会优先保留原图的关键信息,并根据混合区域的重要性来智能地调整新样本的标签权重。

CV君觉得,这个框架最妙的地方在于它的“即插即用”性。它不是要取代现有的数据增强方法,而是像一个“智能补丁”,可以无缝集成到各种主流的增强方法上,让它们变得更鲁棒、更有效。

实验效果:全面且持续的性能提升

口说无凭,实验为证。研究者在CIFAR-10/100、Tiny-ImageNet等多个数据集上,结合ResNet、WideResNet等多种主流模型,验证了IPF-RDA的威力。

从上表中可以看到,在CIFAR数据集上,无论是哪种模型、哪种数据增强方法(Cutout, AutoAugment等),集成了IPF-RDA之后,错误率(Error Rates)几乎都得到了稳定的降低。这意味着模型的性能实实在在地变强了。

在更具挑战性的Tiny-ImageNet数据集上,IPF-RDA带来的性能提升甚至更明显,这充分说明了其强大的泛化能力。

通过t-SNE对模型学习到的特征进行可视化,可以发现使用了IPF-RDA后,不同类别之间的界限变得更清晰,类内也更紧凑,证明模型学到了更具判别力的特征。

总结

总而言之,IPF-RDA是一个简单、有效且通用的框架,它通过“识别关键信息”和“保护关键信息”两步走策略,解决了数据增强中长期存在的“信息丢失”问题。它就像一个智能导航,指导着数据增强这辆“马车”在拓宽数据边界的同时,不会偏离正确的轨道。

对于这些日常需要和数据增强打交道的炼丹师来说,这种即插即用、稳定提升性能的工具无疑具有巨大的实用价值。虽然论文中提到代码库的链接,但目前还未看到开源代码,还是期待作者后续能放出实现,让大家都能用上这个“增强神器”。

大家在训练模型时,是否也曾被数据增强的副作用困扰过?欢迎在评论区分享你的故事和看法!

阅读原文

跳转微信打开

联系我们