动态列表

  • 一句话,性能暴涨49%!马里兰MIT等力作:Prompt才是大模型终极武器
  • Z世代生存、学习与未来宣言!伯克利学霸预言课堂,用AI设计人生
  • AI来了!记者、UP主、写手,谁能逃过这场「灭绝浪潮」?
  • Hinton预言成真!AI接管美国一半白领,牛津哈佛扎堆转行做技工
  • 为什么「游戏」是 AI 陪伴落地的好场景?
  • 新加坡 AI 办公系统 Agnes:200 个 Agent 并行研究,让 AI 主动「找茬」打磨设计
  • 机器人也会「摸鱼」了?宇树G1赛后葛优瘫刷美女视频,网友:比人还懂享受生活
  • 从GPT-2到gpt-oss,深度详解OpenAI开放模型的进化之路
  • KDD 2025 | UoMo来了,首个无线网络流量预测模型,一个框架搞定三类任务
  • 开源扩散大模型首次跑赢自回归!上交大联手UCSD推出D2F,吞吐量达LLaMA3的2.5倍
  • 一张图,开启四维时空:4DNeX让动态世界 「活」起来
  • AI发现新物理定律:纠正等离子体理论多年错误假设
  • 多模态大模型在化学与材料学的「体检表」——哪些能力靠谱,哪些还差很远?
  • Altman:希望 AGI 能提高生育率;与辉同行否认董宇辉年收入二三十亿元;今年国内智能眼镜市场同比增长121.1%
  • 刚刚!谷歌内部揭秘Genie 3:Sora后最强AI爆款,开启世界模型新时代
  • 硬核拆解!从GPT-2到gpt-oss,揭秘大模型进化关键密码
  • 黄仁勋子女逆袭上位!4万亿「皇储」成长史首曝:一个学烘培,一个开酒吧
  • GPT-5首次会推理,OpenAI联创曝AGI秘诀!超临界学习吞噬算力,2045金钱无用?
  • 400万人围观的分层推理模型,「分层架构」竟不起作用?性能提升另有隐情?
  • CoRL 2025|隐空间扩散世界模型LaDi-WM大幅提升机器人操作策略的成功率和跨场景泛化能力
  • SEAgent:开启从实战经验中自我进化的GUI智能体新纪元
  • OpenAI估值达5000亿美元;「原道」联手小岛秀夫,推《死亡搁浅》耳机;苹果手表将「大幅重新设计」
  • 奥特曼神秘晚宴讲话曝出!OpenAI的CEO或将是个AI,Chrome我也想买
  • 谷歌最新「0.27B」Gemma 3开源!身板小却猛如虎,开发者直呼救命稻草
  • 最惨就业季!CS学霸GPA 3.98,投2500份简历仅10次面试,AI吞噬入门级岗位
  • Yann LeCun最新纪录片首曝!传奇AI教父的双面人生,深度学习幕后40年
  • 机器人全产业链接会 FAIR plus 2026新闻发布会在京召开
  • 大模型如何推理?斯坦福CS25重要一课,DeepMind首席科学家主讲
  • 当AI比我们更聪明:李飞飞和Hinton给出截然相反的生存指南
  • 简单即强大:全新生成模型「离散分布网络DDN」是如何做到原理简单,性质独特?
  • Sam Altman:AI存在泡沫;宇树机器人夺金,王兴兴:用遥控追求极致速度;蔡浩宇AI游戏上架,27.19元|极客早知道
  • 吞下17亿图片,Meta最强巨兽DINOv3开源!重新定义CV天花板
  • 打开高德的理由又多一条!全球首个「需求链智能调度」AI地图上线
  • 核心模型被曝蒸馏DeepSeek?前女友一纸控诉,曝出欧版OpenAI塌房真相!
  • 一句话搞定多任务出行,高德用空间智能重新定义地图
  • GPT-5、Grok 4、o3 Pro都零分,史上最难AI评测基准换它了
  • 谷歌开源Gemma 3 270M,性能超越Qwen 2.5同级模型
  • 追剧不断网,可能背后有个AI在加班,故障诊断准度破91.79%
  • Meta视觉基座DINOv3王者归来:自监督首次全面超越弱监督,商用开源
  • 多突触神经元模型问世,国内团队打造类脑计算新引擎,登上《自然·通讯》
  • Science封面:高效精准模拟构象变化,微软研究院用生成式AI重塑蛋白质功能研究
  • 扎克伯格看OpenAI直播挖人,北大校友孙之清加入Meta
  • AI 模特时代到来:字节x清华推出商用级视频换装模型DreamVVT,保真度显著领先SOTA
  • LeetCode刷够100小时,学会找人内推,OpenAI员工下场教你拿Offer
  • xAI元老离职干风投,传奇人物Babuschkin长文追忆与马斯克创业战友情
  • 链式思维是幻象吗?从数据分布视角重新审视大模型推理,马斯克回复,Grok破防
  • 李想:i8 反响不错,产品力没对手;库克暗示:苹果将推桌面机器人;中国日均消耗 30 万亿 Token,暴涨 300 倍
  • ChatGPT会让大脑退化?OpenAI高管用它救下自己「读写障碍」的女儿
  • 谷歌超级编码智能体正式上岗!125刀大会员,每天300任务任意跑
  • Meta华人天才毕树超「叛逃」预言:OpenAI未竟交互革命,暗藏万亿赛道
  • 美国CS就业梦碎!狂投5000家0 Offer,名校毕业00后被麦当劳惨拒
  • 3 分钟,我学会了像鸟儿一样飞行 | New Things
  • 从隐私计算迈向六大数据流通全栈技术,“隐语”开源社区升级
  • 7天,一场风暴!理想 i8「刮骨疗毒」,怒砍两个版本
  • 小订过万!打死不说价格的全新小鹏 P7,用颜值吊起了所有人的胃口!
  • 对话理想智驾负责人:撕掉「奶爸车」标签,智驶是理想的「新引擎」
  • 告别「偏科生」时代!36 万的坦克500,让对手从此无路可走
  • 万字长谈王小川:不再迎合他人做学霸,我要解自己的命题
  • 刚刚,全网最懂图文调研的智能体模型震撼上线,看完我直接卸了浏览器
  • ICCV 2025 | HVPL:分层视觉提示学习,让“视频实例分割”模型告别灾难性遗忘
  • 复旦&微软提出StableAvatar: 首个端到端“无限时长”音频驱动的人类视频生成新框架!
  • 千支队伍争锋!首届「启智杯」算法大赛圆满落幕,助推AI应用落地
  • 冗长响应缩减80%,DeepSeek GRPO获得颠覆性改进,微软GFPO问世
  • ICCV 2025 | HERMES:首个统一3D场景理解与生成的世界模型
  • 苹果 AI 下半场:年底问世的新 Siri,要彻底改变 iPhone 的交互
  • GNN+KAN,把三角函数当「激活」选项,山大、南洋理工让分子图更会读化学子结构
  • 港大联手月之暗面等开源OpenCUA:人人可造专属电脑智能体
  • 破解「长程智能体」RL训练难题,腾讯提出RLVMR框架,让7B模型「思考」比肩GPT-4o
  • AI独角兽498家,估值2.7万亿美元;《王者荣耀》连续三年成全球最吸金手游;抖音测试「快递」服务|极客早知道
  • 奥特曼公然叫板马斯克!重金杀入脑机接口,硅谷两大巨头彻底决裂
  • AI女友24h陪玩,全球800万人上头!这群AI创企靠百度开挂
  • 马斯克删除xAI「研究员」职位引爆网络!LeCun怒批:如此暴力将扼杀创新
  • OpenAI女CEO太狠了!智商148,GPT-5才是真印钞机
  • AI 和海外游戏发力,腾讯重回 7000 亿美金
  • ICML 2025 | 奖励模型还用人标?APEC用对抗模仿生成偏好,泛化能力直线上升
  • Attention Sink的起源找到了?清华×美团首次锁定MoE中的「超级专家」
  • 博士申请 | 休斯敦大学计算机系刘锦阳老师招收高性能计算/数据压缩方向博士生
  • Kimi K2背后的冷门绝招:海量语料“重写”如何榨干每个token?
  • 告别Transformer,重塑机器学习范式:上海交大首个「类人脑」大模型诞生
  • AI 上新|在 Edge 浏览器里,我第一次感受到了 AI 的「人味」
  • Agent狂欢下的冷思考:为什么说Data&AI数据基础设施,才是AI时代Infra新范式
  • AI顶会模式出了问题? 「不发表,就出局」的恶性循环,正在压垮整个AI学界
  • 研究者警告:强化学习暗藏「策略悬崖」危机,AI对齐的根本性挑战浮现
  • 多模态大脑建模技术迈入新纪元:Meta 10亿参数模型获Algonauts 2025大脑建模竞赛冠军
  • 当人们怀念 GPT-4o,他们在「怀念」什么?
  • OpenAI没开源的gpt-oss基础模型,他去掉强化学习逆转出来了
  • IEEE TPAMI 南洋理工&哈工大提出 MARCONet++ 攻克中文文本图像超分难题
  • 耶鲁&大连理工&南洋理工等提出MDCNeXt:X射线下的“动力电池缺陷精准检测”新范式
  • 6秒造一个「视频博主」,Pika让一切图片开口说话
  • 破解AI创企的「不可能三角」,解药不止「大模型」
  • OpenAI和奥特曼将投资一家脑机接口公司,直接与马斯克的Neuralink竞争
  • 大型语言模型稳定强化学习的新路径:几何平均策略优化GMPO
  • 传 DeepSeek-R2 8 月发布;微信测试信用借款功能;Perplexity 要 345 亿美元收购 Chrome
  • 一觉醒来,GitHub没了?CEO辞职,微软接管,开发者天塌了
  • AI全国榜单爆冷,全网吃瓜大狂欢!这家黑马竟靠DeepSeek杀进全国TOP 2
  • 物理学「AlphaGo时刻」?40年未竟之事被AI一举攻破,顶尖物理学家集体傻眼
  • 刚刚,商汤内部两万字复盘曝光:多模态通往AGI核心路线首次公开
  • 让强化学习快如闪电:FlashRL一条命令实现极速Rollout,已全部开源
  • 从物竞天择到智能进化,首篇自进化智能体综述的ASI之路
  • 破解效率与成本难题:华为UCM技术推动AI推理体验升级
  • SIGGRAPH上,英伟达发布物理AI开源新技术,更新RTX Pro产品线
  • 身家25亿刀,是四家公司创始人,这位伯克利教授还在给本科生上课
  • 商汤王晓刚:世界模型将加快AI从数字空间进入物理世界,「悟能」想做那个桥梁
  • 北京内推 | 度小满金融视觉和多模态团队招聘视觉多模态算法实习生
  • 后训练轻量「小枝」强势出击!极限剪裁视觉token,推理加速154%
  • 实验室抢显卡抢破头?A800/H800骨折价来袭,超值返券助你轻松冲DDL!
  • TCSVT 2025 | 跨模态学习助力复杂工业过程异常检测:FmFormer框架与基准测试新突破
  • ICCV 2025 | LightSwitch:CMU提出材质引导的扩散模型,2分钟实现高质量三维场景重打光
  • AI全面挖掘微蛋白价值:首次引入合成负样本训练,剔除92%噪声,摆脱保守依赖
  • 是「福尔摩斯」,也是「列文虎克」,智谱把OpenAI藏着掖着的视觉推理能力开源了
  • 东方理工·甬江论坛|新大学、新使命,邀你共启未来
  • LLM总是把简单任务复杂化,Karpathy无语:有些任务无需那么多思考
  • ICCV 2025 | 小红书AIGC团队提出图像和视频换脸新算法DynamicFace
  • 聚焦前沿,见证未来!「X·创新』产品SHOW圆满举办!
  • 刚刚,OpenAI拿下IOI金牌,仅次于前五名人类选手!参赛推理模型才夺得IMO金牌
  • Lumina-mGPT 2.0:自回归模型华丽复兴,媲美顶尖扩散模型
  • 雷军:小米YU7改名,被误会是丐版;传淘宝闪购周末峰值超美团;低价 MacBook 或年底亮相,599 美元

NextStep-1:一次在图像生成上自回归范式的探索

自回归模型,是 AIGC 领域一块迷人的基石。开发者们一直在探索它在视觉生成领域的边界,从经典的离散序列生成,到结合强大扩散模型的混合范式,每一步都凝聚了社区的智慧。

这些工作,比如 MAR、Fluid、LatentLM 等,为我们带来了巨大的启发,也让我们看到了进一步优化的空间:比如,如何避免离散化带来的信息损失?如何让模型的架构更轻盈、更强大?

带着这些问题,阶跃星辰团队进行了新的尝试,并分享了阶段性成果:NextStep-1

阶跃星辰的初衷是探索一条新的自回归图像生成的路径。NextStep-1 的核心思想是直接在连续的视觉空间中,以自回归方式进行生成

为实现这一点,团队采用了一个轻量的「流匹配头」(Flow Matching Head)。它让模型能够:

  • 学会在连续的视觉空间中直接生成单个图像 Patch,从根本上绕开了作为信息瓶颈的离散化步骤。

  • 模型以自回归的方式,逐一生成所有 patches,最终完成一幅完整的图像。

这一设计带来了另一个显著优势:架构的简洁与纯粹。由于不再需要外部大型扩散模型的 「辅助」,NextStep-1 的整体架构变得高度统一,实现了真正意义上的端到端训练。

阶跃星辰团队认为,NextStep-1 的探索指向了一个有趣且充满潜力的方向。它证明了在不牺牲连续性的前提下,构建一个简洁、高效的自回归模型是完全可行的。

这只是探索的第一步。阶跃星辰选择将 NextStep-1 开源,衷心期待它能引发更多有价值的讨论,并希望能与社区的研究者一起,继续推动生成技术的演进。

图片
  • 论文链接:https://arxiv.org/abs/2508.10711

  • GitHub 链接:https://github.com/stepfun-ai/NextStep-1

  • Hugging Face 模型:https://huggingface.co/collections/stepfun-ai/nextstep-1-689d80238a01322b93b8a3dc

动因探究:背后的技术支撑

整体架构

NextStep-1 的架构如图 1 所示,其核心是一个强大的 Transformer 骨干网络(14B 参数),辅以一个轻量级的流匹配头(Flow Matching Head,157M 参数),用于直接生成连续的图像 Patch。

图片

      图 1 NextStep-1 的架构图

这一结构极其简洁、纯粹,它带来了两大解放:

  • 解放了对离散化的依赖:不再需要图像 Tokenizer 进行离散化,直接在连续空间操作。

  • 解放了对外部扩散模型的依赖:不再需要外接大型扩散模型作为 解码器,实现了端到端的自回归训练。

核心发现

在探索 NextStep-1 的过程中,阶跃星辰团队获得了两个关键发现,它们不仅解释了模型为何高效,也为未来的研究提供了新的思路。

发现一:真正的艺术家 是 Transformer

在阶跃星辰的框架中,Transformer 是 主创,流匹配头更像是画笔。团队通过实验发现,流匹配头的尺寸大小( 157M -> 528M),对最终图像质量影响很小。这有力地证明了,核心的生成建模与逻辑推理等 重活,完全由 Transformer 承担。流匹配头则作为一个高效轻量的采样器,忠实地将 Transformer 的潜在预测 翻译 成图像 Patch。

发现二:Tokenizer 的炼金术—— 稳定与质量的关键

在连续视觉 Token 上的操作带来了独特的稳定性挑战,团队发现两个关键 炼金术

  • 通道归一化 (Channel-Wise Normalization) 是稳定性的压舱石:通过引入简单的通道归一化,极其有效地稳定了 Token 的统计特性,即使在高 CFG 指导强度下,也能确保生成清晰、无伪影的图像。

  • 更多噪声 竟能带来更好质量:一个反直觉的发现是,训练 Tokenizer 时加入更多噪声正则化,反而能显著提升最终生成图像的质量。阶跃星辰团队推断,这有助于塑造一个更鲁棒、分布更均匀的潜在空间,为自回归主模型提供更理想的工作平台。

眼见为实:高保真的视觉生成和编辑能力

NextStep-1 实现了高保真的文生图的生成,同时具有强大的图像编辑能力,覆盖多种编辑操作(如物体增删、背景修改、动作修改、风格迁移等),并能理解用户的日常语言指令,实现形式自由的图像编辑。

图片

      图 2 展示 NextStep-1 全面的图像生成和编辑能力

硬核实力:权威 Benchmark 下的表现

除了直观的视觉效果,阶跃星辰团队也在多个行业公认的 Benchmark 上对 NextStep-1 进行了严格的评估。结果表明,

  • 综合性能在自回归模型中达到了新的 SOTA(State-of-the-Art)水平

  • 在多个 benchmark 上已能与顶尖的扩散模型(Diffusion Models)直接竞争

图片

      表 1 NextStep-1 在 GenEval、GenAI-Bench 和 DPG-Bench 上的性能

图片

      表 2 NextStep-1 在 OneIG 上的性能

图片

      表 3 NextStep-1 在 WISE 上的性能

图片

      表 4 NextStep-1 在 GEdit-Bench 和 ImgEdit-Bench 上的性能

局限性与未来展望

NextStep-1 是阶跃星辰团队对构建简洁的高保真生成模型的一次真诚探索。它证明了,在不牺牲连续性的前提下,构建一个纯粹的端到端自回归模型是完全可行的。阶跃星辰相信,这条 简洁 的道路,为多模态生成领域提供了有价值的新视角。

阶跃星辰团队深知这只是探索的开始,前路依然广阔。作为一个对新范式的初步探索,NextStep-1 在展现出巨大潜力的同时,也让团队识别出了一些亟待解决的挑战。我们在此坦诚地列出这些观察,并视其为未来工作的重要方向。

生成过程中不稳定

NextStep-1 成功证明了自回归模型可以在高维连续潜在空间中运行,并达到媲美扩散模型的生成质量,但这条路径也带来了独特的稳定性挑战。观察到,当模型的潜在空间从低维(如 4 通道)扩展到更高维(如 16 通道)时,尽管后者能表达更丰富的细节,但也偶发性地出现了一些生成 翻车的情况(如图 3 所示)。

图片

      图 3 失败的例子,展示图像生成过程中一些暴露出的问题

虽然其根本原因仍有待进一步探究,但团队推测可能存在以下因素:

  • 局部噪声 / 块状伪影: 可能源于生成后期出现的数值不稳定性。

  • 全局噪声: 可能反映了模型尚未完全收敛,需要更多的训练来优化。

  • 网格状伪影: 可能揭示了当前一维位置编码在精确捕捉二维空间关系上的局限性。

顺序解码带来的推理延迟

自回归模型的顺序解码特性,是其推理速度的主要瓶颈。研究团队对单个 Token 在 H100 GPU 上的延迟进行了理论分析(如表 5 所示),结果表明:

  • 主要瓶颈在于大模型(LLM)骨干网络的顺序解码

  • 流匹配头(Flow Matching Head)的多步采样过程也构成了不可忽视的开销

图片

      表 5 H100 上生成每个 token 的理论延迟速度 ( batch size 为 1 )

这一观察指明了两个明确的加速方向:

  • 优化流匹配头:通过减小其参数量、应用模型蒸馏以实现少步生成,或采用更先进的少步采样器。

  • 加速自回归主干:借鉴大语言模型领域的最新进展,如将多 Token 预测等技术,适配到图像 Token 的生成中。

高分辨率生成的挑战

在扩展到高分辨率图像生成方面,与技术生态已相当成熟的扩散模型相比,阶跃星辰团队的框架面临两大挑战:

  • 收敛效率:自回归模型的严格顺序生成特性,在更高分辨率下需要更多的训练步数才能收敛。相比之下,扩散模型在每次迭代中并行地优化整张图像,能更直接地利用二维空间归纳偏置。

  • 技术迁移难度:为高分辨率扩散模型开发的先进技术(如 timestep shift)难以直接迁移。其根本原因在于,流匹配头主要扮演一个轻量级采样器的角色,而核心的生成建模由 Transformer 骨干网络完成,因此单纯修改采样过程对最终输出的影响有限。

因此,基于 patch-wise 的图像自回归模型的高分辨率生成是一个重要探索方向。

监督微调(SFT)的独特挑战

团队观察到,当使用小规模、高质量的数据集进行微调时,训练动态会变得极不稳定

扩散模型通常仅需数千个样本,就能稳定地适应目标数据分布,同时保持良好的泛化生成能力。相比之下,阶跃星辰的 SFT 过程:

  • 依赖大规模数据:只有在百万样本规模的数据集上训练时,才能观察到显著且稳定的提升。

  • 在小数据集上表现脆弱:当使用小规模数据集时,模型会陷入一种 岌岌可危 的平衡状态。它要么收效甚微,几乎没有变化;要么突然 崩溃,完全过拟合到目标数据分布上,丧失了原有的泛化能力。

因此,如何在一个小规模数据集上,找到一个既能对齐目标风格、又能保留通用生成能力的 甜蜜点(sweet spot)检查点,对阶跃星辰团队而言仍然是一个重大的挑战。

阶跃星辰团队相信,坦诚地面对这些挑战,是推动领域前进的第一步。

NextStep-1 的开源是团队为此付出的努力,也希望能成为社区进一步研究的基石。阶跃星辰团队期待与全球的研究者和开发者交流与合作,共同推动自回归生成技术向前发展。

图片

]]>

联系我们