动态列表

  • 7亿人每周狂发180亿条消息!OpenAI首次揭秘ChatGPT最火用途
  • LLM会梦到AI智能体吗?不,是睡着了也要加班
  • 一周休4天!老黄、盖茨站台,网友炸锅:是AI福利,还是裁员信号?
  • AI精神病爆发!沉迷ChatGPT把人「宠」出病,KCL心理学家实锤
  • 谷歌DeepMind「粪坑淘金」全新方法,暗网毒数据也能训出善良模型
  • 高阶程序,让AI从技术可行到商业可信的最后一公里
  • 网络顶会获奖!华为提出端网协同RDMA传输架构,解决大规模AI集群网络可扩展性问题
  • 在端侧 AI 时代正式到来之前,联想想先做好硬件「杀手锏」
  • 火山引擎发布PromptPilot,推动大模型应用高效落地
  • 在「外滩大会·具身智能:从泛化到行动,重塑产业未来」上,这些大牛都说了什么?
  • 国内首个!夸克公开覆盖全阶段医师考试的健康大模型测试集
  • 蚂蚁百灵开源轻量级MoE语言模型Ling-mini-2.0,1.4B激活性能比肩大规模模型
  • 浙大侯廷军团队联合IIT等发布系统综述:全景解析机器学习加持下的「增强采样」方法
  • 斯坦福大学提出PSI:一种通过概率结构集成,从数据中学习可控、可灵活提示的世界模型的新系统
  • BMVC 2025 | 无需源数据,Grad-CL如何利用梯度引导实现精准的眼底图像分割?
  • 谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
  • 从少样本到千样本!MachineLearningLM给大模型上下文学习装上「机器学习引擎」
  • 最新披露,骑手收入真实情况揭晓
  • 刚刚,OpenAI发布GPT-5-Codex:可独立工作超7小时,还能审查、重构大型项目
  • 多模态BUG修复新SOTA:慕尼黑工大GUIRepair登上SWE-bench Multimodal榜单第一
  • 15年大佬深夜痛哭半小时!氛围编程巨坑曝光,95%程序员沦为「AI保姆」
  • 面试不是考试,是表演!新晋OpenAI员工:重磅揭秘顶级AI岗通关密码
  • GPT-5惨遭零分打脸,顶级AI全军覆没!奥特曼AI博士级能力神话破灭
  • 反转!LeCun刚转发「全球最快开源推理模型」,ETH苏黎世就直接打假
  • 新世界首富:斥巨资求永生,TikTok收购案最可能买家,得OpenAI千亿订单
  • 从Muon到AdaMuon:下一代优化器能否真正取代Adam?
  • 北京/杭州/西雅图内推 | 阿里通义实验室LLM Research团队招聘大模型研究科学家
  • 博士申请 | 南京大学范琦老师课题组招收26级/27级视频生成/世界模型方向博士生
  • EMNLP 2025 | LLM也会“装成人”?对比重写CoPA挑战AI文本检测可信度
  • 法天使与零一万物发布法务智能体平台,让AI成为法务部的超级员工
  • 从「对口型」到「会表演」,刚进化的可灵AI数字人,技术公开了
  • 数字生活的原生入口:蚂蚁集团发布AI眼镜全新技术框架gPass
  • OpenVision 2:大道至简的生成式预训练视觉编码器
  • 旗舰手机、AI 拍摄眼镜、Flyme ,魅族 22 「归航」终极生态
  • DeepMind与牛津大学提出LayerLock:用渐进式层冻结实现高效、无崩溃的自监督视觉表征学习
  • 超越GPT-4o,蚂蚁集团与南洋理工大学提出LaV-CoT:首个语言感知的视觉思维链
  • 为什么说现在所有的 AI Agent,都像 3D 打印机?|AI 上新
  • 召回率达99%,牛津大学等开发AI工具助天文学家快准识别超新星,从亿万星海中秒抓宇宙烟火
  • 用光学生成图像,几乎0耗电,浙大校友一作研究登Nature
  • 告别ROS的繁琐, 易用易学的机器人学习系统: 华为诺亚面向机器人学习的开源Python框架
  • 现货来了!火出圈!钉钉首款AI硬件DingTalk A1正式开售
  • 苹果 iOS 26 今日发布,8 大更新;华为小米宇树入选 MIT「聪明公司 50」;中国核电催更《流浪地球 3》
  • 2027万亿视频市场将爆发!AI十年如何重塑内容产业?|新智元十周年峰会
  • GPT-5是口袋博士?诺奖得主哈萨比斯怒怼奥特曼:博士级AI纯属扯淡!
  • 微软用「光」跑AI登上Nature!100倍能效颠覆GPU,华人首席研究员扛鼎
  • 缺钱但不缺洞见:刚刚,陶哲轩揭秘AI如何吞噬数学项目的灵魂!
  • 马斯克深夜挥刀,Grok幕后员工1/3失业!谷歌AI靠人肉堆起,血汗工厂曝光
  • 全景呈现大模型开源技术路线和生态,蚂蚁开源在2025外滩大会发布全新报告
  • 抢先实测美团首个AI Agent,让我体验一把「懒人点餐」的快乐
  • 将KV Cache预算降至1.5%!他们用进化算法把大模型内存占用砍下来了
  • LLaSO 横空出世:逻辑智能推出全球首个完全开源语音大模型框架,定义 LSLM 研究新基准
  • 为这一个Tab键,我愿意单独付费:Cursor用在线强化学习优化代码建议,护城河有了?
  • 小红书智创音频技术团队:SOTA对话生成模型FireRedTTS-2来了,轻松做出AI播客!
  • 大模型碰到真难题了,测了500道,o3 Pro仅通过15%
  • 耗资15000个A100 GPU日!港中文、阿里等发布600万规模T2I推理数据集与基准
  • INFFUS 25 | FS-Diff:一步到位,用扩散模型同时实现多模态图像融合与超分辨率
  • 神经细胞自动机实现目标导向的形态生成,AI在「生命游戏」里玩出反向规则
  • iPhone 17 全系上线拼多多,5099 起;「罗西大战」后续,传「预制菜国标」过审;小米蔚来小鹏抵制「车圈黑公关」
  • 突发!苹果AI大失血:Siri前掌门离职,核心团队被挖角,新功能延期到2026
  • 对Transformer说不!清华刘嘉:2045数字永生降临|新智元十年峰会
  • 急诊室生死逆转!酒后呕吐,GPT-5一眼锁定食管穿孔
  • 周周996,顿顿预制餐!美国AI界00后卷疯了: 住「棺材房」一周工作92小时
  • 学历越高,越怕熬夜!2.3万人10年研究实锤:睡得越晚,智力下降越快
  • Arm拥抱AI:五倍性能,三倍能效
  • Meta开源MobileLLM-R1模型,不到1B参数,用1/10的训练就超越了Qwen3
  • 清华、上海AI Lab等顶级团队发布推理模型RL超全综述,探索通往超级智能之路
  • 快手可灵团队提出MIDAS:压缩比64倍、延迟低于500ms,多模态互动数字人框架实现交互生成新突破
  • 成本不足60美元!开源U-ARM:让机器人模仿学习更亲民的通用遥操作界面
  • 让机器人“大脑”更轻更快:SQAP-VLA首次实现VLA模型量化与剪枝协同加速
  • 数据与AI双引擎驱动智能未来,2025外滩大会论数据进化之道
  • iPhone 17 Air 在华发售延期;罗永浩直播回应西贝;《流浪地球》第三部剧本完稿,共计十五万字|极客早知道
  • 刚刚,谷歌发布71页AI科研报告!6大领域全面超越专家,几小时顶几个月
  • 一夜刷屏!27岁姚顺雨离职OpenAI,清华姚班天才转型做产品经理?
  • 王小川押注下个十年:为人类造医生,为生命建模型|新智元十周年峰会
  • 一刀砍掉90%训练成本!Qwen3-Next用1/10算力练成「长文推理利器」
  • AI意识「觉醒」!图灵得主Bengio重磅发声:AI正接近人类意识临界点
  • 扩散语言模型也有MoE版本了!蚂蚁&人大从头训练LLaDA-MoE,即将完全开源
  • 如何为LLM智能体编写工具?Anthropic官方教程来了
  • 腾讯优图重磅开源Youtu-GraphRAG,实现图检索增强技术新突破
  • KDD 2025最佳论文亚军:参数不同还能共训?异构知识迁移框架HtFLlib全面开源
  • Adam的Update RMS为何总是0.2?噪声模拟到理论近似全讲透
  • 「做笔记」的RAG来了!告别噪声与骨牌效应,EviNote-RAG稳住长链推理
  • 北京/上海内推 | 小红书智能审核算法团队招聘NLP/多模态内容理解算法工程师/实习生
  • 我苦寻的「库乐队」,叫 MiniMax Music 1.5
  • Science Advances | AI for Earth:聆听海洋的「脉搏」,新一代AI大模型精准预测十年气候脉动
  • 外滩大会嘉宾锐评AGI即将“撞墙”,正在向数字与物理世界进化
  • 港科大 X MiniMax:高质量数据、小模型挑战复杂网络搜索难题
  • 为了网罗 AI 创新者,上海搞了场万人科创大赛
  • 蚂蚁集团数字蚂力首批专家级“AI数字员工团队”亮相外滩大会
  • “IIFAA数字卡包”上线支付宝:目前已支持多类身份申领
  • 蚂蚁集团加码AGI等青年人才培育,2025蚂蚁InTech奖在外滩大会揭晓
  • 重塑药物研发,哈佛医学院等开源全新AI模型,用「图神经网络」破解疾病驱动因素多元难题
  • 全球最懂智能体的创业者齐聚外滩大会,未来三年怎么做聊透了
  • 马上上岛|云栖大会「新世代 AI 创想岛」即将揭幕
  • ICRA 2025 | TANGO:机器人告别3D地图,仅靠RGB摄像头实现零样本长距离导航
  • 挑战主流认知!蚂蚁、人大在2025外滩大会发布行业首个原生MoE扩散语言模型
  • 姚顺雨离职OpenAI,「亿元入职腾讯」传闻引爆AI圈,鹅厂辟谣了
  • 全新MoE架构!阿里开源Qwen3-Next,训练成本直降9成
  • 告别错误累计与噪声干扰,EviNote-RAG 开启 RAG 新范式
  • 西贝贾国龙称一定起诉罗永浩;支付宝推出「AI 付」服务;iPhone 17 京东、天猫预订量比上代大增|极客早知道
  • 刚刚,ChatGPT支持MCP了!一句Prompt即可全自动化
  • 百度CTO王海峰:AGI曙光已现,Scaling Law仍有效|新智元十周年峰会
  • 通用Agent是伪命题?昆仑万维方汉现场拆解:垂直推理才是胜负手|新智元十年峰会
  • 文心X1.1三大能力狂飙,海内外实测还挺惊艳!
  • 超越90%城市规划师!清华、MIT等提出人机协作新范式 | Nature子刊
  • 慕尼黑车展,当冷静遇上冷静
  • 博士申请 | 新加坡国立大学计算机系卞亚涛老师招收2026 Fall人工智能全奖博士/博后
  • 别再狂刷CoT了!港科广DIGAI Lab发布隐式推理全景综述,静默思考开启新范式
  • 继首创“AI打赏”服务之后,支付宝再推国内首个“AI付”
  • 蚂蚁百宝箱新品Tbox超级智能体亮相外滩大会,5分钟即可完成专业教学素材
  • 量子宇宙模拟竞赛开启:量子计算机可以模拟并阐明复杂物理现象
  • 3000亿美元OpenAI大单,让世界首富位置换人了
  • 攻克大模型「表格盲区」!ST-Raptor框架发布,实现复杂半结构化表格的精准理解与信息抽取
  • 港大马毅外滩大会演讲:人工智能应从“黑箱”走向“白箱”
  • 兼顾准确率与可解释性,DeepSEA实现抗生素耐药蛋白注释范式转变
  • 交互扩展时代来临:创智复旦字节重磅发布AgentGym-RL,昇腾加持,开创智能体训练新范式
  • RewardDance:字节跳动提出视觉生成奖励扩展新范式,破解“奖励劫持”难题
  • 刚刚,Thinking Machines Lab首次发长文,揭开LLM推理不确定性真相
  • 英伟达的AI已经开始接管整个项目了?SATLUTION自主进化代码库登顶SAT竞赛
  • 大模型智能体不止能写代码,还能被训练成白帽黑客
  • 高德扫街榜,能不能做成中国的「Google Map」?
  • 开启MPV家庭新时代,魏牌高山7正式启动预售
  • ACL最佳论文幕后的北大人!北大张铭带出顶会常胜军和百亿CEO天团|新智元十周年峰会
  • 刚刚,这款Agent浏览器力压OpenAI,72%成功率全球第一!还能免费用
  • =COPILOT()函数横空出世!AI自动写公式效率起飞,网友:让Excel再次伟大
  • 当智能醒于物理世界,英伟达副总裁: 下一个十年属于物理AI!|新智元十周年峰会
  • 刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿
  • 00后挑大梁!近20国选手激战外滩大会,AI科创赛三赛道冠军诞生
  • CoRL 2025 | 港大InfoBodied AI团队首发具身表征新范式,构建任务自适应的感知框架
  • 英伟达下一代GPU登场,Rubin CPX一次推理数百万Token,网友:这是头野兽
  • 谷歌AI新里程碑:一个能「做研究」的系统诞生了,用LLM+树搜索编写专家级软件
  • 爱诗科技完成6000万美元B轮融资,阿里巴巴领投,达晨财智、深创投、北京市AI基金、巨人网络、Antler等跟投
  • 当人工智能「看见」量子世界:AI如何改变对复杂量子系统的认知,南洋理工、上交等发布量子系统学习综述
  • 北京内推 | AMD北京AI算法团队招聘模型量化/剪枝算法实习生(可远程)
  • SFT真不如RL?MIT团队抛出“RL的剃刀”,砍掉遗忘直通终身学习
  • 院士领衔!从智能算网到司法AI:顶尖学者直播解读AI与工程前沿趋势
  • DeepSeek、Gemini都不行?AgenTracer锁定多智能体“背锅侠”,8B小模型反超闭源巨模
  • AI应用元年,这场标杆赛事见证了中国创新速度与野心
  • AI胡说八道这事,终于有人管了?
  • 人人都能炼专属Agent,上海交大开源端侧Agent全栈工具链,真实场景性能超GPT-5!
  • TPAMI 2025 | H2OT:分层沙漏型Tokenizer,重塑高效视频姿态Transformer
  • 史上最贵「打工皇帝」!马斯克解锁1万亿美金工资,拢共分几步?
  • 500 块的「电子宠物」,治好了我的「路怒症」|New Things
  • 苹果发布会:耳机测心率、手表听音乐、iPhone Air超级薄
  • 5999 元起,苹果发布eSIM、超薄 iPhone;王腾再辟谣离职原因谣言;反恶性补贴,主要外卖平台被约谈|极客早知道

具身智能能力狂飙,安全却严重滞后?首个安全可信EAI框架与路线图出炉!

图片

近年来,以人形机器人、自动驾驶为代表的具身人工智能(Embodied Artificial Intelligence, EAI)正以前所未有的速度发展,从数字世界大步迈向物理现实。然而,当一次错误的风险不再是屏幕上的一行乱码,而是可能导致真实世界中的物理伤害时,一个紧迫的问题摆在了我们面前:

如何确保这些日益强大的具身智能体是安全且值得信赖的?

现实情况是,能力与安全,这两条本应齐头并进的轨道,正出现令人担忧的「脱钩」。如图 1 所示,业界的基础模型在能力上飞速迭代,却普遍忽视了与之匹配的安全对齐机制;而学术界虽有探索,但研究成果往往零散、不成体系。

图片

图 1: EAI 的能力与安全发展现状。行业产品(蓝色)能力飞速提升但安全滞后,学术研究(绿色)虽有探索但较为零散。作者团队的研究旨在规划一条通往理想的「安全可信 EAI」(橙线)的道路。

为了弥合这一关键差距,上海人工智能实验室和华东师范大学的研究团队撰写了这篇 Position Paper,旨在为「安全可信具身智能」这一新兴领域建立一个系统性的理论框架与发展蓝图,推动领域从碎片化研究走向整体性构建。

图片
  • 论文标题:Towards Safe and Trustworthy Embodied AI: Foundations, Status, and Prospects

  • 作者团队:Xin Tan, Bangwei Liu, Yicheng Bao, Qijian Tian, Zhenkun Gao, Xiongbin Wu, Zhihao Luo, Sen Wang, Yuqi Zhang, Xuhong Wang, Chaochao Lu, Bowen Zhou

  • 论文链接:https://openreview.net/forum?id=Eu6Yt21Alv

  • 项目主页:https://ai45lab.github.io/Awesome-Trustworthy-Embodied-AI/

本文核心贡献

不同于传统的综述文章,作者不仅梳理现状,更致力于定义概念、构建体系、并探索未来方向。核心贡献如下:

  1. 首次定义新概念:本文正式引入并定义「安全可信具身智能(Safe and Trustworthy EAI)」,将其确立为一个融合了智能体内部可靠性与外部物理世界安全性的整体性研究领域。

  2. 提出首个成熟度模型:创新性地提出「打造安全 EAI (Make Safe EAI)」的五级(L1-L5)成熟度模型。该模型为领域发展提供了第一个清晰的演进路线图,指明了从被动、外部的安全「补丁」到主动、内生的、具备自我进化和可验证能力的安全系统的必经之路。

  3. 构建全面的分析框架:提出一个包含「可信性」「安全性」两大维度、共计十大核心原则的完整框架,并基于此对领域现状进行了系统性梳理。它为系统性地分析风险、归类现有研究、识别关键空白提供了强有力的工具。

L1-L5:安全可信 EAI 的演进路线图

作者认为,真正的安全不是在能力之上的「附加模块」,而是一种与生俱来的核心能力。前者只是安全可信具身的过渡形态,可以称为「Make EAI Safe」;而他们基于 R²AI 中的人工智能安全等级,提出了「Make Safe EAI」的理念,打造内生安全可信的具身智能,并将其划分为五个演进等级,如下图(图 2)所示:

图片

图 2: 打造安全可信具身智能的五级成熟度模型,展示了从基础的抵抗力(L1-L2)到高级的复原力(L3-L5)的演进路径。

  • L1: 对齐 (Alignment) - 基础抵抗力:通过大规模数据驱动训练,使智能体行为符合基本的人类价值观和安全规范。

  • L2: 干预 (Intervention) - 监督下的抵抗力:通过可解释性与人类监督干预机制,确保人类始终处于最高控制位。

  • L3: 模仿反思 (Mimetic Reflection) - 基础复原力:智能体通过模仿和内化经过验证的安全行为模板来学习如何安全地执行任务。

  • L4: 进化反思 (Evolutionary Reflection) - 自适应复原力:智能体具备自我改进机制,通过与物理世界的持续互动,自主学习和优化其安全策略。

  • L5: 可验证反思 (Verifiable Reflection) - 可保证的复原力:智能体的安全性能由控制论等理论提供可验证的、数学上的保证,是安全可信的最高形态。

这套框架的提出并非凭空而来,而是建立在数十年来可信计算领域演进的基础之上。从可信系统,到可信 AI,再到今天关注的安全可信具身 AI,这是一个不断发展的历史进程,如下图(图 3)所示。

图片

图 3: 可信计算的演进时间线,清晰地展示了从紫色(可信系统)、蓝色(可信 AI)到绿色(安全可信具身 AI)的历史脉络。

十大核心原则:系统性风险分析的基石

为了将「安全可信」这一宏观概念落地,作者将其分解为两大维度和十项具体原则,为风险分析与系统设计提供了「标尺」。

图片

图 4: 安全可信 EAI 的十大核心原则概览,分为可信赖性(上排)和安全性(下排)两个维度。

基于此框架,作者对当前的研究趋势进行了定量分析。如下图(图 5)所示,研究发现研究工作主要集中在准确性、可靠性和抗攻击性上,而可审计性、可辨识性等原则仍有待深入探索

图片
图片

图 5: 当前研究的定量分析。上图为十大原则的层次结构,下图为各原则下研究论文数量的统计,揭示了研究热点与空白。

四大阶段:解构具身智能的工作流与风险

作者将一个具身智能体的工作流解构为四个核心阶段:指令理解、环境感知、行为规划和物理交互

图片

图 6: 具身智能体的四阶段工作流,展示了从接收用户指令到最终在物理世界执行动作的全过程。

基于此工作流,构建全面的文献分类体系,如下图(图 7)所示,系统性地梳理了在每个阶段、每个原则下的现有研究工作,为研究者提供了清晰的知识图谱。

图片

图 7: 安全可信具身 AI 的文献分类体系总览,详细映射了相关研究工作到本研究的框架中。

孪生模拟器:构建与测试可信智能体的基石

高质量的孪生模拟器是开发可信 EAI 不可或缺的工具,场景的「保真度」「可定制性」和环境的「可编辑性」对此至关重要。

图片

图 8: 评估 EAI 模拟器的关键维度。(A) 场景保真度对比,(B) 从蓝图到 3D 世界的场景定制能力,(C) 模拟复杂交互的环境可编辑性。

未来展望:从孤立优化到整体闭环的控制论范式

作者认为,当前研究的最大瓶颈在于孤立地优化单个组件。要构建真正安全可信的 EAI,必须进行一场范式转移

他们主张,未来的研究应将智能体视为一个先进的自适应控制系统(Cybernetic System),其 「可信赖」的品质是在与环境和人类的持续动态交互中涌现出来的。

图片

图 9: 作者团队提出的具身智能控制论框架。智能体(Self)、世界(World)和互动(Interaction)构成了一个闭环系统,通过「行动 - 反馈 - 演化 - 协作」的循环,不断涌现出可信赖性。

这一未来的闭环系统建立在三大支柱之上:

  • 世界 (The World):构建高保真、可扩展、可交互的虚拟环境,弥合模拟与现实的鸿沟。如下图(图 10)所示,当前技术难以同时满足这三点,是未来需要攻克的「不可能三角」。

    图片

      图 10: 现有虚拟环境(左)与理想的虚拟世界(右)的对比。

  • 自我 (The Self):发展能够自我进化的智能体,从「预训练的雕像」转变为能够终身学习的生命体。如下图(图 11)所示,下一代记忆系统将是实现自我进化的核心。

图片

图 11: 实现下一代可进化的具身智能体,红色部分(如主动感知、记忆压缩、记忆编辑与共享)代表亟待发展的关键技术。

  • 互动 (The Interaction):设计无缝的协同架构,整合内部的「身脑协同」、外部的「多智能体协作」与「人机协同」。

图片

      图 12: 实现无缝协同的三个关键渠道:内部(身脑)、多智能体和人机互动。

总结

本文不仅是对安全可信具身智能领域的全面梳理,更是一份行动倡议和未来路线图。作者希望通过提出的全新框架、成熟度模型和控制论范式,为社区提供一个统一的语言和共同的目标,共同推动下一代不仅强大,而且从根本上安全、真正值得信赖的具身智能的到来。

欢迎大家阅读论文原文,获取更详细的论述,期待与您交流!

]]>

联系我们