AI「看见」实验，哈佛颠覆性突破！一副AR眼镜，新手秒变资深专家

---

  新智元报道  

科学研究和制造车间里，最让人崩溃的瞬间是什么？

想象一个场景：

或者是：

类似的情况，同样出现在生命科学实验室：

这些不是极端案例，而是科研和高端制造的常态。

无论是硅片还是细胞，人类的双手都极其灵巧，却也难免出错；而传统AI的「数字大脑」再聪明，也看不见这些微妙的现实世界的实验细节。

但现在，哈佛大学刘嘉教授团队研发的人机共融智能（Human-AI Co-Embodied Intelligence）系统，让这些麻烦有了破解之道。

这一系统首次将人类研究者、具身AI智能体与可穿戴混合现实与增强现实（MR/AR）硬件深度融合，构建出一个与人类能够同时感知、推理并直接共同参与真实世界实验和制造过程的集成化智能平台。

人机共融智能范式：APEX系统与人合作完成智能制造

Agentic Lab——人机共融智能平台实现AI与研究员在类器官实验与生产中的实时协作

科学实验和高端制造，从来都是「精细活」。

既要严守SOP，又要根据实时情况灵活调整——这依靠的是人类专家多年积累的「手感」和判断力。

但无论是在芯片制造车间，还是在类器官培养皿前，一个共通难题始终存在：

1. 人类试错成本太高，新手成长慢。

哪怕是经验丰富的研究员，也可能因疏忽输错参数、漏记步骤，导致整批样品报废；新手要掌握 SOP 里没写的「隐性技巧」，往往需要数月甚至数年的师徒传承。

在生命科学实验室中，这种「隐性经验」尤其昂贵——培养一批细胞或类器官往往需要数周到数月，一次多消化几秒、试剂温度偏低几度，都可能让整个周期前功尽弃。

2. AI与物理世界「脱节」。

当下的AI模型已经能写出看似完美的实验设计、能解析数据图表，但仍被困在数字世界里——

近几年虽有「自主实验室」出现，但受限于机器人「手脚」不够灵巧、环境感知不足，许多精密实验仍需人类临场应变与判断。

于是，一个尴尬的矛盾愈发凸显：

• AI拥有强大的推理与记忆，却缺少匹配的「具身感知」；

• 人类拥有灵巧的双手与直觉，却难免出错、遗漏、遗忘。两者各有所长，却始终隔着一道「看不见的墙」。

那有没有可能——

哈佛大学刘嘉教授团队正在打造一种全新的科研范式——人机共融智能（Human-AI Co-Embodied Intelligence）。

在这一范式中，人类与AI不再是「指令与执行」的单向关系，而是通过多智能体的协作，共同感知、推理、决策与行动。

AI不只是屏幕里的大脑，而是真实世界中的合作者。

在微纳制造车间里，刘嘉团队开发的APEX（Agentic-Physical Experimentation）系统通过混合现实（MR）眼镜，以8K分辨率、32ms超低延迟捕捉研究员的手部动作、视线与环境变化。

这些实时信息成为AI理解物理世界的「感官输入」。

系统内部由四个智能体协作完成闭环：

• 规划智能体：把研究目标拆解成可执行的工序；

• 上下文智能体：识别设备状态、工艺参数与操作者行为；

• 步骤跟踪智能体：精准比对当前操作与SOP，判断进度；

• 分析智能体：整合视频、语音、设备数据，给出纠错与指导。

这四个智能体像一个默契的科研小组，让AI的推理与人类的动作实时对齐，在高速、复杂的加工现场实现「人机共研」。

实测中，APEX在工具识别和步骤追踪任务的准确率比GPT-4o、Gemini等多模态模型高出24%至53%，在动态物理环境下的稳定性与理解力均处于领先水平。

在生物实验室与生产中，团队开发的Agentic Lab让AI通过增强现实（AR）眼镜进入生命科学的世界。

系统由多个协作智能体组成——

研究员在显微镜前操作时，AR眼镜捕捉第一人称视角，AI能即时识别实验阶段、监测潜在偏差，并以视觉提示或语音方式给出指导。

它还能自动解析显微图像：借助Cellpose-SAM分割+VLM文本描述+CLIP/SigLIP嵌入，构建出可解释的表型表示——AI不仅「看见」细胞，还能「理解」它们的状态。

在复杂的类器官培养中，系统可发现微小的形态异质性，指出可能的原因（如培养液营养不足或过度消化），并建议调整条件。

实测显示：Agentic Lab 的 ObserverVision在关键帧判断上与专家一致率72.3%，部分一致9.2%，合并一致率超过80%，实现了生命实验场景下真正意义的「人机共融协作」。

APEX人机共融界面，通过多智能体协作实现超净间里芯片制备阶段识别、操作纠错与实时指导，支持芯片制备的闭环协作

Agentic Lab的增强现实（AR）人机共融界面，通过多智能体协作实现实验阶段识别、操作纠错与实时指导，支持细胞与类器官实验的闭环协作

在柔性电子制造的超净间里，APEX接受了严格的实战检验；而在细胞与类器官实验室中，Agentic Lab同样经历了真实场景的挑战。

两套系统从不同维度证明了：当AI与人类共融协作时，科研流程将被彻底改写。

APEX技术帮助工程师检查芯片制备参数和帮助新手使用仪器

1. 实时纠错：一秒预警，零失误操作

还记得开头那位「小李」吗？

在RIE反应刻蚀环节中，APEX通过MR眼镜的实时监测，在他输错参数的那一刻便弹出提示：

即时反馈、即时修正——让潜在的损失在出现之前被扼杀。

而在Agentic Lab的AR环境中，当研究员在细胞传代或消化阶段操作超时、液体体积不符时，AR眼镜会在第一时间检测异常并发出提醒，避免细胞过度消化、培养液污染等不可逆错误。成为实验台上真正的「第二双眼」。

Agentic Lab的持续学习与知识记忆演化示意图

2. 自动记录与分析：让每一步都可追溯

在制造车间里，APEX能自动记录每一个操作参数、设备读数、环境快照和时间戳，形成一份结构化、可搜索的数字化实验日志。

当研究员事后追问：

系统能立刻回应：

通过VLM模型解析显微图像、表格与文本，AI能实时给出细胞状态评估、分化进度判断及优化建议。

每一次实验都会沉淀为结构化的「数字实验记忆」，可被搜索、复现、甚至被AI用来反思与改进下一次实验。

3. 技能迁移与智能共研：让新手秒变专家

在APEX的3D视觉提示与语音指导下，新手仅需一次训练，就能流畅完成复杂的八步RIE流程。

他们的操作水平几乎与专家无异——过去需要数月才能掌握的技能，如今几天即可。

在生命实验室里，Agentic Lab的表现同样惊艳。

借助AR指导界面与Agentic Lab的智能推理，新手研究员在仅有一次示范后便能完成类器官培养的关键步骤，准确率接近资深专家水平。

系统还能根据用户习惯调整提示方式，实现真正意义上的「个性化实验伙伴」。

APEX的出现，让AI第一次真正走进制造现场；Agentic Lab的诞生，则让AI开始理解生命本身。

它们共同构成了「人机共融智能」的两翼——一个在工厂中与人共造器件，一个在实验室里与人共育细胞。

这种范式的跃迁，让智能不再局限于数字世界，而是通过人类的双手，延伸进物理现实。

未来，这一体系将进一步拓展：从柔性电子到生物医学，从化学合成到组织制造，AI将与研究员共同构建一个跨学科、自进化的实验生态。

过去，我们追求让AI替代人类；如今，我们正让AI与人类共生。

最强大的智能，不是取代，而是共融。

从芯片到细胞，从器件到类器官——人机共融的时代，已经到来。

原文链接：

APEX：http://arxiv.org/abs/2511.02071

Agentic Lab：https://www.biorxiv.org/content/10.1101/2025.11.11.686354v1

参考文献：