任务之外也在观察!智元发布终身具身智能框架LIFE 解锁机器人持续在线能力
作者:龚作仁 文章来源:Laborer
2026-11-11 16:03
作者:龚作仁 文章来源:Laborer
2026-11-11 16:03
邦小白快读
近日,智元AGIBOT发布终身具身智能框架LIFE(Learning to Live:A Step Toward Lifelong Embodied Intelligence),该框架将持续感知、长期记忆与能力复用结合,用于支持机器人在任务执行期间及任务间隔期获取环境信息,并将历史观察用于后续决策。相关论文、项目主页、RoboBeats系列模型(0.8B/ 2B/ 4B)推理代码与权重,以及SSS-Bench评测资源已开放。
所谓“终身”,与传统具身智能框架的差别在调度单位:传统具身智能系统以单个任务为中心,接收指令、感知、规划、执行,任务结束即重置状态。但在任务执行期间及任务之间,物理环境仍在持续变化。LIFE通过持续监测环境、选择性保存观察并复用任务解决方法,探索机器人如何积累和利用跨任务的方法。
在“理解指令—调用工具—等待结果”的流程中,工具执行期间的环境变化可能影响后续行动。LIFE在此基础上增加了持续运行的感知与记忆链路,使系统能够在工具运行时跟踪相关条件,并将值得记录的变化保存为可检索的历史信息。
框架由三部分协同构成:轻量决策模型“RoboBeats”负责条件跟踪与事件发现,判断何时需要触发响应或记忆写入;可塑性记忆模块“Plastic Memory”保存选中的原始画面及结构化记录;能力复用机制“EDM”(Explore–Distill–Mount,探索—提炼—挂载)将问题求解过程中形成的方法转化为经过验证的工具与技能。三个模块与多模态大模型驱动的智能体协同运行。
据智元远征Research Team介绍,LIFE旨在使机器人在未接收到指令时保持环境感知,积累历史记录,并在新的问题出现时调用已有经验。
图1|LIFE整体架构:持续观察、主动感知、可塑性记忆与自主学习四部分围绕智能体协同工作。来源:论文。
01/ 三项能力协同,让机器人持续在线
单次任务完成度反映机器人在特定指令下的执行表现。LLIFE则进一步研究跨任务的信息积累与调用,关注系统在未接收到新指令时的环境监测,以及相关观察在后续问答和行动中的应用。
这一转向的工程前提在端侧。RoboBeats通过轻量判断筛选需要进一步处理的画面,减少大模型逐帧完整分析的需求;同时复用历史计算缓存,降低连续观察中的重复计算开销。单张RTX 5090上,RoboBeats-2B处理一帧新画面的延迟约为75毫秒;同时检测16个条件时,延迟约为77毫秒。在该测试设置下,增加检测条件数量未显著增加延迟,为系统持续运行提供了性能支持。
心跳:RoboBeats,未接收指令时持续感知
RoboBeats是一个轻量决策模型(Decision Model),支持0.8B、2B和 4B三种参数规模。模型不逐帧生成文本回答,而是读取true/ false标签的得分,判断自然语言描述的条件是否成立。多个条件共享视觉输入和历史计算缓存,各自维护预测状态。
执行任务时,智能体可设置持续监测的条件,例如“电梯门是否打开”“抓取动作是否完成”。在没有新任务指令时,系统仍可检测新事件,筛选值得记录的观察,再由写入模型生成描述并保存相应画面。团队将这种持续感知机制称为“心跳”。
在StreamingBench的主动输出任务(PO)上,以参考时刻前后2 秒内首次触发的准确率为指标,RoboBeats-4B从 21.2% 提升至64.0%;在SPOT-Bench上,动作边界检测的F1分数(百分制)从26.4提升至45.8。
图2|RoboBeats复用同一条视频流,同时对多个条件输出成立概率。来源:论文图4。
图3|条件成立即行动:大图为第三人称视角,小窗为机器人第一视角。来源:智元远征Research Team实拍。
记忆:可塑性记忆,将观察过程保存为可检索记录
由于采集时难以预判哪些细节将用于后续任务,可塑性记忆分别保存原始画面和当前解析结果:原图保留现场信息,结构化记录(JSON)保存时间、位置、人物与物品等线索。执行智能体通过工具快速检索已有记录;具备文件读取和编程能力的编程智能体,则可回看原图、提取新信息,并补充字段与索引。
这一机制使记忆既支持历史信息检索,也可根据后续需求更新。例如,系统最初保存的门口画面未记录房间号,后续需要按房间号检索时,可重新分析原图,提取门牌文字并补充索引。
在基于24小时真机录像的案例研究中,远征A3 Ultra连续采集一天的第一视角视频,团队随后通过离线回放构建记忆,并开展历史信息问答。以12时 30分为提问时点,在被问及外套最后出现的位置时,系统检索到12时 18分外套位于茶水间椅背上的记录,并展示对应历史画面及拍摄位置。在判断会议室两只杯子的归属时,系统结合人物到场和杯子使用记录,找到绿色杯子的归属依据;由于黑色杯子在参会者到场前已出现,系统未将其归属于某位参会者。
团队围绕当天记录设置了6 个问题,每题测试3 次。在使用相同的GPT-6.1-sol问答模型的条件下,LIFE得分为29.5/30分,平均回答用时80.6秒;同样获得已构建记忆的Codex B对照组得分为28.5/30分,平均回答用时554.7秒。
图4|可塑性记忆:保留画面、时间与位置,日后可回看并提取新线索。来源:论文。
图5|一天的录像构建为记忆后,回答人物、物品与活动相关问题。来源:论文。
自进化:探索形成的方法,转化为可复用工具
EDM(探索—提炼—挂载)沿用前作ReSight的机制。当现有工具无法解决问题时,编程智能体查看历史记录、编写程序,探索检索与去重方法;验证有效后,将相关方法提炼并挂载至系统工具库,供后续任务直接调用。这一能力扩展发生在程序、工具接口与技能层面,不要求基础模型在每次任务后更新参数。
在FindingDory实验中,挂载EDM构建的能力后,系统在597个未参与能力构建的查询上,成功率从37.5% 提升至65.8%,提升28.3个百分点、相对提升约75%。其中,37.5% 为未挂载EDM时在同一批查询上的结果。
图6|EDM:探索—提炼—挂载,把摸索出的办法沉淀成可复用的能力。来源:论文图12。
02/ 六组基准测试与全天实验,验证持续在线
论文分别评估了条件跟踪、历史记忆问答和能力复用。不同测试采用各自的指标与比较设置,主要结果如下:
● 端侧运行性能:RoboBeats-2B在单张RTX 5090上处理一帧新画面的延迟约为75毫秒,同时检测16个条件时约为77毫秒。
● 主动感知:在StreamingBench主动输出任务(PO)中,以参考时刻前后2 秒内首次触发的准确率为指标,RoboBeats-4B的结果从21.2% 提升至64.0%。
● 动作边界检测:在SPOT-Bench中,动作边界检测的F1分数(百分制)从26.4% 提升至45.8%。
● 记忆有效性:在SSS-Bench(171段视频 /618个问题)中,仅凭文本记忆作答,且写入画面数量、写入模型和问答模型相同的条件下(论文表15),采用RoboBeats-2B的方案问答准确率从40.9% 提升至60.5%,提高19.6个百分点。
● 回溯问答:在OVO-Bench回溯问答子集中,仅使用文本记忆时,情景记忆和动作序列识别相关指标分别提升6.2和 6.1个百分点;写入端输入token数量减少约45%。
● 长时记忆与能力复用:在FindingDory的 597个未参与能力构建的查询上,成功率从37.5% 提升至65.8%。
●24小时真机实验:设置6 个问题,每题测试3 次。在使用相同的GPT-6.1-sol问答模型的条件下,LIFE得分为29.5/30分,平均用时80.6秒;对照组Codex得分为28.5/30分,平均用时554.7秒。
注:SSS-Bench的 60.5% 为仅凭文本记忆作答、写入画面数量相同、使用相同写入与问答模型条件下的问答准确率,不等同于“记忆准确率”。
图7|从持续感知到记忆问答的六组基准结果。来源:论文图1。
图8|SSS-Bench各类问题的问答准确率。来源:论文图10。
03/ 论文、代码与模型同步开源,开发者当天可复现
LIFE论文、项目主页、代码与RoboBeats三种参数规模的模型已同步开放,供开发者开展研究与复现。
● 论文:Learning to Live:A Step Toward Lifelong Embodied Intelligence
● 项目主页:agibotgeneral.github.io/life-site
● 代码:GitHub· AgibotTech/LIFE
● 模型:RoboBeats-0.8B、RoboBeats-2B、RoboBeats-4B
此次发布是智元面向机器人持续运行与经验利用的一项技术探索。LIFE将持续感知、历史记忆与工具复用纳入同一框架,将研究范围从单次任务执行延伸至跨任务的信息积累与调用。论文提出,后续研究需进一步结合长期目标与自主行动,并通过多日在线部署和动态仿真,评估系统在持续变化环境中的记忆更新、决策与运行可靠性。
注:文/龚作仁,文章来源:Laborer,本文为作者独立观点,不代表亿邦动力立场。
【版权提示】亿邦动力倡导尊重与保护知识产权。未经许可,任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明、联系方式等发邮件至run@ebrun.com,我们将及时沟通与处理。
已点赞
{{ praise_text }}
好文章,值得被更多人看到
FAQ回顾
智元LIFE终身具身智能框架是什么?
智元AGIBOT发布的终身具身智能框架,将持续感知、长期记忆与能力复用结合,支持机器人在任务执行期间及任务间隔期获取环境信息,并把历史观察用于后续决策;框架由RoboBeats、Plastic Memory和EDM三部分协同构成。
LIFE框架与传统具身智能系统的主要区别是什么?
传统具身智能系统以单个任务为中心,任务结束即重置状态;LIFE把调度单位扩展到跨任务,在任务执行期间及任务之间持续监测环境、选择性保存观察并复用任务解决方法,从而积累和利用跨任务经验。
机器人如何在未接收到新指令时持续感知环境?
LIFE通过轻量决策模型RoboBeats实现“心跳”式持续感知,模型读取true/false标签得分判断自然语言条件是否成立,多个条件共享视觉输入和历史缓存;没有新指令时仍检测新事件,筛选值得记录的观察并保存画面。
智元LIFE的可塑性记忆如何支持历史信息检索?
可塑性记忆分别保存原始画面和JSON结构化记录,记录时间、位置、人物与物品等线索;执行智能体可通过工具快速检索,编程智能体可回看原图、提取新信息并补充字段与索引,使记忆能按后续需求更新。
智元LIFE的实际测试效果如何?
在基于24小时真机录像的实验中,6个问题每题测3次,相同GPT-6.1-sol问答模型下LIFE得29.5/30分,平均用时80.6秒;在FindingDory的597个未参与能力构建查询上,挂载EDM后成功率从37.5%提升至65.8%。
下一篇
千峰访谈正和网络宇文立朋:把非标品做成可验证、可定价、可履约的标准件
近日,在2026千峰奖访谈期间,亿邦动力、亿邦智库与石家庄正和网络有限公司创始人宇文立朋,围绕”AI与出海带来的模态进化“深度交流。

















