• 亿邦公众号
    • APP下载

独家专访北大卢宗青:如何用50万小时人类视频 训练机器人“大脑”|甲子光年

作者:周悦 文章来源:甲子光年

2026-07-30 13:26

作者:周悦 文章来源:甲子光年

2026-07-30 13:26

邦小白快读

EN
全文速览

本文是对北京大学副教授卢宗青创办的具身智能公司智在无界的专访,核心干货是该公司坚持只做机器人“大脑”(具身基础模型)、不做本体,用50万小时人类视频训练模型的最新进展。

1. 企业定位与产品布局:行业内多数公司选择软硬一体,智在无界坚持专业分工路线,目前收敛出两条成熟模型线,H系列聚焦手部末端灵巧操作,M系列处理人形机器人全身移动操作,最新发布了加入触觉的H0.8和扩展全身操作能力的M0.7。

2. 核心技术突破:首次在预训练阶段加入人手与物体的接触触觉信息,解决了纯视觉方案难以分辨接触临界点、遮挡下任务失败的问题,能稳定完成夹取易碎品、遮挡取物等难点任务,随着数据量提升模型已经出现零样本泛化能力。

3. 落地进展:目前模型已经可以在垂类场景通过小量数据快速后训练适配,商业化路径以模型授权给本体厂商为主,已经在和跨国企业开展工业场景的概念验证。

本文披露了具身智能行业的发展趋势与创业方向,能给机器人相关品牌商提供战略与商业化参考。

1. 行业分工趋势:当前行业已经逐渐认可专业分工模式,“只做模型、不做本体”的路线已经获得资本和行业的认可,品牌商不需要强求全栈布局,可以聚焦自身擅长环节,通过合作降低研发成本。

2. 产品与消费趋势:单一功能机器人(比如仅会跳舞)的竞争力不足,市场对具备跨场景泛化操作能力的机器人需求更高,带触觉能力的模型能大幅提升产品任务成功率,优化用户体验。

3. 商业化新机会:具身智能落地不一定只替代人工,也能开发人类无法完成的新场景新产品,比如特殊环境作业、创意娱乐服务等,存在新的消费增长空间。

4. 合作机会:智在无界等模型厂商已经开放模型授权合作,本体品牌商可以通过授权快速获得成熟的通用操作能力,缩短产品研发周期。

本文披露了具身智能赛道的最新发展动态,能给布局机器人相关业务的卖家提供机会与风险参考。

1. 市场增长机会:当前具身基础模型还未大规模落地,细分工业场景、消费场景的灵活操作类机器人需求还未被满足,提前布局细分赛道有明显先发优势。

2. 商业模式机会:专业分工已经成为行业趋势,卖家不需要从零开始研发大模型,可以通过模型授权获得成熟的具身智能能力,快速推出产品,大幅降低研发门槛和投入成本。

3. 产品能力升级:带触觉的具身模型能解决纯视觉方案做不好的夹取易碎品、遮挡取物等问题,能有效提升产品任务成功率,优化用户口碑,提升产品竞争力。

4. 风险提示:通用全场景具身智能还需要3-5年才能成熟,不要盲目投入追求通用能力,优先聚焦垂类场景落地更容易实现商业化回报。

本文介绍了具身智能领域的最新进展,能给工厂智能化升级、布局生产自动化提供参考。

1. 生产升级需求:当前很多工厂的自动化方案只能完成固定单一任务,无法适配多品种小批量的灵活生产需求,对能适配不同任务的具身智能机器人有迫切需求。

2. 商业合作机会:智在无界的H模型已经可以针对工业场景快速后训练适配,工厂不需要更换现有机器人本体,就可以通过模型升级获得更灵活的操作能力,降低智能化改造成本。

3. 数字化转型启示:具身智能落地会先从细分生产场景开始,工厂推进机器人智能化不需要一步到位,可以先针对特定操作任务测试落地,逐步升级,有效降低转型风险。

4. 技术价值:带触觉的具身模型比纯视觉方案更稳定,能更好完成精密组装、易碎品处理等工厂常见任务,有效提升生产合格率,降低不良损耗。

本文披露了具身智能行业的最新需求和技术方向,能给相关技术服务商提供发展参考。

1. 行业发展趋势:具身智能行业分工逐渐清晰,越来越多本体厂商不需要自研模型,对第三方成熟具身基础模型、配套数据处理、部署服务的需求在快速增长,赛道空间广阔。

2. 前沿技术方向:用大规模高质量人类视频做预训练、预训练阶段加入触觉信息、设计统一编码器适配不同硬件,是当前提升具身模型能力的有效路径,已经验证能解决纯视觉方案的核心痛点。

3. 客户核心痛点:当前多数本体厂商面临模型泛化能力不足、单一任务适配成本高的问题,同时缺乏构建大规模高质量预训练数据、搭建模型基础设施的能力,存在明确的服务需求。

4. 业务机会:服务商可以聚焦数据处理管线搭建、模型适配部署、数据标注等高需求环节,依托头部模型厂商的能力,为本体厂商提供配套服务,拓展自身业务边界。

本文介绍了具身智能行业的分工趋势和发展现状,能给机器人产业平台的运营布局提供参考。

1. 产业生态需求:当前具身智能行业的专业化分工趋势明显,大量本体厂商、硬件厂商对第三方优质具身基础模型、配套服务商有强烈需求,平台可以针对性引入相关企业,完善产业生态。

2. 平台运营方向:平台可以围绕具身智能打造细分赛道招商体系,引入模型厂商、数据服务商、本体厂商等不同环节的主体,搭建对接渠道,促进分工协作,满足不同企业的合作需求。

3. 落地推进方向:当前手部操作模型已经接近商业化,平台可以优先推动工业场景操作类项目的落地对接,打造标杆案例,吸引更多企业入驻,形成生态正向循环。

4. 风险规避:通用全场景具身智能还需要3-5年才能成熟,平台不要盲目炒作全场景通用概念,应该引导企业先聚焦垂类场景落地,避免行业泡沫化,推动产业稳步发展。

本文是对具身智能领域前沿创业者的深度专访,披露了行业最新的技术和产业动向,对相关研究者有较高参考价值。

1. 产业新动向:当前具身智能行业已经从全栈软硬一体的发展潮流,逐渐转向专业化分工,“只做模型、不做本体”的创业路线已经完成早期验证,获得行业认可,专门做通用具身基础模型的细分赛道已经成型。

2. 技术新方向:提出了用大规模人类视频预训练、预训练阶段加入触觉模态、训练模型学习动作因果关系而非相关性的新技术路线,目前已经积累50万小时高质量数据,验证了触觉加入对任务能力的提升,模型已经出现零样本泛化能力。

3. 待研究新问题:当前行业还面临大规模数据管线系统构建、不同硬件触觉信号统一表征、通用因果模型训练等核心问题,仍待深入探索。

4. 商业模式参考:明确了具身基础模型公司以模型授权、合作开展概念验证项目为主的早期商业化路径,长期目标是打造统一端到端通用具身模型,为产业商业模式研究提供了新样本。

声明:快读内容全程由AI生成,请注意甄别信息。如您发现问题,请发送邮件至 run@ebrun.com 。

我是 品牌商 卖家 工厂 服务商 平台商 研究者 帮我再读一遍。

Quick Summary

This article is an exclusive interview with Zongqing Lu, associate professor at Peking University and founder of embodied AI startup Wisdom Boundary. It covers the company’s core strategy: focusing solely on developing robot "brains" – embodied foundation models – rather than manufacturing robot hardware, and shares the latest progress of its model trained on 500,000 hours of human video data.

1. Company positioning and product lines: While most players in the industry pursue integrated hardware-software solutions, Wisdom Boundary adheres to a specialized division-of-labor model. It has refined two mature model lines: the H-series for dexterous hand-end manipulation, and the M-series for full-body mobile manipulation of humanoid robots. The company recently launched H0.8, which integrates tactile sensing, and M0.7, which features expanded full-body manipulation capabilities.

2. Core technical breakthrough: For the first time in the industry, the company integrated tactile contact information between human hands and objects into the pre-training stage. This solves key problems of pure visual solutions, including difficulty identifying contact critical points and task failure under occlusion. The model can stably complete challenging tasks such as grasping fragile items and retrieving objects from occluded spaces, and has already developed zero-shot generalization capabilities as its training dataset has grown.

3. Commercialization progress: The model can now be quickly fine-tuned with a small amount of data to adapt to vertical scenarios. Its main commercialization path is licensing models to robot hardware manufacturers, and it is currently conducting proof-of-concept tests for industrial scenarios with multinational corporations.

This article outlines key development trends and startup directions in the embodied AI industry, offering strategic and commercial insights for robotics-related brands.

1. Industry division-of-labor trend: The industry has increasingly embraced specialized division of labor, and the "model-only, no hardware" strategy has gained recognition from both capital and industry incumbents. Brands do not need to force a full-stack layout; instead, they can focus on their core competencies and reduce R&D costs through collaboration.

2. Product and consumer trends: Single-function robots (such as those that only dance) lack competitive edge. The market has stronger demand for robots with cross-scenario generalized manipulation capabilities. Tactile-enabled models can significantly improve task success rates and enhance end-user experience.

3. New commercial opportunities: Embodied AI does not only replace human labor – it also enables new products and scenarios that are impossible for humans to operate, such as special environment work and creative entertainment services, opening up new consumer growth spaces.

4. Collaboration opportunities: Model providers like Wisdom Boundary now open model licensing partnerships. Hardware brands can quickly access mature generalized manipulation capabilities through licensing to shorten product development cycles.

This article shares the latest developments in the embodied AI track, providing opportunity and risk insights for sellers expanding into robotics-related businesses.

1. Market growth opportunities: Embodied foundation models have not yet been deployed at scale, and demand for flexible manipulation robots in segmented industrial and consumer scenarios remains unmet. Early entry into niche tracks offers clear first-mover advantages.

2. Business model opportunities: Specialized division of labor has become an industry trend. Sellers do not need to develop large models from scratch; they can obtain mature embodied AI capabilities through model licensing to launch products quickly, greatly lowering R&D barriers and capital investment.

3. Product capability upgrading: Tactile-enabled embodied models solve the pain points of pure visual solutions, such as poor performance in grasping fragile items and retrieving occluded objects. They can effectively improve task success rates, boost user satisfaction and strengthen product competitiveness.

4. Risk warning: General-purpose full-scene embodied intelligence will take 3-5 years to mature. Sellers should not invest blindly in pursuing general capabilities; focusing first on vertical scenario deployment is far more likely to deliver commercial returns.

This article introduces the latest progress in the embodied AI field, providing reference for factories pursuing intelligent upgrading and production automation.

1. Production upgrading demands: Most existing automation solutions for factories can only perform fixed, single tasks and cannot adapt to the flexible production needs of multi-variant, small-batch manufacturing. There is urgent demand for embodied AI robots that can adapt to different tasks.

2. Business collaboration opportunities: Wisdom Boundary’s H-series models can be quickly fine-tuned for industrial scenarios. Factories do not need to replace their existing robot hardware to gain more flexible manipulation capabilities through model upgrades, which reduces the cost of intelligent transformation.

3. Insights for digital transformation: Embodied AI will first be deployed in segmented production scenarios. Factories do not need to complete intelligent robot transformation in one go; they can start with testing and deployment for specific manipulation tasks, then upgrade step by step to effectively reduce transformation risks.

4. Technical value: Tactile-enabled embodied models are more reliable than pure visual solutions. They perform better on common factory tasks such as precision assembly and fragile item handling, effectively improving production yield and reducing defect losses.

This article discloses the latest demand and technical directions in the embodied AI industry, providing development reference for relevant technology service providers.

1. Industry development trend: Division of labor in the embodied AI industry is gradually clear. More and more hardware manufacturers no longer develop models in-house, leading to rapidly growing demand for third-party mature embodied foundation models, supporting data processing and deployment services. The track offers broad market space.

2. Cutting-edge technical directions: Pre-training with large-scale high-quality human video, integrating tactile information into the pre-training stage, and designing a unified encoder to adapt to different hardware are proven effective paths to improve embodied model capabilities, and have solved the core pain points of pure visual solutions.

3. Core customer pain points: Most hardware manufacturers currently struggle with insufficient model generalization and high adaptation costs for single tasks. At the same time, they lack the capacity to build large-scale high-quality pre-training datasets and model infrastructure, creating clear unmet demand for supporting services.

4. Business opportunities: Service providers can focus on high-demand segments including data processing pipeline construction, model adaptation and deployment, and data annotation. Leveraging the capabilities of leading model developers, they can provide supporting services for hardware manufacturers to expand their own business boundaries.

This article introduces the division-of-labor trend and current development status of the embodied AI industry, providing reference for the operation and layout of robotics industry platforms.

1. Industrial ecosystem demand: The trend toward specialized division of labor in the embodied AI industry is clear. A large number of hardware and robot body manufacturers have strong demand for high-quality third-party embodied foundation models and supporting service providers. Platforms can targetedly introduce relevant players to complete their industrial ecosystem.

2. Platform operation direction: Platforms can build a segmented track investment attraction system centered on embodied intelligence, bringing together model developers, data service providers, hardware manufacturers and other players along the value chain. They can build connection channels to facilitate division of labor and collaboration to meet the cooperation needs of different enterprises.

3. Deployment promotion direction: Hand manipulation models are close to commercialization. Platforms can prioritize facilitating the deployment and connection of operation-focused industrial projects to build benchmark cases, attract more enterprises to settle in, and form a positive ecological cycle.

4. Risk mitigation: General-purpose full-scene embodied intelligence will take 3-5 years to mature. Platforms should not hype the full-scene general-purpose concept blindly; instead, they should guide enterprises to focus first on vertical scenario deployment to avoid industry bubbles and drive steady industrial development.

This article is an in-depth interview with a frontline entrepreneur in the embodied AI field, disclosing the latest industry technical and industrial trends, and offers high reference value for relevant researchers.

1. New industrial trends: The embodied AI industry has gradually shifted from the prevailing full-stack integrated hardware-software development model to specialized division of labor. The "model-only, no hardware" startup path has completed early validation and gained industry recognition, and the niche track focused on general-purpose embodied foundation models is now formally established.

2. New technical directions: The startup proposes a new technical route that combines large-scale human video pre-training, integration of tactile modality in the pre-training stage, and training models to learn causal relationships between actions rather than just correlations. The company has now accumulated 500,000 hours of high-quality data, verified that adding tactile sensing improves task performance, and confirmed the model has already developed zero-shot generalization capabilities.

3. Open research questions: The industry still faces core unsolved problems including construction of large-scale data pipeline systems, unified representation of tactile signals across different hardware, and training of general causal models, which require further in-depth exploration.

4. Business model reference: The company outlines an early commercialization path for embodied foundation model firms focused on model licensing and collaborative proof-of-concept projects, with a long-term goal of building a unified end-to-end general embodied model. This provides a new case for research on industrial business models.

Disclaimer: The "Quick Summary" content is entirely generated by AI. Please exercise discretion when interpreting the information. For issues or corrections, please email run@ebrun.com .

I am a Brand Seller Factory Service Provider Marketplace Seller Researcher Read it again.

不做本体,智在无界用50万小时人类视频训练具身基础模型。

作者|周悦

编辑|王博

具身智能公司究竟应该软硬一体,还是把机器人本体交给合作伙伴,专门训练机器人的“大脑”?

行业里很多明星公司选择了软硬一体,原因很简单,模型最终要在真实机器人上完成闭环,做本体更容易获得真机数据、协调软硬件迭代,也更方便进入具体场景。

不过也有一些公司选择只做模型,希望用“具身大脑”适配不同形态的机器人。

卢宗青有些执拗地选择了后者,坚持“只做模型、不做机器人本体”。

作为北京大学计算机学院长聘副教授、智源学者,卢宗青在2025年5月创办了具身智能公司智在无界(BeingBeyond)。创业初期,卢宗青几乎每见一位投资人,都要回答一个问题:“你们为什么不做本体?”

到了今年,这个问题几乎消失了。“现在不问了,再也不问了。”卢宗青告诉「甲子光年」。

外界态度的变化,某种程度上印证了卢宗青创业之初的判断:具身智能仍然缺少一颗能够跨本体、跨场景迁移的通用“大脑”。而这一判断,并非始于机器人。

在进入具身智能行业之前,卢宗青研究的是数字世界里的通用Agent。2023年,他曾尝试让多模态大模型在开放世界游戏《荒野大镖客2》中理解环境、执行任务,但模型在任务理解和动作完成上都很有限。

他由此意识到,模型交互能力不足,根本瓶颈在于缺乏对视觉和空间的理解。当时不少Agent framework,在他看来更像是在基础模型能力不足时做的“缝缝补补”。

“最本质的问题还是基模不行。”卢宗青说。

转向具身模型后,卢宗青开始用人类视频做预训练,从中学习人手动作和人—物交互。

到了2026年,智在无界逐渐收敛至Being-H和Being-M两条模型线。H系列聚焦手部和末端操作,M系列则处理人形机器人的全身移动操作。

近期,智在无界接连发布两款模型。隐式世界动作模型Being-M0.7将能力从桌面操作扩展到全身移动操作;隐式触觉世界动作模型Being-H0.8则把预训练使用的人类视频从20万小时扩大到超过50万小时,并首次在预训练阶段加入人手与物体的接触信息。

今年7月初,「甲子光年」第一次走进位于北京鼎好大厦的智在无界办公室,我们问卢宗青,办公室里的哪个区域最能代表这家公司。

他没有提及某个Demo,而是指向了两块Dashboard:一块记录数据进度,显示已经拿到多少人类视频,多少正在传输,多少还在对接;另一块留给模型,显示训练进展。

“你会每天盯着吗?”我们问。

“那倒不会。”卢宗青说,“每天盯着进度,团队可能受不了。”

从数千小时到超过50万小时,从人类视频的数据处理、标注和传输,到模型预训练、后训练、评测和真机部署,这些工作共同构成了卢宗青反复强调的具身智能Infra。

我们的疑问是:一家不做机器人本体的具身模型公司,能否把50万小时人类视频,真正转化成机器人稳定、可迁移的操作能力?

于是,围绕Being-M0.7、Being-H0.8、人类视频与具身基础模型的下一阶段的判断等话题,「甲子光年」在7月两次专访北京大学计算机学院长聘副教授、智源学者、智在无界创始人卢宗青,智在无界大模型后训练负责人张万鹏也参与了部分技术问题的回答。

专访内容由「甲子光年」整理编辑,在不改变原意的基础上有所删改。

1.从Agent探索到一家模型公司

甲子光年:很多人不知道,你最初研究的是数字世界里的通用Agent,后来才做具身基础模型研究,这两者之间有什么关联?

卢宗青:我们早期做的很多Agent Framework,本质上都是在没有强大基模的情况下,做一些缝缝补补的解决方案。

现在的多模态模型肯定比当时好,但我仍然觉得,它解决不了本质的问题。因为Agent要和环境交互,一方面要在视觉层面理解环境,另一方面要预测动作,以及动作会带来什么后果。

我们后来研究具身基础模型,也是希望做一个既能理解、又能和物理世界交互的基础模型。机器人是一个很重要的载体。因为只要和物理世界交互,就一定会受到动作的限制。

我们最后发现,最本质的问题还是基模不行。发现了一个问题,就着手去解决这个问题。我觉得这是做科研的一贯思路。

甲子光年:你有高校和研究机构的身份,什么时候你觉得应该成立一家公司来解决这个问题?

卢宗青:做公司的想法是慢慢形成的,没有一个突变的时间点。大概是2024年下半年,这个想法逐渐明确。

真的要做数据、做基础模型,从根本上解决这个问题,需要大量资源,不管是数据、计算资源,还是人才。

甲子光年:之前有媒体称你是“死磕机器人大脑的北大副教授”,还挺形象的。那么,经过这一年多的发展,你觉得现在外界对于智在无界这家公司还有什么误解吗?

卢宗青:现在外界对我们的误解主要是觉得我们是一个科研团队。

我们确实有很强的科研和研发能力,所以大家看到老师、学生的背景,看到论文,就容易这样理解。

但我们从一开始做人类视频数据,就已经在搭完整的数据管线,包括数据处理、对齐、标注、评测、传输。因为数据量很大,整个工程的难度也很高。

除此之外,我们还有模型训练的Infra,以及设备侧算力部署的Infra。我们的模型可以部署在设备侧的算力上,不是只能跑在云端。

这些能力外界感知不到,所以经常会被忽略。

过去一年,团队成长得非常快。最早大家更擅长写论文,到现在已经具备了这些Infra能力,我也低估了团队的成长。

公司最终产出的不是科研论文,公司要产出的是模型。目标不一样,就会改变做事的方式,也会让大家成长得更快。

甲子光年:智在无界成立到现在也有一年多时间,发展进度是在你预期之内的吗?

卢宗青:整体来说,进度符合我的预期。

因为从2023年年底,我提出用人类视频做预训练开始,我们其实就一直在积累。这个方向怎么说呢,它和语言模型不太一样。

我们处理的主要是视频,但又不同于视频生成模型——视频生成模型更多依赖文本标注,我们的视频里还涉及动作。所以从模型训练的角度看,它本身就是一种新的范式。

过去一年,团队做了很多以前没有人系统探索过的工作,没有现成经验可以照搬,只能靠自己的实践,把整套基础设施一点点搭起来。

甲子光年:你之前说,智在无界和其他公司的出发点不太一样。当时指的是什么?

卢宗青:应该是做模型这件事。那个时间点(2024年下半年),我们这种单纯做模型比较少见。

我每天都被投资人问:“你们为什么不做本体?”每个投资人来都会问一遍。

现在倒不问了,再也不问了。

甲子光年:现在为什么不问了?

卢宗青:在中国的商业环境里,有的投资人会觉得,你不做本体,最后很难卖,也很难商业化。

很多公司都是软硬一体、全栈在做,而我们一直是在模型侧。

经过一年,大家越来越认识到了这一点,本体需要好的“大脑”。必须要有具身基础模型,也就是我们在做的事情。

否则你可以通过强化学习训练一个策略,让机器人跳舞,但除了跳舞,它就没有别的能力。

甲子光年:从创业起步到现在,你有没有比较困顿或者迷茫的时刻?

卢宗青:你说技术迭代层面吗?技术迭代层面,我们一直都比较清晰。

甲子光年:作为创业者呢?

卢宗青:创业的话是有。比如开始做一些自己不擅长的事情,跟投资人打交道,跟客户打交道。

甲子光年:跟投资人打交道,你觉得自己不擅长的是什么?

卢宗青:我不擅长的事情是投其所好。

每个投资人的taste都不一样。但就像我一直在强调的,我们公司的目标很明确,知道自己要做什么。

市场上不管是投资机构还是投资人,真正能和我们同行的其实并不多。

甲子光年:你们做的是基础模型,预训练时不区分具体行业。那现在的模型已经可以直接进入家庭、工厂等不同场景了吗?

卢宗青:对于一家做具身基础模型的公司来说,训练基础模型时需要更多样的数据,所以预训练肯定不能限定在某一个场景、某一个行业。

但真正做应用的时候——实话实说,我们现在的模型还不能直接投进去——还是要针对具体场景做后训练。到了后训练阶段,才会区分到底是什么场景。

现阶段更准确的状态是,有一个预训练模型以后,可以在一些垂类场景里快速做后训练,完成特定任务。

长期的目标当然是面向所有场景,让机器人像语言模型一样完成各种事情。但现在还没有到那个阶段。

2.从视频里恢复“接触”

甲子光年:为什么最新发布的模型叫H0.8?在什么情况下,下一代模型才会达到H1?

卢宗青:H从0到0.8,其实是在健全整个体系。

从数据Infra到预训练Infra,再到部署——不能说端侧,应该说设备端GPU的部署——然后到真机,还包括评测,都在这个过程中逐渐补齐。

模态上,从视觉、语言、动作,再到触觉;同时还要适配不同本体。到H0.8,基本健全了所有这些环节和模态。

H0.8也预示着我们接下来要进入1.0阶段。下一代模型会在这些基础上采用一种全新的训练范式。

这是我们认为真正有可能训练出通用具身基础模型的一种训练范式。但具体怎样训练,现在还不能透露。

从公司层面看,从数据、模型训练、后训练到真机部署的链路和团队逐渐完整,也意味着公司进入了一个新的阶段。这两件事是相辅相成的。

甲子光年:H0.8最值得关注的变化之一,是把触觉加入预训练。今年WAIC上有人质疑,人类视频缺少力、摩擦和控制信号,规模再大也未必适合训练机器人。你认为这是数据处理能够解决的问题,还是人类视频本身存在能力上限?

卢宗青:这其实就是H0.8在解决的问题。

对于H0.8,我们会标注视频中人手和物体的接触。这些接触信息可以作为触觉信息,融入模型预训练。

H0.8也是我们第一次在具身模型预训练时,就融入触觉。我们通过人—物交互模型,标出人手和物体的接触面。

有了这个信息,模型在预训练阶段就增加了触觉这个模态,可以更好地完成与触觉相关的任务。

甲子光年:为什么你们觉得,从H0.7走到H0.8,最需要补上的是触觉?除了触觉,数据量和数据质量也有很大提升,能排出关键顺序吗?

卢宗青:触觉一直是我们研究的一个方向,不是到H0.8才意识到它的重要性。

如果看我们的研究网站,会发现过去一年,甚至更长时间,我们一直在研究触觉。H0.8只是在预训练阶段,第一次补齐了触觉这个模态。

至于哪个更关键,我们不太会这样区分。

H0.8是在进一步补齐整个模型,不管是从多模态层面,还是从数据量去考虑。

过去三个月,我们接触了很多数据供应商,把数据从20万小时Scale up到超过50万小时。这在行业里已经是非常大的数据量。

在大量数据的基础上,再融入触觉标注,模型会获得更通用、更有泛化性的操作能力。这两点是相辅相成的,不能简单切开。

甲子光年:TactoHand从视频中预测的触觉,具体包括什么?接触位置、压力、摩擦和滑动都会包含吗?

张万鹏:我们重点关注两个方面。

一方面是Contact(接触),这是最主要的;另一方面是Proximity(接触距离),它能提供手和物体间临近接触和接触之后的连续变化信息。

模型可以通过这两个关键信息,再结合视觉形变和语言标注等辅助信息,学习不同的接触模式。比如这是法向力还是切向力,是正在摩擦,还是正在按压,模型都可以推断学习到这些模式,而无需在数据层面依赖摩擦力等难以获取的信号做显式标注。

甲子光年:所以它和我们通常理解的真实触觉,还是不一样的。哪些能力是现在做不到的?

卢宗青:预训练模型首先解决的是接不接触,就是有没有挨住。

之前在预训练的时候,这部分信息是缺失的。现在把它补进来,在能力上已经是一个从0到1的提升。

你刚才提到力的大小,是另外一个从1到10或者到100的提升。这更依赖后训练:真正有触觉传感器,可以感知力的大小,再通过后训练补充到模型里。

另外,人在操作时,其实也不知道接触力到底有多大,对吧?更多是感知一个范围。

所以我觉得,有没有这个模态非常重要。至于力是1还是10,和有没有接触相比,是次要一些的东西。当然,不是说这部分信息不用,而是在后训练阶段通过触觉传感器补充。

甲子光年:从具体任务看,有没有一些任务是H0.7经常失败,但H0.8能够更稳定完成的?

卢宗青:我们没有在某一个特定任务上,专门去验证H0.7和H0.8的区别。

现在看到的更多是,我们的真机任务里,有一些确实需要触觉才能完成。

比如夹薯片,在之前的纯视觉方案里,模型可能会直接夹碎;加入触觉以后,我们观察到机器人可以从袋子里夹出一片完整的薯片。

张万鹏:纯视觉方案在手和物体即将接触的时候,其实很难区分临界点。

上一时刻还没有接触,下一时刻已经接触上了,视觉上几乎观察不出区别。过去的模型在临近接触时往往会犹豫不决,很容易因为这个临界状态导致任务失败。

另一个问题是视觉遮挡。比如从背包里取一个物体,主流的视觉方案不能清楚地观察到背包里复杂的遮挡关系。但凭借触觉,即使完全不看背包,机器人也可以把物品抓出来。

这个任务几乎只有靠触觉才能做到。

甲子光年:人类视频产生的是模型推测的“伪触觉”,机器人部署时回传的则是不同传感器的真实读数。这两种信号会不会冲突?怎么进入同一个表征空间?

卢宗青:这个其实比较简单。

预训练时,可以认为是0和1,后训练时,就不再只是两个二值信号,而是从没有接触到真实力值的连续变化。

在训练层面,这个差异可以在模型输入和输出层面解决。

甲子光年:这里说的输入和输出层面,具体指什么?

张万鹏:我们设计了一个金字塔式的触觉编码器,以及一个统一接口。

它可以把连续值、二值接触和不同传感器的数据,统一表征成一种触觉模态输入。模型接收到的是统一表征,而不是各种定义不一的原始数据。

甲子光年:如果不同灵巧手的触觉硬件并不一致,也能够统一吗?

卢宗青:可以。不同触觉传感器的原理不一样,但最终体现在模型层面,就是阵列上某个点的六维力。

如果传感器只有一个接触点,就是这个点上的六维力。至于它是霍尔方案、电容方案,还是视触觉,对我们来说并不重要。

我们用到的,是这个点上的切向力和法向力。人的皮肤可以理解成更密集的阵列,所以能感知到更细粒度的触觉。

甲子光年:TactoHand怎么验证预测的触觉是准确的?

卢宗青:在预训练层面,接触预测本身就是一个训练目标,可以通过Loss判断模型对于数据预测得好不好。

对于下游任务,模型训练完以后再做后训练,就要看真机任务或者仿真任务的成功率。

一方面,训练时可以验证模型对于接触预测的有效性。我们有对应标注,虽然是伪标签,但做过清洗,所以可以判断预测得准不准确。

如果是下游任务,就要看能不能完成与触觉有关的任务,以及任务成功率。

3.五十万小时之后,模型究竟学到了什么?

甲子光年:这次加入触觉模态,团队遇到的最大难点是什么?

卢宗青:过程中会遇到各种各样的问题。但如果说最大的问题,我觉得反而不是怎么解决触觉模态,而是怎么构建50万小时的数据。

市面上没有团队处理过这么大规模的具身预训练数据,起码国内据我所知没有。

从20万小时到50万小时,包括数据标注、判断和整个数据Infra,我们需要建立一套面向大规模第一人称视频的数据处理管线。

甲子光年:数据规模扩大以后,这套管线和过去有什么不同?解决了哪些难点?

卢宗青:数据量大了以后,之前任何一个小问题都会被放大很多倍。

过去处理数据时一个很小的问题,可能导致最后得到的数据不能拿来训练。如何在50万小时数据中标出高质量数据,这个流程随着数据规模增加,难度也会倍增。

数据怎么管理、怎么存储;拿到新的数据以后,它和已有数据有没有重合,是不是相似数据;有没有人拿公开数据又卖给我们——这些都需要处理。

所以最大的难点不是某一个单点难题,而是如何系统地管理整个数据管线,让系统高效运行、持续产出高质量数据。

它卡在每一个环节,而不是某一个单点。

甲子光年:原始视频进入训练前还要经过严格筛选。什么样的数据才会被你们定义为高质量数据?

张万鹏:高质量数据应该没有严重遮挡,手部动作有清晰标注。把恢复的手重新渲染以后,它和真实手的重合度应该很高。

另外,和物体的接触位置要能够准确标出来。还要有场景和任务的多样性,而不是少量任务的重复记录。

在训练过程中,不一定每个维度都是越多越好。有的维度需要足够多样,有的维度需要足够高质量。

不同来源的数据会以不同配比、不同权重,进入训练管线的不同阶段。

卢宗青:简单总结,就是我们有一套自己的评价体系,决定哪个阶段需要哪个维度的数据,以及不同数据以什么比例参与训练。不是原始数据有多少,就全部以同样的方式用进去。

甲子光年:现在行业经常讨论谁的数据更多、谁就会领先。现阶段,你认为数据量和数据质量哪个更关键?

卢宗青:这两个不太能分开说。

比如我有1000万小时数据,但全是某一个工厂的工人在做同一个任务,这些数据没有任何价值。

我们是具身基础模型公司,希望看到的数据有足够大的多样性和覆盖性,要覆盖各种任务、各种场景。在这个基础上,再扩大数据规模。

甲子光年:大家都用“小时数”讨论数据规模。你认为,未来“小时数”还是合理的单位吗?还是应该统计有效动作片段、接触事件,甚至动作Token?

卢宗青:我们所说的50万小时数据,里面都是蕴含人手动作的数据。

它不是统计其他无关的视频,而是人手动作,以及人和物体接触、交互的数据量。

甲子光年:从最初数千小时到1万、20万,再到50万小时,模型能力有怎样提升,是否出现了此前没有的新能力?

卢宗青:随着数据量增加,数据多样性、场景、任务,以及同一场景里的不同动作,都会以数量级增加。

有了这些信息,模型学习动作和结果之间关系的能力会大幅提升。这也是我们扩大数据规模最主要的原因。

从实验结果看,我们也观察到,随着数据量增加,模型开始出现零样本泛化能力。

甲子光年:除了数据规模,训练范式本身起到了什么作用?以我的理解,智在无界和英伟达的路线有一些相似。英伟达一边将FLARE式的隐式模型嵌入GR00T策略模型,也在探索DreamDojo这类显式生成世界模型。智在无界未来会同时探索两条路线,还是更倾向于隐式路线?

卢宗青:首先,我们不会两条技术路线都走。

另外,H0.7、H0.8和FLARE并不一样。H0.7和H0.8在预训练阶段就带有Action Prediction,这是非常重要的一点,也是我们认为模型能够学习因果关系的一个重要原因。

对于FLARE或者JEPA这样的模型,预训练时没有动作相关信息。虽然大家都叫Latent World-Action Model,但这是最大的区别。

我们从预训练阶段开始,就是带着动作进行训练。

甲子光年:未来是否会探索显式生成路线?

卢宗青:不会。但具体什么路线就不太能说了,可以期待一下。

甲子光年:你刚才提到,数据规模增加以后,模型能够学习动作和结果之间的关系。你所说的“理解动作带来的后果”,具体指什么?能不能用拿杯子的场景解释一下?

卢宗青:这个很容易理解。比如你拿着一个杯子,然后松开手,物体就掉下去了。模型能不能理解这件事,能不能知道松手以后杯子会掉下去?

这就是现在World Action Model要解决的问题。World Action Model本质上是在同时学习一个策略,以及接下来状态的预测。

甲子光年:拿杯子这个例子,我问过很多模型公司,他们都说自己的模型能够理解:手松开,杯子就会掉下去。我想知道,怎么判断模型是真理解,还是假理解?

张万鹏:可以从训练范式解释。

手一张开,水杯会掉下去,很多公司会说模型能理解这件事,但它们理解的可能更多是一种相关性。

模型甚至可能理解成,是水杯掉下去导致手张开,因为它看到的是两个事件先后出现。

但人知道,因果关系是我先做了张开手的动作,这个动作导致水杯掉下去。

作为一个世界动作模型,需要见过动作,以及动作导致的后果,联合学习这条因果链。我们希望它学习的是“手张开导致杯子掉落”这条因果链,而不只是两个事件前后出现的相关性。

甲子光年:所以你们目前主要是从训练范式上解释,为什么它更接近学习动作和后果之间的因果关系?

张万鹏:对,我们的建模和训练范式可以支持模型完成更复杂的决策。

尤其是加入触觉以后,模型可以借助灵敏的触觉信号,识别事件的临界变化点,准确理解动作发生的前因后果。

卢宗青:我补充一下关于让模型学到的是因果性而非相关性的这一点。我们认为,除了训练范式以外,能够保证模型学习到因果性的更底层支撑是一定要有大量、多样的数据,才能覆盖各种因果事实,进一步才由模型架构和训练范式来支撑这件事情。

4.不做本体,能力怎样落地?

甲子光年:有人告诉我们,触觉世界模型最难的不是预测接触,而是把预测映射到策略,再通过一只灵巧手形成真实闭环。所以他们向下做了自己的灵巧手。智在无界只做模型,没有一款灵巧手作为硬件载体,触觉能力怎么通过产品、硬件或者具体任务验证?

卢宗青:我们的模型可以适配不同的末端执行器,不管是灵巧手还是夹爪,都可以在不同末端执行器上验证,不一定必须是我们自己的手。

另外,我觉得还有一个更基本的问题。对于一个夹爪来说,它完成任务的动作其实非常简单。就是把末端执行器移动过去,张开、合住,然后完成抓取。

但为什么现在的模型,连这么简单的动作都不能泛化地完成各种任务?

动作本身没有那么复杂。关键还是模型能不能理解物理世界,能不能理解一个动作带来的后果,理解当前的物理环境。有了这个能力,再泛化地完成基于夹爪的任务,我觉得会更容易一些。

而不是说,只要把触觉融入策略,形成一个闭环。

怎么说呢,我不应该评判别人。我觉得我刚才说的这个问题,可能更重要一些。

甲子光年:模型换到灵巧手或者平行夹爪时,还需要真机数据或者演示数据吗?还是更换末端以后,模型就能直接执行?

卢宗青:如果是一款模型没有见过、自由度也没有见过的灵巧手,肯定还是需要一些真机数据,但需要的量会比较少。

这其实是H0.5解决的跨本体能力。通过小量数据,可以快速适配没有见过的末端执行器。

甲子光年:前不久发布的M系列已经包含手部动作,为什么还需要独立的H系列?两者有什么区别?

卢宗青:手部能力可以迁移到M模型,这是毋庸置疑的。

但现在看到的M模型,手部操作能力其实非常弱,更多是抓取与放置(Pick and Place)任务。

M不强调手部的灵巧操作,它强调的是移动操作:如何协调上下半身,像人一样完成移动中的操作。

它的难点不在于手怎样完成灵巧操作,而在于如何利用人类全身数据驱动人形机器人。

随着H模型成熟,操作能力会无缝迁移到M模型上。但M有自己Unique的问题,就是如何协调全身完成移动操作。

甲子光年:智在无界原来有VL、H、M和W等不同模型,最终会收束成统一的端到端模型吗?

卢宗青:长期会变成一个端到端模型。

现在H已经结合了很多VL的能力,M模型里也有W的一部分能力。

刚成立时,我们做的是四件事。逐渐地,VL和H基本收敛到Being-H系列,M和W收敛到Being-M系列。

甲子光年:也就是说,现在最主要的是H和M两条模型线。它们未来会在哪里交汇?

卢宗青:这两个模型里,重点还是Being-H。

Being-H离商业化最近。真的把灵巧操作做好,有无穷的商业化场景。

Being-M更多类似于一种预研性质的模型。将来Being-H成熟以后,可以把它接到双足人形机器人上,完成带有双足移动的操作。

甲子光年:既然H模型离商业化最近,目前你们有哪些明确的商业化路径?

卢宗青:一方面,我们会通过授权的方式,把模型提供给一些本体公司,这是比较确定的商业化路径。

落地方面,我们也在和一些跨国企业合作概念验证项目。

甲子光年:具体是什么行业和场景?

卢宗青:不能透露,因为签了谅解备忘录,现在只能说是工业场景里的一些操作类任务。

甲子光年:具身基础模型可能还需要三到五年才能初步实现。整体商业化的方向是不是主要通过替代人的劳动、计算ROI?

卢宗青:我觉得落地场景会比较多。通用模型这个目标可能很大,但对于某一个细分领域、某一个具体场景来说,没有那么难。

而且商业化不一定就是代替人的劳动,然后和人去算ROI。商业化有很多其他形式。比如机器人跳舞,它本身也可以是一种商业化。

甲子光年:所以机器人商业化不一定最终都走向替代人?

卢宗青:对。大家很容易陷入一个误区,觉得机器人就是要替代人。

其实机器人能做的事情,可能人本身并不能做。它不一定只是替代人,也可能超越人的能力。

甲子光年:这也是BeingBeyond里“Beyond”的意思?

卢宗青:对。

甲子光年:现在已经有很多厂商量产和部署真实机器人。未来,机器人自己的经验和回流数据,会不会比人类视频更重要?这会改变你们未来的产品和规划边界吗?

卢宗青:现在很多垂直领域落地,机器人完成的仍然只是一个任务。

就像我之前说的,如果只是一个任务,1000万小时、1亿小时的数据意义不大。

而且目前工厂里落地的一些方案,更多是人形机器人的构型,加上CV和自动化方法实现。

在真实落地场景中真正使用具身基础模型的,我认为目前还没有。

甲子光年:大家都在解具身基础模型这道题。怎么保证你们的解题思路是对的,或者会比别人更快?

卢宗青:更快的不存在。

长期目标是很明确的,就是希望机器人能像语言模型一样,在不同场景里完成不同任务。但这个目标如何实现,其实是一个未知数。

它有点像强化学习里的稀疏奖励。完成任务或者没有完成,只有0和1的奖励,中间任何步骤都没有奖励。

在这种情况下,你只能在整个环境或者Solution Space里不断探索。其实整个行业都在沿着不同的技术方向探索。

我们只能说,过往的经验证明,我们在一些技术路线的选择上比较有前瞻性。但探索本身就意味着,有些选择也可能不完全正确,需要不断调整。

END.

注:文/周悦,文章来源:甲子光年(公众号ID:jazzyear),本文为作者独立观点,不代表亿邦动力立场。

【版权提示】亿邦动力倡导尊重与保护知识产权。未经许可,任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明、联系方式等发邮件至run@ebrun.com,我们将及时沟通与处理。

已点赞

+1

{{ praise_text }}

好文章,值得被更多人看到

FAQ回顾

智在无界是一家做什么的公司?

智在无界是北京大学计算机学院副教授卢宗青2025年5月创办的具身智能企业,坚持只做具身基础模型、不做机器人本体,已推出聚焦手部操作的Being-H系列、聚焦人形机器人全身移动操作的Being-M系列模型,训练数据覆盖超50万小时人类交互视频。

具身模型加入触觉模态能解决哪些问题?

具身基础模型加入触觉模态后,可准确识别手与物体的接触临界点,解决纯视觉方案易出现的临近接触决策犹豫、视觉遮挡下操作失败的问题,还能完成夹取易碎物品、从密闭包袋中取物等纯视觉方案难以实现的任务。

只做具身基础模型不做机器人本体如何商业化?

智在无界的具身模型可适配不同形态的机器人末端执行器,现阶段商业化路径包括向本体公司授权模型,也在和跨国企业合作工业场景操作类任务的概念验证项目,其中聚焦手部操作的Being-H系列模型距离商业化最近。

用50万小时人类视频训练的具身模型有什么能力提升?

随着训练用人类视频数据量提升到50万小时,数据覆盖的任务、场景多样性大幅增加,具身模型学习动作和结果对应关系的能力显著增强,开始具备零样本泛化能力,仅需少量数据即可快速适配不同的机器人本体和落地场景。

广告

下一篇

跨境电商资源对接

《全球跨境电商服务商资源手册》第二期手册现已发布,触达更多资源,了解跨境服务商信息,欢迎点击链接下载。

了解详情

入选亿邦智库报告 燕文物流创新跨境直达与海外最后一公里

亿邦智库《2026全球化新品牌AI竞争力报告》在“智能体重构跨境服务”部分,首次提出了AI ×(海外仓+直达)塑造全球物流供应链双螺旋网络。燕文物流对应了这一趋势,形成了独特服务优势。

跨境电商

2026-07-30 11:30:00