NVIDIA发布物理AI智能体开发栈，开发周期大幅缩短

摘要：本文解析NVIDIA在GTC台北及Computex大会上的最新物理AI开发工具，揭示其如何将物理AI技术栈全面智能化，使AI智能体能够自主完成数据生成、仿真、训练及部署的全链路流程，将机器人开发周期从数周缩减至数小时。此外，项目还开源了人形机器人参考设计，有效降低了物理AI的开发门槛，推动机器人、自动驾驶及工业数字孪生的广泛普及。

引言：物理AI开发的效率瓶颈

尽管物理AI发展迅速，但机器人、自动驾驶和工业数字孪生的开发却面临日益复杂的门槛。传统模式下，开发者需自主构建从数据生成到训练部署的全链路，耗费大量时间在基础设施搭建及组件适配上，致使新应用落地往往耗时数月。虽然软件领域已普及AI智能体自动化，但物理AI领域仍停留在手动操作阶段，效率难以提升。NVIDIA在GTC台北与Computex上发布了全新的开源物理AI技能工具，将整个技术栈改造为智能体可调用模式，从而彻底变革了开发范式。

1. 核心突破：构建智能体可用的物理AI栈

NVIDIA此次的核心突破在于将整个物理AI技术栈优化为智能体可用形式，将原有的库、模型和框架转化为智能体可直接调用的工具，使其能自动驱动全流程开发。

这些工具覆盖物理AI的全领域，包括：

+-NVIDIACosmos3：面向物理世界推理与生成的世界基础模型，能理解视频和文本，预测接下来会发生什么，生成对应的动作。

+-NVIDIAOmniverse：仿真与数字孪生的相关库，用来做工业的虚拟仿真。

+-NVIDIAIsaac：机器人仿真与机器人学习的平台，支撑机器人的全流程开发。

+-NVIDIAMetropolis：视觉AI的相关工具，用来做视觉相关的应用。

+-NVIDIAAlpamayo：自动驾驶的开发平台，支撑自动驾驶的研发。

+-NVIDIAJetson：边缘AI的开发平台，用来做端侧的部署。

NVIDIA的创始人兼CEO黄仁勋表示：“AI智能体正在重塑软件工程，这一变革同样渗透至物理AI，触及交通、制造、医疗及机器人系统。当智能体能直接调用NVIDIA的库与框架时，开发速度将飞跃，助力开发者以前所未有的效率打造未来系统。”

2. 技术细节：通过新技能实现流程自动化

为了让这些工具能被智能体使用，NVIDIA推出了全新技能，将开发流程转化为可重复指令，使编码智能体能自动执行工具调用、结果输出及验证等任务。

同时，他们还推出了：

+-NVIDIANemoClaw：蓝图工具，让开发者能安全地构建和部署自主智能体。

+-NVIDIAOpenShell：运行时，提供基于策略的安全和隐私治理，不管是本地还是云端的硬件，都能支持。

这些技能，能覆盖物理AI的所有领域，包括：

+-机器人与边缘AI：机器人开发者可以用这些技能，加速整个机器人的开发管线，从生成感知和mobility的训练数据，到仿真，自动化导航训练，推进机器人学习，还有Jetson端侧系统的调优部署。

+-自动驾驶：自动驾驶开发者，能用这些技能，把车队采集的数据，重建为仿真环境，大规模生成photorealistic的驾驶场景，还能运行闭环的强化学习，扩展训练和评估的覆盖范围。

+-实时视觉AI智能体：自动化检测和视频智能的开发者，能用这些技能生成合成训练数据，微调模型，自动化标注，还能构建视频AI智能体，用来搜索、总结和分析实时或者录制的视频。

+-工业AI：工业软件开发者，能把工程数据，转化为CAD资产，用来做数字孪生的仿真，优化大型的OpenUSD场景，不用手动的配置。

+-医疗：医疗团队，能引导智能体，创建医院环境的数字孪生，做sim-to-real的数据生成，还有软件在环的策略测试，在部署到临床环境之前，完成所有的验证。

这些技能还可以组合，集成到更大的智能体系统里，让开发者能编排和自动化复杂的工作流，比如数据生成、仿真、优化、推理调优、持续评估这些，全部都能自动化完成。

3. 效果验证：企业应用成效显著

这些新的工具，已经有大量的企业在使用了，而且带来了非常显著的效率提升：

机器人领域的落地

1XTechnologies、AgileRobots、Agility、FieldAI、HexagonRobotics、NEURARobotics、SkildAI、UniversalRobots这些机器人公司，都已经在用NVIDIA的智能体就绪的物理AI栈了。

比如，用了IsaacGR00T的更新之后，端到端的工作流，几个小时就能搭建完成，而之前要花几周的时间，而且它支持全模态的输入输出，视频、传感器、文本、声音都能支持。

还有Foxconn和Compal，在用IsaacforHealthcare来加速医院机器人的开发，Compal正在推进PolyMedX机器人的开发，打造医院级的编排平台，集成仿真、AI和真实的运营；Foxconn则在把Nurabot扩展到多个医院和长期护理的环境里，还推出了新的scrubnurse协作机器人，用来优化手术室的工作流。

制造领域的效率提升

在电子制造领域，TSMC和Pegatron都在用这些工具来微调视觉检测模型：

+-Pegatron用DefectImageGeneration技能生成的合成数据，把模型的训练和部署时间，降低了67%。

+-DeltaElectronics用同样的技能，生成了合成的缺陷数据，把金属汇流排的多余焊料的检测率，提升了17%。

+-Inventec集成了这个技能，打造了自己的观测智能体检测管线，把笔记本chassis制造的缺陷数据收集工作，减少了30%。

+-Foxconn用这个技能，把制造的良率，提升了大约3%，更早地发现错误，提升了效率。

还有SKhynix，正在用Omniverse打造半导体fab的数字孪生，还在验证NVIDIAAgentToolkit，用来做制造专属的物理AI。

自动驾驶领域的落地

自动驾驶的开发者，比如LiAuto、Afari、[DeepRoute.ai](DeepRoute.ai)，都在用OmniverseNuRec模型，做神经场景重建和渲染，他们已经生成了超过1000个重建，每天能做超过30万个渲染和仿真。

还有Foxconn、VinFast、Uber、HUMAIN，都加入了NVIDIADRIVEHyperion生态，用来开发和部署SAELevel4的robotaxi。

4. 人形机器人的新突破：开源设计降低门槛

除工具外，NVIDIA发布了基于Unitree H2底盘及Jetson Thor平台的NVIDIAIsaacGR00TReferenceHumanoidRobot开源参考设计，旨在降低开发门槛，让更多开发者参与进来。

该参考设计采用模块化架构，开发者可灵活集成至现有管线，无需重复搭建基础设施。核心配置包括：

+-UnitreeH2人形底盘：1.8米高，68公斤重，31个自由度，支持人类级别的测试。

+-双SharpaWave触觉五指手：22个自由度，让整个机器人的自由度达到了75个，支持精细的操作。

+-多视角感知：头部的立体相机，140度水平、102度垂直的视野，还有手腕的相机，用来做近距离的操作，还有IMU用来做运动跟踪。

+-全身控制：手臂扭矩最高120牛米，腿部扭矩最高360牛米，额定手臂payload7公斤，峰值15公斤，支持更强的举升和伸展能力。

+-JetsonAGXThorT5000端侧计算：BlackwellGPU，2070FP4teraflops的AI性能，14核ArmCPU，128GB的统一内存，支持实时的传感器处理和机器人推理。

+-完整的连接和电池：支持以太网、Wi-Fi6、蓝牙5.2，还有3小时的续航。

目前，Ai2、ETHZurich、斯坦福机器人中心、UCSanDiego的先进机器人与控制实验室，这些顶尖的研究机构，都计划用这个参考设计，来推进人形机器人的研究，并将于2026年底由Unitree正式发布。

5. 行业意义：智能体化开启物理AI开发新范式

NVIDIA的工具彻底颠覆了开发模式：过去，开发者需手动构建从数据到部署的全流程，耗时漫长且门槛高。如今，智能体化栈将工作转化为自动化流程，开发者仅需聚焦核心应用，大幅缩短开发周期至数小时，降低门槛使小团队也能开发。开源人形机器人参考设计更降低了硬件投入成本，加速行业创新与落地。

6. 未来展望：物理AI规模化落地新契机

物理AI智能体工具现已发布，开发者可通过GitHub及skills.sh使用，且Microsoft、CoreWeave等云服务商正集成该工具以支持规模化部署。未来，物理AI行业将步入智能体化开发常态，开发者能以前所未有的速度产出应用，加速技术普及，让机器人、自动驾驶及工业AI更早融入生活。

结语

NVIDIA此次发布的物理AI工具是行业新里程碑：首次将技术栈全面智能化，实现全流程自动开发，将周期压缩至数小时，并大幅降低开发门槛。这不仅解决了效率瓶颈，更为行业开启了创新窗口。未来，更多开发者将利用这些工具快速产出应用，加速物理AI规模化落地，推动机器人、自动驾驶及工业AI技术更快融入生活。