物理AI的软件栈

"你看到了，但你没有观察到，"阿瑟·柯南·道尔笔下的夏洛克·福尔摩斯在《波希米亚丑闻》中告诫华生医生。在物理AI世界中，摄像头和传感器（如前文所述）使"看到"成为可能；要从"看到"转向"观察"并采取行动，统一的软件栈至关重要。

物理AI的核心是将信号转化为决策和行动的闭环。为此，典型的软件栈涉及多个层次，每一层都逐步深化系统对世界的理解——在减少不确定性的同时，提高对所操作动态环境的抽象程度。

1、传感器融合与数据流动

物理AI软件栈构建于前述传感器之上。软件栈的第一层需要融合来自所有传感器的数据。这要求为每个传感器的输入添加时间戳，并与其他传感器的输入同步，以确保不同数据源之间的一致性。这是一个复杂的问题，需要非常精确的时间测量和同步，因为同步误差会在下游感知和决策中传播。典型系统是经典滤波方法和学习组件的混合体。此外，这是一个延迟和调度问题，尤其是在带宽密集型系统中，随着采集数据量的增加，多个不同传感器需要以时间高效和计算高效的方式进行协调。

虽然这是一个相对标准化的层次，但能够实现快速准确的多模态感知的高效架构，加上与底层硬件栈紧密集成的自校准管道，仍然可以通过提升性能和可靠性来提供有意义的差异化优势。

2、感知

这一层将系统从信号推向意义的初步形态。感知层有两个主要组成部分：几何感知和语义感知，它们共同帮助创建跨地图、表面、物体和标签的世界结构化表示。这是从视觉转向推理的关键桥梁。

几何感知涉及理解系统所操作的三维世界——识别深度和坐标，同时确保空间一致性。经典的几何管道需要校准和稳定的视角；近期的研究使得向更基础的几何模型转变成为可能，这些模型能够以更少的校准要求实现密集的3D重建。语义感知涉及物体检测、分割、识别、跟踪和姿态估计。最先进的栈包括具有零样本泛化能力的开放世界、可提示感知。感知通常包括创建空间持久记忆，供下游使用。

该领域的许多核心技术已相对成熟，当前研究越来越关注经典模型和学习模型的混合。这一层的防御性可能来自专有数据集——通常是真实世界和模拟数据的组合，覆盖广泛的边缘情况和稳态场景。

3、世界模型

这是软件栈首次进入推理领域，实现预测和预期智能。世界模型构建环境的预测模型，理解物体如何移动、系统的动作如何影响环境，并估计未来轨迹。这一层仍在发展中，近期研究聚焦于与强化学习集成的潜在世界模型，以及自监督多模态预测模型。确保长时间跨度任务的可靠性也是一个关键挑战。

这可以作为软件栈中的中央推理层，维护环境表示，为下游规划和控制步骤提供信息。因此，其集成复杂性和对系统性能的重要性也使其成为差异化和防御性的一个特别有前景的领域。

4、规划、决策与任务执行

在理解世界之后，系统现在可以采取与现实世界目标一致的行动。这些行动通常组织成层级金字塔。底层是原子动作，如运动（例如驾驶或行走）、操作（例如抓取或扭转）或材料/能量传递（例如施加热量或涂料）。这些原子动作可以组合成技能原语，例如仓库中的拾取放置或工业维护中的工具使用。技能组合执行任务级动作，如组装零件或清洁房间。这一层闭合了从感知到行动的闭环，通常与标准控制系统集成。

前沿研究已超越基础算法，转向更广泛的系统级方法——确保动作能够在安全约束和现实世界限制内完成。经过预训练的视觉-语言-动作模型，通过后训练和微调进行适配，结合端到端策略控制，已经开始在现实世界系统中部署。此外，支持重新标记、微调和故障分类的闭环数据引擎正在兴起，以推动自主性。这需要针对不同用例和工作流的大量上下文化处理，以及与硬件的紧密集成以确保动作的有效性。因此，这一层同样具有很高的防御性。

除了这些，软件栈的多个不同部分需要开发以确保现实世界的可靠性。这些包括评估和可观测性、保护栈中传输数据的安全系统，以及驱动现实世界数据收集和闭环再训练的数据管道。这些也可以是栈中高度防御性的元素，并创造差异化跨垂直平台的潜力。

5、构建成功的物理AI平台

正如本系列所展示的，物理AI的硬件和软件层都涌现出多个令人兴奋的主题。整个技术栈以及各个垂直领域和用例都在进行前沿研究。在该领域构建的初创公司在开发改变世界的解决方案时，需要遵循三个关键原则。

5.1 融合真实与模拟

现实世界数据仍然至关重要；然而，它也难以收集和标注。该领域许多构建者的主要任务是尽可能安全快速地达到现实世界部署，以收集实际数据。这些用例也应仔细选择，以反映环境和任务的多样性和复杂性。此外，数据管道需要精心构建，以正确加权整合真实和模拟数据，从而提高准确性并降低成本。破解数据收集、标注和集成的公司很可能在生态系统中占据高度防御性的地位。

5.2 确保深度集成

能够构建在整个栈中紧密集成的系统，将在物理AI世界中占据有利位置。准确性、延迟、成本和其他关键参数取决于系统组件协同工作的程度。此外，鉴于之前的自动化浪潮，已经存在一些广泛使用的系统和传感器；确保与这些系统的兼容性将简化部署并实现统一的结果。集成还增强了粘性，使解决方案更难被替代。虽然垂直集成有其好处，但这并不一定意味着初创公司需要构建栈的所有部分；简单的插件和高效的编排可以实现相同的结果。

5.3 记忆与上下文作为差异化因素

与生成式AI世界类似，记忆和上下文正在成为关键护城河。那些能够在环境和用例上下文中实现几何、空间和动作持久记忆的初创公司，可以实现更可靠且符合上下文的动作。为此，公司需要在记忆架构上创新，并构建针对其运营垂直领域的本体论和语义地图。

6、物理AI的机遇

物理AI具有真正颠覆性和"全新"的潜力。我们相信价值将累积在水平层——包括感知基础设施、世界模型和决策——以及特定垂直解决方案中。当今一些最先进的用例存在于仓库自动化、物流和制造领域；随着人机和机器机协作的进步，医疗保健、安全和许多其他服务行业也将受益。

物理AI提供了广阔的机会，定义时代的公司尚未出现。在Cota Capital，我们很高兴继续探索这个不断发展的生态系统。我们的投资组合公司运营在物理AI栈的不同部分，包括Rhombus、Atomathic AI、Activ Surgical、Quadric、FlowFuse、Ramen等。我们期待与构建下一代物理AI的更多创始人合作。如果你正在该领域构建，请联系我们。

原文链接: From Pixels to Action: The Software Stack for Physical AI

汇智网翻译整理，转载请标明出处