朋湖网获悉,近日,通用具身智能技术研发公司“跨维智能”完成战略轮融资,该轮融资由联想创投领投。

成立于2021年6月,跨维智能主要基于3D生成式AI、多模态大模型和三维成像等视觉感知相关技术,为下游企业客户提供软硬一体的具身智能解决方案。

跨维智能创始人贾奎,同时也是香港中文大学(深圳)的教授,长期从事人工智能、计算机视觉、机器学习、生成式三维建模与学习、三维感知大模型等领域的研究,曾先后于中科院深圳先进技术研究院、香港中文大学、伊利诺伊大学香槟分校先进数字科学研究中心、澳门大学及华南理工大学从事教学和科研工作。

2016年回内地后,贾奎在华南理工大学便选择用新型AI作为攻克三维感知的研究方向。自2018年起,贾奎就在华南理工大学“几何感知与智能”实验室中,尝试以自研的Sim2Real技术为核心,通过物理引擎去合成3D仿真数据——这后来也成了跨维智能的核心技术。

随着操作对象、环境和任务复杂性逐渐增强,通用具身智能将会经历L1-L5五个阶段。从半结构化场景和特定机器人形态处理特定任务,逐步升级到对任意/未知场景,以自适应的通用机器人形态,完成任意任务。

而稀少的高质量标注数据,是具身智能从训练到落地过程中最大的掣肘。不同于语言模型和图像、视频模型等二维模型的训练,具身智能底层模型的训练,需要海量的在物理世界绝对坐标系下的精确测量数据,数据获取难度、获取成本、标注周期都远超语言模型。

用合成数据代替真实物理数据,是跨维智能提供的高效低成本,且更加真实可靠的解决方案。跨维智能的Sim2Real技术,原理是在物理仿真机器人操作场景中,引入各种与任务相关的真实世界的干扰,再通过渲染、轨迹数据记录、关节数据记录等方式形成海量的精确标注合成数据,并用于具身智能大模型。

具体到落地,Sim2Real技术能够让企业客户无需使用真实3D数据,就可以完成机械臂复杂场景作业的3D视觉模型训练。用基于100%合成数据训练的模型驱动机械臂的柔性操作,可以实现99.9%以上的稳定操作或抓取。

以Sim2Real技术为核心,跨维智能计划了通向通用具身智能的技术发展三阶段:

• 数据与具身智能仿真引擎DexVerse™,用于数据生成和大模型训练;

• 基于3D VLA (3D Vision Language Action) 大模型的成像感知套件;

• 支持AnyGrasp/AnyManipulation(任意抓取/控制)的通用具身智能大模型,在不同行业和场景具有强泛化性。

目前,跨维智能已经将软硬一体的AI技术应用在工业制造领域等场景。2023年5月,跨维智能发布了Xema北极鸥系列相机,并开源了API接口和SDK二次开发软件包,让用户降低二次开发和适配的成本。

同时,基于在硬件技术较为成熟的机械臂和机器人,跨维智能提供以视觉感知为主的具身智能解决方案,并在半导体、汽车、光伏等行业已经落地。