编辑｜Clio

如果让 GPT、Claude、Gemini 直接指挥机器人干活，谁更靠谱？

10 月 20 日，具身智能评测平台 RoboColiseum 发布的评测报告给出了一组实测结果：在四款参评的多模态模型中，Claude Opus 5.5 以 76.28 分取得最高综合成绩，GPT-6 Astra 以 75.99 分紧随其后，两者仅相差 0.29 分。GPT-6.1 Sol 和 Gemini 4 Argon 则分别以 70.91 分、66.86 分位列第三、第四。

• RoboColiseum：//robocoliseum.ai/
• Techreport：//robocoliseum.ai/techreport/agent2act

不过，在报告收录的官方总榜中，前两名仍然属于专业具身策略模型：Paimon 和 HiDream-O1-Embodied 分别取得 77.54 分和 76.92 分，排在 Opus 和 Astra 之前。

总分接近，能力分布却不同。Astra、Sol 和 Opus 在指令跟随、空间理解两个维度上，都超过了表内相应维度得分最高的策略模型；但在通用操作上，四款多模态模型均落后于报告所列的策略模型。

模型已经理解了任务，为什么还是做不好某些动作？除了比较排名，本轮报告也通过环境扰动、控制系统配置对比和操作案例，尝试回答这一问题。

RoboColiseum 于 2026 年 8 月 14 日正式发布，是面向全球高校、科研机构、模型企业和研究者长期开放的具身智能仿真评测平台。目前，平台已推出指令跟随、空间理解、扰动适应和通用操作四类能力子榜，以及 78 个高保真仿真评测任务。自内测上线以来，已有海内外 100 多支队伍在平台开展模型训练与评测。

先看一个端锅案例。

在原始指令下，GPT-6 Astra 尝试抓取锅具，但夹爪的接近姿态不够协调。研究团队补充明确的抓取与交互指导后，它转而对准锅柄，采用对齐更好的双手抓取方式，持锅也更加稳定。

双臂端锅失败

双臂端锅成功

抓哪里、夹爪怎么转、两只手如何配合，都需要模型判断物体与机器人该怎样接触。认出物体之后，还得把视觉理解、空间判断和动作规划衔接起来。

这一案例来自正式打榜之外的补充探索，不计入四款模型共用原始指令的榜单比较，却直观地呈现了理解与操作之间的距离：模型能够执行更明确的操作指导，自行推断合适的抓法仍有困难。

类似的差距，也出现在精细操作中。面对圆形积木，Astra 调整姿态后完成了入孔；换成手机充电，连接头却未能准确对准充电口，最终没有完成插接。

积木入孔：Astra夹取圆形积木并完成入孔

手机充电：Astra抓取成功，但充电口方向错误无法接入

在灵巧手叠碗实验中，Astra 可以为每只手的 20 个手指关节输出角度目标，也会调整手指和手腕，但始终未能形成稳定抓握。即使进一步提供手指、手掌的位置和几何信息，任务仍未完成。

灵巧手叠碗：Astra能够接近、接触，但是尝试抓取失败

灵巧手取书：Astra多次调整抓取姿态，仍取书失败

从让手指动起来，到让多根手指协调接触、稳稳托住一只碗，模型还需要跨过一道坎。这样的操作短板，在榜单中也有体现。

四款模型各自强在哪？

本次评测通过 Agent2Act 控制框架，将四款模型接入 RoboColiseum。对应测试案例使用相同样本和固定随机种子，四类能力测试均采用原始评测指令，不额外增加任务专属提示。模型根据观测决定行动目标，框架负责动作校验、执行转换和反馈，最终由平台原生评测机制评分。

推理设置存在一项差异：Astra、Sol 和 Opus 使用 high，Argon 使用 medium。报告解释，在本次 API 通道下，Argon 的 high 设置响应过慢，难以支持大规模批量评测。因此，涉及 Argon 的比较也反映了推理设置差异。专业策略模型则保留各自的训练与执行设置，并未采用同一套控制方案。

在上述条件下，四款多模态模型各有强项。

Claude Opus 5.5 不仅综合得分最高，在空间理解和通用操作方面也领先其他三款模型。GPT-6 Astra 则在指令跟随和整体扰动适应能力上表现突出。

GPT-6.1 Sol 的选择价值更多体现在成本上。结合报告采用的参考 API 价格和 Token 用量统计，它以较低的估算推理成本取得 70.91 分，为需要平衡任务表现与调用开销的开发者提供了另一种选择。

Gemini 4 Argon 则呈现出一些反差：它的综合排名相对靠后，扰动适应总分却高于 Sol；在包裹分拣任务中，它还以 0.56 的任务得分领先另外三款模型。

但如果把目光转向专业策略模型，通用操作上的差距就显现出来了。按百分制换算，四款多模态模型在这一维度的得分为 38.79—46.70 分，报告所列策略模型则为 63.20—66.13 分。这也说明，综合排名无法代替细分评测，选模型还要看具体任务和成本。

环境变化同样可能改变判断。报告考察了背景与光照、相机位置、图像质量、指令措辞和机器人初始姿态五类扰动，图像质量变化是四款模型共同的突出弱点。

测试通过随机丢帧、镜头遮挡和额外图像噪声模拟视觉干扰。在本轮扰动类型和强度下，相对于各自的指令跟随基线，Opus 得分下降约 20 个百分点，Argon 下降约 26 个百分点，Astra 下降约 32 个百分点，Sol 则下降约 77 个百分点。

Sol 正常条件下的指令跟随得分为 95.50 分，受到图像质量干扰后降至约 18 分；Opus 在同类扰动下仍取得约 76 分。

进一步拆开总分，Argon 虽然扰动适应总分高于 Sol，却只有图像质量这一项超过 Sol，其余四项均落后。开发者若只看总分，就可能忽略模型在具体环境中的弱点。

从失败中找原因，RoboColiseum 如何拆解执行问题？

模型的操作表现，也与控制系统提供什么信息有关。报告围绕 Astra，对执行反馈、深度信息和历史记录进行了配置对比。

首先，机器人需要知道动作实际完成得怎么样。

完整配置下，10 个任务的成功率为 90%，平均规划决策 16.7 次。移除明确的执行偏差反馈后，成功率降至 80%，平均规划决策增至 35.6 次。

抓取时手偏了一点，物体可能就没抓稳。执行偏差反馈帮助模型比较预期与实际结果，再决定怎样调整。移除这类反馈后，模型仍能看到当前图像和机器人状态，但在本组测试中，需要更多尝试才能推进任务。

其次，模型需要更准确地判断物体的三维位置。

移除深度输入和查询工具后，任务成功率同样从 90% 降至 80%，平均下发动作步数从 118.8 步增至 158.2 步。模型仍能依靠 RGB 图像、相机标定和机器人状态估计位置，但在这些测试中，需要下发更多动作。

最后，它还得记住自己刚才做过什么。

在移除历史记录的部分测试中，Astra 已经抓起积木，却卡在放置阶段，反复执行相似动作。4 个插积木布局，完整配置全部完成，移除历史记录后只完成 2 个；平均规划决策次数从 27.5 次增至 66.5 次，平均运行时间也从 64.65 分钟增至 131.81 分钟。

这几组结果表明，模型既要看清眼前的场景，也要知道动作是否到位、此前尝试是否有效，才能据此纠错。

从固定桌面走向更复杂的场景后，这些能力需要连续配合。在仿真环境中，Astra 已能协调移动底盘、躯干和机械臂，完成垃圾投放、开门通行，以及从厨房取饮料并送到餐桌等操作。

以扔垃圾为例，机器人需要移动到目标附近、降低躯干、抓起物体，再调整底盘位置，将物体移到垃圾桶上方松开夹爪。任务中的每一步，都依赖对位置和自身姿态的判断。

全身控制：Astra完成垃圾拾取与投放

全身控制：Astra移动取罐、携物行进与餐桌放置

通过统一接口和相应控制适配，Astra 还在 ARX、AgileX、G1 和 G2 四种机器人上完成了同一个棋子收纳任务的拾取与放置。不过，不同本体仍需要各自的运动学模型和工具几何信息，跨本体执行也不意味着所有任务表现相同。

棋子收纳：Astra在4种本体上均可完成

真机实验则进一步暴露了接触操作的难点。在 ARX Lift2 上，研究团队通过 Agent2Act 接入 Astra，并用三台 RealSense D405 相机提供观测。不输入深度信息时，模型已能完成物体选择、抓取、放置和积木堆叠，但速度仍较慢。

毛巾折叠和衣服对折的记录中，未输入深度时出现反复抓空与失败尝试，加入传感器深度后转为成功。不过，部分指导也同时调整，改善不能全部归因于深度。更复杂的多阶段叠衣服仍未完成：模型抓住了衣角，却没能完成后续折叠序列。

从仿真到真机，这些案例展示了部分可用能力，也留下明确的改进方向：稳定抓握、精细对齐、连续操作和失败恢复。较长的运行时间与推理调用费用，同样影响实际应用。

从榜单到研发，评测结果如何发挥作用？

对于开发者而言，评测的价值最终要落到模型选择和研发改进上。

RoboColiseum 的名字取意于古罗马圆形竞技场，平台希望让不同模型在共同标准下接受比较，也让开发者能够从结果中找到下一步改进的方向。

要实现这一点，首先需要回答：仿真中的成绩，能为真机表现提供多少参考？

平台公布的验证数据显示，在已验证的模型和任务范围内，仿真评测与实机部署表现的相关性达到 89.5%，相同模型在仿真与真机任务中的评测成功率差异小于 10%。

RoboColiseum与真实世界高度一致

这为通过高保真仿真筛选模型、定位问题提供了支持，有助于开发者在进入真机测试前先发现短板；结论仍限于已验证范围，不能直接推广到所有场景。

与此同时，平台也在降低参与评测和复现结果的门槛。

目前，RoboColiseum 已经更新了 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 等全球最顶尖的多模态大模型的评测结果，开发者可以拿来做对比，自己究竟处在行业什么身位，一目了然。

借助 Agent Skill，开发者还可以通过自然语言对话完成数据下载、模型训练、本地验证和评测提交。从注册到提交最快约需 5 分钟，典型评测约 30 分钟完成。

开发者无需上传模型核心代码和权重，只需在本地部署推理服务并接入标准接口，即可开展评测。

平台返回的分项成绩、任务步骤结果和模型执行视频，也让开发者可以进一步追查：模型完成了哪些步骤，又在哪里出现失败。

随着研究需求变化，平台也将持续更新任务和评测维度。

结语：让具身智能的进步有一把可比较的尺子

这轮同台打榜显示，不同模型各有优势，也各有尚未解决的问题。

这些差异为下一步研发提供了具体方向：更强的理解能力如何转化为可靠操作，模型如何利用反馈纠错，又怎样在视觉干扰、精细接触和连续任务中保持稳定？

RoboColiseum 希望通过持续开放的评测，让这些问题能够被反复测试，让模型改进有可比较、可核验的依据。

对于具身模型开发者而言，本轮报告揭示的短板，也是下一轮挑战的切入口。无论是改进操作策略、完善控制系统，还是降低任务执行成本，都可以带着模型进入同一套评测任务，检验自己的进展。