最后更新:11/21/2026最后核验:2026-11-15

Coarena

Coarena 功能介绍:盲投对战、四项基准与免费 API

11
0

Coarena 是 Coasty Systems(YC S26)做的电脑操作类 AI agent 公开竞技场:两个 agent 在同一台电脑或安卓手机上跑同一个任务,由人盲投选出更好的那个,结果汇成 Bradley-Terry 排行榜和四个 benchmark(含能力与安全)。它还把这批模型包成兼容 OpenAI 与 Anthropic 的 API,每天送 5 美元的模型用量,轨迹数据则按合同授权。

部分免费

Coarena 是什么

Coarena 是 Coasty Systems 做的电脑操作 AI 智能体公开竞技场与排行榜,YC 公司页把它列为 S26。两个智能体在电脑或安卓手机上跑同一个任务,由人在不知道模型身份的情况下投票;票数汇成 Bradley-Terry 排名,为每个模型给出 pTop1 与标准误,旁边是四条赛道:Computer Use Arena、Phone Use Arena、CUA KnowledgeBench 与 CUA SafetyBench。这批模型同时以兼容 OpenAI 与 Anthropic 的 API 开放,带每天免费额度;竞技场背后的操作轨迹数据则按合同授权。本文依据官网首页、/docs、/leaderboard、/governance、/data 与基准测试方法页(2026-11-15)核验,未注册账号,未投票,也未调用 API。

核心功能

  • 双智能体盲投:两个智能体在电脑或安卓手机上跑同一任务,投票的人看不到哪条结果出自哪个模型。
  • 公开的 Bradley-Terry 排行榜,按处理的 token 数排序,每个模型给出 pTop1 与标准误。
  • 四条赛道:Computer Use Arena、Phone Use Arena、CUA KnowledgeBench、CUA SafetyBench;/mission 称公开 101 项指标、24 个上榜模型。
  • 模型 API:OpenAI SDK 走 https://coarena.ai/api/v1,Anthropic SDK 走 https://coarena.ai/api,另有公开的 /api/v1/models、/api/metrics 与 /api/leaderboard。
  • /docs 写明的免费额度:「$5 a day, and Coarena pays」,每分钟 30 次请求、同时 2 个,key 免费且不要卡。
  • 一次自助调用即可申请下一档:每天 10 美元,或每分钟最多 600 次请求。
  • /data 的操作轨迹数据按合同授权,不是公开下载。

最适合

想用人类偏好而不是单一基准分来对比电脑操作与安卓智能体的研究者。希望用一个 key、通过 OpenAI 或 Anthropic SDK 调用多个智能体模型的开发者。在交互式任务选型时同时看完成度、速度、恢复与成本的团队。要把 /api/metrics 与 /api/leaderboard 接进看板或论文的分析人员。需要按合同获得电脑操作轨迹数据授权的机构。

定价

它没有价目表:/pricing 返回 404。/docs 公开的只有免费额度——「$5 a day, and Coarena pays」,每分钟 30 次请求、同时 2 个,key 免费不用绑卡;另有自助申请下一档,每天 10 美元或每分钟最多 600 次。轨迹数据与评测服务按合同计价,本次没有找到公开报价。发任务、投票与标注需要先用 Google 账号登录,只看排行榜不用。

优缺点

优点

  • 人类盲投加四项基准,而不是只给一个总排名。
  • 同时覆盖真实电脑与安卓手机。
  • 公开 pTop1 与标准误,能看出排名有多稳。
  • 同一批模型可用 OpenAI 与 Anthropic SDK 调用,每天有免费额度且不用绑卡。
  • 提供公开的 models、metrics 与 leaderboard 接口,方便程序化使用。
  • 主动披露利益冲突,并把母公司自己的智能体排除在榜单外。

缺点

  • 没有价格页:/pricing 是 404,数据授权只能谈合同。
  • 默认 API 额度是每天 5 美元用量、每分钟 30 次请求、同时 2 个。
  • 更高额度要提交申请,文档没写审批标准。
  • 榜单在动:里面混了未发布的预览模型,方法论页也写明手机榜部分对比用模型当裁判。
  • 站点的使用量数字是厂商自述,本次没有调用 API 也没有核实。

替代工具

AA-AgentPerf-Local

Artificial Analysis 的开源基准,把录制的智能体轨迹回放到你自己的模型服务上,在本机测吞吐与延迟。

Plurai Simulation

从你自己的智能体流程图生成场景,用模拟用户跑一遍,测的是自己做的那个 agent,而不是给公开模型排名。

TesterArmy

用浏览器智能体跑你网页与移动应用的端到端测试,做的是产品 QA 而不是公开排行榜。

Handit.ai

盯生产环境的智能体流量,抓幻觉与 schema 断裂并推修复,解决的是上线后的可靠性。

常见问题

详情

平台

网页版API

功能特性

  • Blind pairwise battles: two agents attempt the same real task on a computer or an Android phone and a person votes on the winner, which feeds a public Bradley-Terry leaderboard with pTop1 and standard error per model
  • Four benchmarks — Computer Use Arena, Phone Use Arena, CUA KnowledgeBench and CUA SafetyBench — with published measures for completion, speed, recovery and cost
  • Free model API at https://coarena.ai/api/v1 for OpenAI SDKs and https://coarena.ai/api for Anthropic’s: $5 of model usage a day paid by Coarena, 30 requests a minute, 2 concurrent, free key with no card, with self-service requests to step up to $10 a day and up to 600 requests a minute
  • Public JSON endpoints for /api/v1/models, /api/metrics and /api/leaderboard, plus a /data programme that licenses computer-use trajectories, human judgments and provenance by contract

支持语言

en

已知限制

  • No published prices: https://coarena.ai/pricing returns 404. The only cost figures on the site are the free API allowance (“$5 of model use a day, and Coarena pays”), the $10-a-day step-up request, and “Terms are scoped per contract” for datasets and evals — there are no plan names, seats, credit packs or dated discount
  • A Google account is required for the productive actions; /governance states that “Posting a task, voting, annotating and giving step verdicts require an account”, while watching is open to everyone
  • Self-disclosed conflict of interest: the parent Coasty Systems also builds a computer-use agent, and the /governance page says the company “owns the arena and every dataset assembled from it” while keeping its own agent off the roster
  • The traffic figures (62.5K people, 6.11M requests, 245B tokens in a 7-day window), the “biggest crowdsourced benchmark” claim and the 24-strong model roster are the vendor’s own numbers; the roster includes unreleased preview models, and the Phone board has comparisons judged by a model rather than a person, as /benchmark/methodology discloses. Third-party bots exist to farm the free tier, and coarena.com is an unrelated for-sale domain

官方价格来源

https://coarena.ai/docs

为此工具评分