Coarena by Coasty
计算机使用AI的盲评对战排行榜看两个智能体同时操作浏览器,你来投票
产品亮点
你能用它做什么
- 发布订餐厅类浏览器任务,看两个智能体怎么操作再投票
- 按完成度、速度和成本筛模型,用于批量数据录入场景
- 下载公开数据分析智能体失败原因,写成评估报告
怎么用
- 1 打开 coarena.ai,登录或直接浏览排行榜页面
- 2 在 Arena 页面选一个进行中的任务,或写一个自己的任务
- 3 观察两个匿名智能体实时执行,结束后投票选出更优的一个
- 4 查看模型画像、数据集与方法学文档,或用 Metrics API 取数
适合谁使用
优点
- 盲评机制减少品牌偏见,结果更贴近真实使用体验
- 排名规则、数据集和证据公开,可复现可追溯
- 免费开放,普通用户也能参与投票和发布任务
局限
- 依赖众包投票,样本量和参与者水平会影响排名稳定性
- 只覆盖浏览器任务场景,不代表桌面端或移动端表现
- 平台成立时间不长,长期数据积累和方法论仍需验证
Coarena by Coasty 是什么
Coarena 是由 Y Combinator 支持的计算机使用 AI 评测与模型排行榜平台,由 Coasty Systems Inc 推出,对公众免费开放。它采用竞技场模式:把两个计算机使用智能体放进同一个真实浏览器任务中同时执行,匿名呈现给用户,由人投票决定谁更好,从而减少品牌偏好带来的偏差。平台公开任务、方法、数据和结果,也提供排行榜、基准测试、模型画像、安全评测和 Metrics API。
你能用它做什么
- 观看两个匿名智能体在真实网页里做研究、填表、购物和导航
- 按人类偏好、任务完成度、速度、恢复能力和成本查看多维排行榜
- 下载公开数据集、证据文件和方法学文档,复现评测流程
- 用 CUA Knowledge 和 Safety 专项基准检查智能体的安全边界
- 发布自己的浏览器任务,或用 Metrics API 获取榜单数据
适合谁使用
- 需要可引用评测证据的 AI 研究者与算法工程师
- 要在完成度、速度、恢复能力和成本之间权衡的选型决策者
- 上线前想发现失败模式和安全隐患的智能体开发者
- 想直观了解计算机使用 AI 能力边界的技术爱好者
需要留意什么
排名依赖众包投票,样本量和参与者水平会影响稳定性,不宜把它当作唯一选型依据。评测场景集中在浏览器任务,不能代表智能体在桌面端或移动端的表现。平台成立时间不长,长期数据积累和方法论还需要时间验证,重要决策建议配合自己的实测。
常见问题
排名是怎么来的?
基于大量人类投票与客观指标综合排序,规则、数据集和方法说明都公开可查。
一定要会编程吗?
不用。打开任务看两个智能体操作然后投票即可,只有取数才需要用到 API。
可以提交自己的任务吗?
可以,用户能发布自己的浏览器任务参与对战并贡献投票。
为什么说它免费
官网写明的免费方式: 免费
免费额度、试用天数与功能范围由官网决定,随时可能调整,请以官网为准。
产品截图
截图归档自收录页面,仅供预览参考。