τ-bench

把工具调用放进完整业务流程:模型需要理解用户需求、执行多步操作,并在交互中把任务真正完成。

快照版本2026-08-04
评测配置28 个
榜单2 个
v1.0.1+ 可比记录27 条

如何读懂这份评测

官方来源
访问官方页面 ↗
来源发布日期
当前数据未单独记录
快照日期 / 版本
2026-08-04(来源版本标记)
本站抓取日期
当前数据未单独记录
本站数据导出时间
2026-10-25 08:31:18 UTC;不代表来源发布或抓取时间

指标含义

Pass@k 表示同一任务独立运行 k 次均成功的比例;Pass@1 是单次运行的端到端成功率。

使用局限

成绩受模型、检索方式、推理强度、用户模拟器和评测版本共同影响;v1.0.1 之前的 Banking 成绩不可与新版直接比较。

这个来源测什么

τ³-Banking 模拟真实银行业务。模型不只要选对一个工具,还要在用户模拟器的多轮交互中理解约束、查询信息、调用工具并完成整个流程。它与 BFCL 的区别是:BFCL 更聚焦工具调用是否正确,τ-bench 更关注完整业务任务最终能否成功。

RightForAI 如何处理

保留官方模型名称、发布日期、检索方式、推理强度、用户模拟器、评测版本和 Pass@1–4。Standard 与 Custom 分开排名,同一基础模型的不同评测配置不会被静默合并。

版本与名次说明

榜单按 Pass@1 降序排列,同分同名次。τ-bench v1.0.1 修改了 Banking 评分,因此旧版本记录会明确标记为不可与新版直接比较,而不会混入 Standard 新版主榜。