让「AI 好不好用」变成可审计的数字
Benchmark 是多基准评测平台：一条命令跑评测、记账、出报告。四条基准线全接入，已产出首批真实 Agent 分数；换 Agent 只需加一个 JSON 配置，实测接入约 1 小时。
四条基准线
| 基准线 | 测什么 | 现有成绩 |
|---|---|---|
| KB-DocBench（自建） | 知识库文档生成 / 修改 | oracle 30/30 · 首批真实 Agent 分已产出 |
| SWE-bench Lite | 真实代码仓库修复 | oracle 27/30 |
| Terminal-Bench | 终端 / CLI 任务 | oracle 9/10 |
| OSWorld | GUI 桌面操作 | 考场冒烟验证通过 |
平台纪律：分数即代码
-
免密钥首胜
clone 后一条安装命令，宿主检查 → 安装 → 体检 → oracle 30/30 全自动跑通，之后想要真实分只差一把 Key。
-
成绩即事实源
每次评测结果自动记账（runrecord），commit 入库，历史可追溯——不靠口头汇报。
-
判分器可自检
判分逻辑任何改动必须重跑门禁自检，防止「裁判悄悄改规则」。
-
安全闸
push 前自动扫描，杜绝密钥与敏感数据出仓。
与我们的交付方法闭环
需求基线量化验收标准→
Benchmark 生成三层测试集→
夜间批量编码预算控制→
评测 + 门禁三态入账→
报告与回归分数即代码
Benchmark 生成三层测试集→
夜间批量编码预算控制→
评测 + 门禁三态入账→
报告与回归分数即代码
三种版本
社区版（CE）开源免费；团队版（TE）订阅，支持协作与集中管控；企业版（EE）私有化，含 compose / k8s / 离线部署脚本。