评分与基线
shareapi-standard-v1 · 2026-09-08
行业题库
| 基准 | 导入题数 | 固定抽样 | 许可 |
|---|---|---|---|
| MMLU-Pro ↗ | 12,032 | 14 学科各 1 题 | MIT（数据） |
| GPQA Diamond ↗ | 198 | 物理、化学、生物各 4 题 | CC BY 4.0 |
| BBEH Mini ↗ | 460 | 14 类推理任务各 1 题 | 数据 CC BY 4.0 / 判题代码 Apache 2.0 |
共 12,690 题入库，每日完整评测让七模型各测相同的 40 道固定题，不是跑完全部题库。MMLU-Pro 提供综合知识与推理；GPQA Diamond 提供研究生级科学题；BBEH 是 BIG-Bench Hard 的高难度后续基准。
本站成绩是改编协议下的固定子集，不是官方全量榜单成绩。使用零样本、闭卷，不提供工具、检索或示例解答；保留原文与标准答案，追加统一的最终答案格式要求。MMLU-Pro 官方常见结果使用 5-shot，因此不能直接横比。BBEH 仅选文本推理任务，输入不超过 12,000 UTF-8 字节；未选类别不计入成绩。
版本、抽样与署名
导入版本：MMLU-Pro b189ec765aa7ed75c8acfea42df31fdae71f97be；GPQA 56686c06f5e19865c153de0fdb11be3890014df7；BBEH 80d12ca916b7158f22293fcf3144f4d3d854d4be。原始文件与题库摘要随发布保存。GPQA 采用作者公开下载包，未绕过受限登录。
各分层内部按 SHA-256 固定排序取题，抽样在首次模型调用前锁定，不根据任何模型答对或答错挑题。GPQA 选项固定打乱，避免正确答案位置泄漏。40 题摘要为 5d632a487fd03ee121e8249fd08780a9e99350258776741f137cc098f0fd1596。
BBEH 选用 boolean expressions、buggy tables、Dyck languages、geometric shapes、hyperbaton、multistep arithmetic、object counting、object properties、shuffled objects、spatial reasoning、temporal sequence、time arithmetic、web of lies、zebra puzzles。官方完整 BBEH 为 4,520 题，本次导入其 Mini 460 题。
署名：MMLU-Pro，Yubo Wang 与 TIGER Lab 团队（论文）；GPQA，David Rein、Betty Li Hou、Asa Cooper Stickland、Jackson Petty、Richard Yuanzhe Pang、Julien Dirani、Julian Michael、Samuel R. Bowman（论文）；BBEH，Mehran Kazemi、Bahare Fatemi 等，Copyright 2025 Google LLC（论文）。完整许可与 BBEH 原始任务引用保留于评测包，详见作者引用清单。遵守 GPQA 不公开题目示例的要求，不向公共网页提供原文或答案。
分数怎么看
- 绝对得分：本轮答对数 ÷ 40 × 100，每题 2.5 分。独立标准答案评分，不依赖 Astra；综合分只是固定抽样的加权通过率。
- 三项基准：分别按各自答对数 ÷ 14、12、14 计分，历史图可单独选择。样本少时颗粒度较粗，不代表整个题库的精确能力估计。
- 历史变化：本轮减去该模型首三个有效完整轮次的平均分。基线冻结后不自动下调；前三轮显示初始参考。
- SOTA = 100：当前选用 GPT-6 Astra 作为 SOTA 参照；本模型同批得分 ÷ 参照模型同批得分 × 100。仅使用同题指纹、同输出上限、同协议同推理档、相隔不超过两小时的完整记录。Astra 也接受独立标准答案评分。
选择题匹配最终选项，不因抽取失败随机猜答案；BBEH 使用作者的确定性判题函数。服务器核对题目指纹和答案后重新判分，不信任探针上报的“通过”。不执行模型生成代码，也不调用另一模型担任裁判。
上次评测
列表只展示当前成绩对应的评测时间，使用北京时间。采集与请求故障不显示在网页上。新重试规则下，未完成或仍有请求故障的轮次不会替换已有成绩；原始证据留在后台，不删除、不改写为成功。
条件与降质提示
从 2026-09-08 下一轮起，七模型输出上限统一提高到 32,768 Token，单题最多等待 600 秒。原先 4,096 Token 是本站控费设置，不是题库硬性要求；旧 4K 与新 32K 成绩、历史基线分开保存。OpenAI 为 medium，国内模型为原生默认推理，两者不保证等价。较难题可能触及推理输出上限，因此衡量的是此配置下的交付表现，不是模型最大能力。公开基准可能被训练集污染，本站无法据此证明模型身份或排除上游掺水。
- 较自身历史基线下降 ≥10 个百分点：分数下降；连续两轮达到阈值：连续下降，需复核。高难度题低于 80 分不自动视为异常。
- 接口失败、超时、输出受限与答案错误分开记录。基线排除网络/接口错误和未完成轮次；输出上限属于固定预算下的有效失败，仍保存其历史。
- Astra 为 0 分、同轮有技术错误、记录过期或出现自身历史下降时，暂停当前相对指数，不隐藏绝对分。
- 这些是工程提示，不是统计显著性结论。重复相同题目不能当成新增独立题量；不展示由重复题堆出的虚假置信区间。
每天一次，08:00 开始
北京时间每天 08:00 开始完整评测，每模型 40 题。已取消两小时小测和原五小时巡检；历史结果、标准答案基线和逐题证据保留。
US 四模型、CN01 三模型共用全局串行队列。临时请求故障自动按 30、90、180 秒退避，单题最多追加 3 次；只重试传输问题，不重试答错或输出上限，不挑选高分答案。认证失败或额度耗尽停止重试。定时器每分钟只检查当天未完成工作，不产生新的评测批次；整轮窗口至次日 08:00。
正常每日 280 题请求，另留最多 20% 的重试调用与 Token 预留，正常日合计上限 336 次。原有评测 Token 的金额上限保持不变，不自动续充。重试计数、退避时间与每次扣费证据持久保存；达到安全上限后保留旧成绩，下一天重新评测。
逐题检查点、原始证据与出站队列持久保存；在途结果未知的请求不重发。数据库每日备份，页面展示近 7 / 30 天。旧自建 20 题与随机抽测全部留在详情的以前版本，不与新标准题趋势混接。题库或有效参数变更后另建基线，轮换凭据不改变题库历史。
采集进程中断导致结果未知时，单独标记“采集中断”，保留原始记录与已花费预算，不重复发送未知结果的请求。含此类记录的批次不更新绝对得分、历史基线或趋势，不把采集器自身故障当作模型能力下降。
费用、证据与后续范围
费用通过请求 ID 关联真实消费账本，单位是 USD API 额度扣减，不是人民币实付或原厂成本；账单未齐时显示未知。原始题目、模型原文与凭据不公开，页面仅提供分数、题目编号、错误类型与证据摘要。
参考 CodexRadar 的同题、历史和证据结构。HumanEval、LiveCodeBench、SWE-bench 等需要安全执行模型生成代码或隔离环境，按既定决定后续接入独立评测机；不把当前代码理解题冒充这些成绩。本次不增加重型 Docker 任务，不影响客户正常推理。