AI 测试
AI 测试与 bug 同谋:变异测试与 LLM 评委校准
测试与实现出自同一个 prompt,会一起错:88.00 的巧合、覆盖率证明不了 oracle、变异测试与 κ 0.80 评委校准。一份 12 条清单。
AI 测试
测试与实现出自同一个 prompt,会一起错:88.00 的巧合、覆盖率证明不了 oracle、变异测试与 κ 0.80 评委校准。一份 12 条清单。
LLM 评测
同一个模型、同一个基准,换一套评测协议或推理预算,分数就可能不一样——这就是评测报告的"不可复现"问题。UK AISI 加入了 EvalEval 的共享基建:用 Every Eval Ever 规范和 Evaluation Cards 公开 5 个基准、6 个前沿模型的验证结果与方法细节。本文完整编译:HLE 随 token 预算变化的曲线、Terminal-Bench 2.0 的跨设置对比,以及参与方式。