AI 评测
便宜模型先筛,贵模型兜底:同样准,成本只有 1/4
决策模型便宜 90 倍,但难样本上掉 6 个百分点。分水岭不在模型,在置信度校准:让 Jev 先筛、只把 30–90% 的模糊样本丢给 Opus,精度追上 Opus,钱花一半。
AI 评测
决策模型便宜 90 倍,但难样本上掉 6 个百分点。分水岭不在模型,在置信度校准:让 Jev 先筛、只把 30–90% 的模糊样本丢给 Opus,精度追上 Opus,钱花一半。
Multi-Agent
19 局游戏,GPT 12 胜 4 负。更值得看的是过程:第一晚死掉 22 个 agent 后,它们建起了带许可证和配给账本的政府。
AI 评测
50 个真实税务任务、1,789 份文件,最好的模型只过 10.8%。会算税远远不够,难的是发现客户没想到要问的那个问题。