切换外观
评测报告索引
状态:索引,随报告增加维护。每份报告都是一次性记录,结论只覆盖它自己的设置,不是 Skill 的验收标准,也不改变信息契约。评测脚本与命令见工作环境说明,评测方法的取舍与未决问题见决策记录。
| 报告 | 一句话 | 设置 | 费用 |
|---|---|---|---|
| 第一次真实模型运行 | Opus 读 SKILL.md 第一版,在手写情境上逐帧 teacher-forced 判断,与作者编排对比:操作可靠、处置大体一致,弱点在结构与身份判断。 | 手写情境 36 帧、112 条输入;claude-opus-5-5;一次运行 | 约 5.6 美元(本机记录 5.63) |
| 换用 Codex Harness 的对照 | 同一份提示交给 Codex 下的 gpt-6.1-sol(SKILL.md 两版)与 claude-haiku-5-5:处置几乎不变,差别在档位、kind、结构习惯与提交失败的形态。 | 同上,四次全量运行另加 12 帧对照重跑 | Haiku 0.29 美元;Codex 走登录账号的订阅额度 |
| 混合语料上的第一次自由运行 | Opus 读 SKILL.md 第二版,在化名人物 Jonas 的两周真实输入上从空状态维护自己的状态,与弱标注对照:两周不失控,但注意力偏向工作,生活里要他决定的事常被压低。 | 混合语料 28 帧、2829 条;claude-opus-5-5;一次运行 | 24.5 美元 |
| 混合语料上的第二次自由运行(含家庭流) | 同一份 SKILL.md 与模型,语料加入作者编写的家庭流,前四条流与弱标注对照、家庭流与作者标注对照:家里六条线的结构与问题的了结几乎逐帧跟上,但份额普遍高一档,工作与生活问答被挤到根层边上。 | 混合语料 28 帧、3217 条(含家庭流 388 条);claude-opus-5-5;一次运行;用户背景换成语料自带的版本 | 23.23 美元 |
| 混合语料上的第三次自由运行(含家庭流,换回第一次的背景) | 语料同第二次、用户背景同第一次,用来归因:工作与生活份额的减少八成多随家庭流本身出现,背景的影响集中在母亲住处的一个档位;与第二次相比结构几乎相同,档位与暂缓的记账随运行变化。 | 混合语料 28 帧、3217 条(含家庭流 388 条);claude-opus-5-5;一次运行;用户背景逐字同第一次 | 22.87 美元 |
五份报告的共同局限:每个条件只跑一次,没有同条件的重复运行;“与作者一致”与“与弱标注一致”都不等于“用户回来知道下一步”。三次自由运行里,第一次与第三次只差语料,第二次与第三次只差用户背景,可以大致归因;第二、第三次之间的差别同时含背景与随机性,只能当作结果范围的一个下界,不是方差的估计。还没有做的对照列在 Skill 设计与各报告末尾。
原始提示、响应、回执与逐帧对比保存在本机 .local/eval/<run-id>/,不提交版本库;上表的本机费用取自其中的 summary.json。