切换外观
判断评测：混合语料上的第一次自由运行（2026-10-15）
状态：一次性评测记录。结论只覆盖本次设置——一份语料、一个模型、一次运行、自由运行；不是 Skill 的验收标准，也不改变信息契约。打磨成演示数据的过程见 POLISH.md。语料加入家庭流后的第二次运行见第二次自由运行，用本报告的背景加家庭流重跑的见第三次自由运行；本报告的数字用 v1.1 语料按改过的脚本复算不变。
此前两次评测都是 teacher-forced：每帧从作者手写的状态出发，看不到 Agent 自己的误差怎样累积。这一次把 skill/SKILL.md 交给真实模型，在混合语料上从空状态开始，逐帧维护自己的状态两周，再与从真实后续行为推出的弱标注对照。
结论
两周不失控，但注意力明显偏向工作，生活里要他决定的事常被压低。
- 操作层面稳定。 28 帧全部提交成功；5 次被退回（摘要超过 60 字 4 次、超预算 1 次），看到回执后都在下一次改对。状态逐帧前传，没有一帧因前面的错误而卡住。
- 订阅与社区几乎全部压下。 订阅 89 条全判为噪音、没有占任何份额；社区 719 条他人帖子只采用 26 条。弱标注里社区的本人在 141 个话题中只跟进过 4 个，两者不矛盾。
- 生活流被看见，但份额低。 生活流 245 条他人输入采用 227 条，本人后来有行动的生活事项帧 61 个，Agent 纳入 45 个；可是只有 2 个拿到 6 份以上。根层 64 份平均 48.9 份来自工作、13.1 份来自生活。航班改经停、车道下漏水的主水管、热浪里的空调都只给 1–3 份；猫的药量是例外，看到“超过 5 mg/kg 有失明风险”后升到 12 份。
- 长期事项占位。 master CI 失败从第 2 帧到最后都是“等你”、12 份，期间别人在修；弱标注把这条线判为 noise 或 delegated。根层同一时刻最多 33 件，两周出现过 88 件根层事项，大多是 1 份的痕迹。
- 合并与身份判断大体可靠，但会把不相关的提问并在一起。 同组输入进同一根层事项 98.3%；同一个半天里本人发的几个生活提问，三次被并成一件。
方法
| 项 | 设置 |
|---|---|
| 语料 | corpus/composite/frames.json v1（运行中更新到 v1.1，差别见下文），28 帧、2829 条，每 12 小时一帧。 |
| 自由运行 | 第 n 帧的起始状态是 Agent 自己前 n−1 帧提交后的状态（内存内核）；被拒时带回执重试，最多 3 次。 |
| 模型 | claude-opus-5-5，claude -p（CLI 2.1.299，登录态，隔离设置与工具），结构化输出。 |
| 系统提示 | 一句角色说明 + SKILL.md（sha256 30b6a7ae10ff…）。 |
| 用户背景 | 按 MIX.md 改写的人物设定（skarv 维护者、斯德哥尔摩、女儿与幼子、猫、在修的房子、骑车、自然论坛、问答站、订阅与天气提醒），附输出语言、“本人事件”与 stream 三条说明。 |
| 输入可见字段 | id / channel / from / at / stream / subject / url / text 与 self；不交作者类别与 origin。超过 60 条或 2 万字符的帧把单条正文截到 1500 字符，共截断 238 条。 |
| 规模 | 33 次调用，24.5 美元；dry-run 估算 18.0 美元（含重试 22.5），未触发截到 1000 字符的预案。输入约 222 万 token（缓存 36 万），输出约 47 万。 |
语料版本
运行开始时语料是 v1；跑到第 12 帧时更新到 v1.1：21 条别人的问答回答与评论在 v1 里署名成本人（self 仍为 false），约 120 处正文修补化名遗漏，4 条博客评论换了 ID。已跑过 5 帧，没有重跑。逐条核对 Agent 引用这 21 条的事项，它都按 self: false 当成别人的话；只有 f26 把一条回答写成“Jonas B.名下新答”。对照按 v1.1 与它的 labels.json 计算，4 条换了 ID 的博客评论在对照里记为未判。
各流
| 流 | 采用 | 重复 | 暂缓 | 噪音 | 未判 | 本人发言 | 根层平均份额 |
|---|---|---|---|---|---|---|---|
| work | 811 | 7 | 388 | 60 | 5 | 405 | 48.9 |
| community | 26 | 0 | 12 | 680 | 1 | 19 | 0.4 |
| life | 227 | 0 | 18 | 0 | 0 | 81 | 13.1 |
| subscription | 0 | 0 | 0 | 89 | 0 | 0 | 0 |
前四列只算他人发来的输入；根层平均份额按事项引用的输入所在的流分摊，逐帧平均。
与弱标注对照
| 指标 | 值 |
|---|---|
| 忽略：强依据召回 | 98/354（0.277） |
| 忽略：精确率（只算强依据 / 强弱都算） | 0.117 / 0.126（Agent 忽略 836 条） |
| 忽略：与行为不矛盾（含 untouched 与 noise 档事项的输入） | 744/836（0.89） |
| 同组输入进同一条目 / 同一根层事项 | 0.983 / 0.983（726 对） |
| 跨线程组进同一根层事项 | 0.973（186 对） |
| 成对排序一致（平局记半） | 0.46（4464/9696，平 3895）/ 0.661 |
忽略的精确率低，主要因为弱标注的忽略列表只收低信息量输入（机器人、空回复、24 小时内转绿的 CI）；Agent 判为噪音的 836 条里多数是有实质内容、但本人从未跟进的社区帖与订阅，单列的“与行为不矛盾”一行把它们算进来是 0.89。强依据召回低：漏掉的 256 条里，CI 失败 118 条、评审 62 条、关闭通知 60 条，Agent 判为采用（175）或暂缓（80），它们常被引用进 CI 事项与每日的完成记录。
| 流 · 弱档位 | 事项帧数 | 纳入 | 根层份额 ≥6 |
|---|---|---|---|
| work · acted | 200 | 110 | 49 |
| work · delegated | 103 | 49 | 19 |
| work · untouched | 59 | 16 | 5 |
| work · noise | 38 | 24 | 20 |
| community · acted | 11 | 1 | 0 |
| community · untouched | 311 | 3 | 0 |
| life · acted | 61 | 45 | 2 |
| life · untouched | 63 | 36 | 3 |
| subscription · noise | 88 | 0 | 0 |
acted 是本人后来有行动的事项（high、engaged、later）。work · noise 有 20 个事项帧拿到 6 份以上，几乎都是 master CI 那一条线。
跨流的事
| 事 | Agent 怎样处理 |
|---|---|
| 航班变更撞上最忙的一天 | f08（188 条、工作 109 条）里仍为改经停的航班建了事项，但记成知会、3 份；改签选项还开着时在 f11 撤下。 |
| 宠物药量弄错 | f18 建事项、6 份、等你；f22 看到失明风险后升到 12 份，理由里自己算出约 7 mg/kg。弱标注里这件事 untouched（提问者没有再跟进），是内容判断与行为标注分歧的样本。 |
| 周六水管开裂 | f26 建事项、等你，但只给 3 份，低于同帧几件评审。 |
| 热浪里的空调与喝水 | 高温提醒判为噪音；空调提问只给 1 份；Mastodon 上的空调对话暂缓。三者没有被连成同一背景，也没有被错并成一件。 |
| AI 找漏洞 | newsletter 全判为噪音；本人的 Mastodon 帖子被当作本人动作暂缓。 |
| 厨房 | 两个烹饪提问各自进了生活事项（其中一个与猫的提问并在一起）；美食 newsletter 判为噪音。 |
还没有回答的问题
- 只跑了一次，没有方差；生活流份额偏低是模型倾向、还是 SKILL.md 对“等你”的写法偏向工作，需要换人物背景或调换流的顺序再跑。
- 弱标注只看行为，生活里“没有再跟进”不等于不重要（猫的药量）；需要人工锚点批次检验弱标注本身的偏差。
- 社区流几乎全部压下，在这份语料里与行为一致；一个真正活跃于社区的人物会怎样，没有检验。