切换外观
判断评测:混合语料上的第三次自由运行,含家庭流、换回第一次的用户背景(2026-10-15)
状态:一次性评测记录。结论只覆盖本次设置——加入家庭流的混合语料、第一次运行的手写用户背景、一个模型、一次运行、自由运行;不是 Skill 的验收标准,也不改变信息契约。本次与第一次只差语料(加入家庭流),与第二次只差用户背景;三次放在一起,可以把份额的转移大致分到家庭流本身与背景两处。每个条件仍只跑一次,第二、第三次之间的差别同时含背景与随机性,分不开。家庭流的对照依据是作者写定的标注,检验一致,不检验真实。
第二次运行加入家庭流的同时换了用户背景:语料自带的背景列出家人名字,并注明家庭往来由作者编写。家庭流拿走近六成根层,这是输入带来的,还是背景带来的,那次分不开。本次用同一份语料、同一份 skill/SKILL.md、同一个模型,把用户背景换回第一次那段手写设定(逐字相同),再从空状态跑两周。
结论
份额转移的八成多随家庭流本身出现,背景只解释剩下的一小部分;两次含家庭流的运行结构几乎相同,差在档位。
- 操作同样稳定。 28 帧全部提交成功;3 帧首次被拒(摘要超过 60 字 2 次、标题超过 24 字 1 次),看到回执后都在下一次改对。31 次调用,22.87 美元。
- 家庭流本身带走了大部分份额。 用同一份背景,从第一次到本次,根层 64 份里工作从 48.9 降到 25.0,生活从 13.1 降到 4.5,家庭拿到 31.3;工作在 28 帧里每一帧都比第一次少,少 11–39 份。再换上语料自带的背景(本次 → 第二次),工作再降 4.7、生活再降 1.9、家庭再升 6.4。照这样拆,工作减少的 28.6 份里 23.9 份(84%)随家庭流出现、4.7 份(16%)随背景变化;生活减少的 10.5 份是 8.6 份(82%)与 1.9 份(18%)。
- 背景的影响集中在一件事的档位上。 第二次比本次多出的 6.4 份家庭份额里,6.2 份来自母亲住处:第二次有 12 帧给 24 份(critical),本次一直是 12 份(high,与作者一致),两次的结构、并入与了结帧完全相同。第二次的理由在 f01、f02 两次写到“独居母亲”,这个说法只在语料自带的背景里有。背景里“家庭往来由作者编写”那句,两次运行的输出都没有提到过。
- 暂缓的起伏不是背景能解释的。 暂缓从 491(第一次)到 834(本次)再到 1117(第二次)。同一背景下家庭流让前四条流的暂缓从 491 增到 721;第二次又多 296 条,但逐帧差别有正有负(f24 本次 45 条工作输入暂缓,第二次 19 条),与逐帧家庭份额之差几乎不相关(相关系数 0.17)。同一条输入记“采用”还是“暂缓”,很大程度取决于这时有没有一件“合入留档”“他人跟进”之类的收纳事项可挂,这是随运行变化的记账习惯。
- 生活流的变化是结构性的,不随背景。 第一次的生活提问大多各自成件,两周 30 件,每帧平均 7.8 件、13.1 份;两次含家庭流的运行都把问答回复收成一条 1–3 份的知会,与家里同一件事的提问并进家庭事项。本次 4.5 份与第二次 2.6 份的差别,来自这些合并事项按引用分摊给生活流的份额(2.9 对 1.7)与那条知会(1.6 对 0.9),不是注意力的差别。
- 家里的判断:结构稳定,档位随运行变化。 六条线里 A、B、D、E、F 的建项、并入、升档帧与了结帧两次几乎逐帧相同;作者登记的 19 个问题,17 个两次处理路径相同。两次都错在同样的地方:Ture 发烧仍低于同帧的母亲、猫、派对与后刹,母亲住处了结后被过时的追问重开,rc1 的接缝,“hade fixat”读成已修好,噪音层多判暂缓而不是噪音。随运行变化的是档位与零碎:母亲 24 或 12、航班 6 或 12、派对截止前后 6 或 12、骑车建不建项、棚屋留不留到末帧。
- 份额更接近作者,排序一致率相当。 作者档 high 的事项帧平均 13.5 份(第二次 17.7),normal 6.8 份(8.4);按作者档成对排序一致 0.703 / 0.823(第二次 0.743 / 0.827),排反的从 24 对降到 15 对,平局从 45 对增到 65 对。
方法
| 项 | 第一次 | 第二次 | 第三次(本次) |
|---|---|---|---|
| 运行目录 | free-composite-2026-10-15 | free-20261015-161501 | free-20261015-201110 |
| 语料 | corpus/composite/frames.json v1,运行中途更新到 v1.1(见第一次报告);28 帧、2829 条,没有家庭流 | v2(sha256 41e1265c…):v1.1 加家庭流,28 帧、3217 条 | 与第二次同一个文件,sha256 相同 |
用户背景 context | 手写设定:skarv 的工作与公司化名 Lindbo;住斯德哥尔摩,一个女儿、一个年幼的儿子、一只猫;房子在修,棚屋、车道和地暖都还在进行;骑车、自己修车;论坛名 Wildlog Forum;问答站、newsletter、航空与零售营销邮件、天气提醒。没有家人名字 | 语料自带:伴侣 Kajsa、女儿 Signe(11 岁)、儿子 Ture(4 岁,上幼儿园)、母亲(通讯录里叫“Mamma”,独居外地)、妹妹 Ulrika、猫 Smilla 与各自的联系渠道;“家庭往来是瑞典语,由作者编写,不来自真实的人”;“各流来自不同真实的人的公开数据”。没有 Lindbo、棚屋车道地暖、论坛名与营销邮件 | 与第一次逐字相同,用 --persona-context 传入 |
language 说明 | 工作语言英文,整理用中文 | 多一句“家人、朋友与邻居之间的往来是瑞典语,同样用中文整理,人名与原话保留原文” | 与第二次相同:语料含家庭流时脚本自动加上 |
streams 说明 | work、community、life、subscription | 加 family(家人、朋友、邻居与家务相关的通知) | 与第二次相同 |
| 自由运行 | 第 n 帧的起始状态是 Agent 自己前 n−1 帧提交后的状态(内存内核);被拒时带回执重试,最多 3 次 | 相同 | 相同 |
| 模型 | claude-opus-5-5,claude -p(CLI 2.1.299,登录态,隔离设置与工具),结构化输出 | 相同,CLI 2.1.300 | 与第二次相同 |
| 系统提示 | 一句角色说明 + SKILL.md(sha256 30b6a7ae10ff…) | 逐字相同 | 逐字相同 |
| 输入可见字段 | id / channel / from / at / stream / subject / url / text 与 self;超过 60 条或 2 万字符的帧把单条正文截到 1500 字符,截断 238 条 | 相同 | 相同 |
| 规模 | 33 次调用,24.5 美元;输入约 222 万 token(缓存 36 万),输出约 47 万 | 31 次,23.23 美元;输入约 206 万(缓存 33 万),输出约 47 万 | 31 次,22.87 美元;输入约 200 万(缓存 34 万),输出约 48 万(其中推理 19 万) |
怎样归因
- 第一次 → 本次:家庭流本身。 两次的
context逐字相同;差别是 388 条家庭输入,以及随家庭流一起出现的language、streams两句说明(本报告把这两句算进“家庭流本身”),另有 CLI 的小版本与第一次中途换语料版本。 - 本次 → 第二次:用户背景。 两次只差
context一段。这一段的差别不只是家人名字与“由作者编写”:语料自带的版本还少了 Lindbo、在修的棚屋车道地暖与论坛名,多了孩子的年龄、母亲独居外地与“各流来自不同真实的人”。所以本报告说的“背景”指整段context,不能再细分到哪一句。 - 随机性。 每个条件只跑一次,第二、第三次之间的差别就是“背景 + 随机性”,二者分不开。只有比这对差别大得多、而且逐帧同向的变化,才能比较放心地归到家庭流;背景的影响落在与随机性同一个量级里,见两次含家庭流的运行差多少。
计分
三次运行都用当前的 scripts/eval_judgment.py --rescore 与 v2 语料复算:第二、第三次的 summary.json 与本机原文件逐字相同;第一次原来的 summary.json 没有逐帧的分流份额,复算后补上,家庭流在第一次记为“未判”,其余指标不变。文中的结构判断(事项何时建、并入、撤下,问题的去向)另用脚本逐帧读 state_after 与回执核对,不只依据 report.md。问题(asks)仍不由脚本计分,按引用该事项输入的根层条目人工对照,口径与第二次相同。
归因:家庭流与背景各占多少
| 量 | 第一次 | 本次 | 第二次 | 家庭流本身(第一次 → 本次) | 背景(本次 → 第二次) |
|---|---|---|---|---|---|
| 根层平均份额:工作 | 48.9 | 25.0 | 20.3 | −23.9(84%) | −4.7(16%) |
| 根层平均份额:生活 | 13.1 | 4.5 | 2.6 | −8.6(82%) | −1.9(18%) |
| 根层平均份额:家庭 | — | 31.3 | 37.7 | +31.3 | +6.4 |
| 工作里本人后来有行动的事项帧(200 个):纳入 | 110 | 85 | 79 | −25 | −6 |
| 其中根层份额 ≥6 | 49 | 36 | 29 | −13 | −7 |
| 前四条流的暂缓(含本人发言) | 491 | 721 | 1017 | +230 | +296 |
- 工作份额:方向与幅度都清楚。 第一次与本次逐帧比,工作 28 帧全都更少,差 11–39 份;本次与第二次逐帧比,工作差 −13 到 +9 份,两个方向都有,平均绝对差 5.6 份。家庭流带来的变化远大于两次含家庭流的运行之间的起伏。按大份额看(≥6 份),背景那一列占了三分之一以上(7/20),比平均份额的 16% 高,但 7 个事项帧的差别本身也在随机性能解释的范围里。
- 家庭份额:差别来自一件事的一个档位。 第二次的家庭份额在 25 帧里高于本次(平均绝对差 7.4 份),但按事项拆开,两次两周平均的家庭份额差 6.4 份,其中母亲住处一件差 6.2 份(第二次 15.3、本次 9.1);猫、车道、派对、航班、开学文件几件此消彼长,加起来接近 0。自由运行把状态逐帧带下去,f03 的一次定档(24 还是 12)一直延续到 f09,f18 再升一次又延续到 f22,所以“25 帧更高”不是 25 次独立的判断。两次在 f03 写的理由几乎相同(8/14 截止、BankID 要补办、上次答应回电没打),只有档位不同;第二次在 f01、f02 的理由里写了“独居母亲需要帮助”“独居的母亲需要帮忙看协会文件”,这是背景影响最可能的落点,但一次运行不足以证明。
- “由作者编写”那句说明没有可见的影响。 在两次运行的全部声明与处置说明里搜“编写”“合成”“虚构”“真实的人”,没有一处指向这句话(出现的“作者”都指 PR 作者);家庭流的忽略、分组与问题的了结两次几乎相同。不能排除它的影响,只是看不到。
- 暂缓:主要不是背景。 家庭流本身让前四条流的暂缓多了 230 条,第二次又多 296 条,看上去背景的影响更大。但逐帧看,第二次多出的暂缓集中在 f06、f07、f17、f20、f22、f23 几帧(f20 工作输入暂缓 68 条对本次 18 条),f24 反过来本次多(45 对 19);逐帧家庭份额之差与工作暂缓率之差的相关系数只有 0.17。差别多出在记账上:本次两周一直留着一条“合入留档”(
skarv-done-…),f18 起又有一条“他人跟进”(others-prs-waiting),合并、评审回复与别人 PR 的进展大多挂在上面记“采用”;第二次没有“他人跟进”,合并留档在 f22 为猫与母亲让出份额后撤下,同类输入就记成“暂缓”。以 f20 为例,第二次判暂缓、本次判采用的工作输入有 50 条,其中 19 条挂在“他人跟进”、17 条挂在“合入留档”、11 条挂在“评审待办”。按 SKILL.md 的定义,这两种记法都说得通。所以暂缓条数不适合当作单次运行之间的比较指标,见还没有回答的问题。 - 生活份额:结构变了,背景只动了分摊。 第一次的生活提问大多各成一件(两周 30 件,每帧平均 7.8 件,拿到 6 份以上的事项帧 14 个);第二次与本次的生活事项只剩 1–2 件(问答回复收成的一条知会,本次开头另有一条宠物提问),生活份额大多来自并进家庭事项的提问(猫的药量、航班、后刹、漫画、铜水管,本次另有退票款)。生活 4.5 份里,只引用生活输入的事项占 1.6,并进家庭事项后按引用分摊来的占 2.9;第二次是 0.9 与 1.7。两次之差取决于合并事项里引用了几条生活输入,不代表对生活流的关注不同:生活流里本人后来有行动的事项帧拿到 6 份以上的,三次都是 2 个。
各流
| 流 | 采用 | 重复 | 暂缓 | 噪音 | 本人发言的暂缓 | 根层平均份额 |
|---|---|---|---|---|---|---|
| work | 811 / 525 / 666 | 7 / 15 / 11 | 388 / 671 / 489 | 60 / 58 / 104 | 59 / 155 / 110 | 48.9 / 20.3 / 25.0 |
| community | 26 / 0 / 0 | 0 / 0 / 0 | 12 / 32 / 26 | 680 / 685 / 693 | 10 / 19 / 17 | 0.4 / 0 / 0 |
| life | 227 / 130 / 168 | 0 / 3 / 3 | 18 / 98 / 59 | 0 / 13 / 15 | 4 / 40 / 18 | 13.1 / 2.6 / 4.5 |
| family | — / 174 / 163 | — / 11 / 5 | — / 86 / 93 | — / 39 / 49 | — / 14 / 20 | — / 37.7 / 31.3 |
| subscription | 0 / 0 / 0 | 0 / 0 / 0 | 0 / 2 / 2 | 89 / 87 / 87 | — | 0 / 0 / 0 |
每格依次是第一次 / 第二次 / 本次。前四列只算他人发来的输入,本人发言另列它被判为暂缓的条数;根层平均份额按事项引用的输入所在的流分摊,逐帧平均。全部处置(含本人发言):第一次采用 1486、噪音 836、暂缓 491、重复 12;第二次 1177、885、1117、33;本次 1398、962、834、22。
本次判为噪音的工作输入 104 条,前两次都在 60 条上下;多出来的主要是 Mastodon 上的闲聊与泛泛讨论(87 条,第二次 51 条),另有机器人评审与触发机器人的指令。
与弱标注对照(前四条流)
| 指标 | 第一次 | 第二次 | 本次 |
|---|---|---|---|
| 忽略:强依据召回 | 98/354(0.277) | 92/354(0.26) | 105/354(0.297) |
| 忽略:精确率(只算强依据 / 强弱都算) | 0.117 / 0.126(Agent 忽略 836 条) | 0.107 / 0.125(861 条) | 0.115 / 0.12(913 条) |
| 忽略:弱依据召回(单列) | 7/147(0.048) | 16/147(0.109) | 5/147(0.034) |
| 忽略:与行为不矛盾 | 744/836(0.89) | 759/861(0.882) | 783/913(0.858) |
| 同组输入进同一条目 / 同一根层事项 | 0.983 / 0.983(726 对) | 1.0 / 1.0(293 对) | 0.981 / 0.981(375 对) |
| 跨线程组进同一根层事项 | 0.973(186 对) | 1.0(96 对) | 0.961(180 对) |
| 成对排序一致(平局记半) | 0.46(平 3895,逆 1337)/ 0.661 | 0.313(平 5614,逆 1047)/ 0.603 | 0.394(平 4812,逆 1065)/ 0.642 |
- 本次多数指标落在前两次之间。 排序一致回升,主要因为两件都是 0 份的平局少了(工作事项拿到份额的多了);真正排反的对数与第二次相当。
- 同组一致回到 0.98,可比的对也回升。 被引用的输入比第二次多;拆开的 7 对都在工作侧,是同一个 PR 的输入一部分挂在 master CI 上、一部分挂在评审待办上(f15、f23、f24)。这项指标仍不惩罚把不相干的输入并成一件。
- 忽略三次相近:订阅与社区照旧压下;漏掉的强依据仍以 CI 失败、评审与关闭通知为主。
| 流 · 弱档位 | 事项帧数 | 纳入 | 根层份额 ≥6 |
|---|---|---|---|
| work · acted | 200 | 110 / 79 / 85 | 49 / 29 / 36 |
| work · delegated | 103 | 49 / 29 / 46 | 19 / 5 / 8 |
| work · untouched | 59 | 16 / 7 / 8 | 5 / 2 / 2 |
| work · noise | 38 | 24 / 24 / 28 | 20 / 16 / 16 |
| community · acted | 11 | 1 / 0 / 0 | 0 / 0 / 0 |
| community · untouched | 311 | 3 / 0 / 0 | 0 / 0 / 0 |
| life · acted | 61 | 45 / 32 / 37 | 2 / 2 / 2 |
| life · untouched | 63 | 36 / 22 / 23 | 3 / 4 / 4 |
| family · acted | 75 | — / 56 / 49 | — / 33 / 35 |
| family · untouched | 12 | — / 10 / 10 | — / 4 / 3 |
| family · noise | 57 | — / 10 / 10 | — / 2 / 1 |
| subscription · noise | 88 | 0 / 0 / 0 | 0 / 0 / 0 |
依次是第一次 / 第二次 / 本次。acted 是本人后来有行动的事项(high、engaged、later);家庭流的行为档来自合成的 Jonas 回复。按全部前四条流的弱档位看,拿到 12 份以上的事项帧:high 9 / 3 / 3、engaged 14 / 1 / 5、delegated 17 / 0 / 2、noise 19 / 1 / 3。本次 noise 档的 3 个是 master CI 在 f05–f07 的 12 份;第一次这条线 27 帧都是 12 份,第二次只有 f02 一帧。
家庭流
与作者标注对照
| 指标 | 第二次 | 本次 |
|---|---|---|
| 忽略:authored 召回 | 50/185(0.27) | 54/185(0.292) |
| 忽略:authored 精确率 | 1.0(Agent 忽略 50 条) | 1.0(54 条) |
| 忽略:与作者档不矛盾 | 50/50(1.0) | 54/54(1.0) |
| 同一事项的输入进同一条目 / 同一根层事项 | 0.964 / 0.964(55 对) | 1.0 / 1.0(58 对) |
| 并入关系(authored_merge)进同一根层事项 | 1.0(3 对) | 1.0(3 对) |
| 按作者档成对排序一致(平局记半) | 0.743(平 45,逆 24)/ 0.827 | 0.703(平 65,逆 15)/ 0.823 |
| 作者档 | 事项帧数 | 纳入 | 根层份额 ≥12 | ≥6 | 平均份额 |
|---|---|---|---|---|---|
| high | 20 | 18 / 19 | 17 / 18 | 18 / 19 | 17.7 / 13.5 |
| normal | 18 | 17 / 16 | 7 / 6 | 12 / 13 | 8.4 / 6.8 |
| low | 31 | 21 / 16 | 1 / 0 | 4 / 3 | 2.2 / 1.7 |
| trace | 6 | 6 / 5 | 0 / 0 | 0 / 0 | 2.3 / 1.5 |
| none | 69 | 14 / 13 | 2 / 2 | 5 / 4 | 1.0 / 0.8 |
依次是第二次 / 本次;份额口径与第二次报告相同(这一帧的家庭输入被哪件事项引用、那件事项的根层份额)。high 一档本次平均 13.5 份,接近作者的 12 份;仍高的几帧是猫在 f22、车道在 f26–f28 的 24 份,两次都一样。none 档拿到 12 份以上的 2 个,是派对着装要求并进了 12 份的派对、母亲那边的高温问候并进了 12 份的母亲住处,份额是继承来的。
作者应忽略的 185 条,两次的处置几乎一样:第二次采用 59、暂缓 76、噪音 39、重复 11,两周里被事项引用过 27 条;本次采用 59、暂缓 72、噪音 49、重复 5,被引用过 30 条。忽略只有作者的三成,差别仍在处置的标签而不在呈现,这一点两次稳定。
六条线
对照大纲的“Fold 应当怎么判”。
| 线 | 作者写定 | 第二次 | 本次 | 两次比较 |
|---|---|---|---|---|
| A 猫看病 | 8/3 一件 normal;8/11 下午升 high,登记“打给诊所还是先观察”;8/14 答上,只留复诊日期;Kajsa 的催促都并进这一件 | f01 12 份等你,浇番茄并进标题;f05 已完成 3 份;f09 托 Gunnel 喂猫并进来;f18 12 份,并进生活流的药量提问;f22 24 份;f23 进行中,此后三帧仍 12 份 | f01 12 份等你,浇番茄单列 6 份;f05 已完成 6 份;f08 撤下,托邻居喂猫的消息判暂缓、没有并入;f15 看完兽医恢复 6 份;f18 12 份,并进药量提问;f22 24 份;f23 进行中 6 份“减至 1/4 片,24/8 复诊”,之后 6 → 3 | 升档帧、了结帧、跨流并入两次相同,稳定地对;开头 12 份(作者 normal)与 f22 的 24 份两次相同,稳定地高一档。番茄并不并、喂猫并不并、了结后降得快慢随运行变化,本次了结后的 6 份与作者一致 |
| B 母亲九月住哪 | 8/4 一件“母亲九月住哪,周五截止”,登记二选一,BankID 与 Ulrika 的催促并入;8/14 母亲自己交了回执,问题失效,报一句结果 | f01 12 份;f03 读到通告后 24 份,BankID 当帧并入;f10 他说交纸质回执后降到 12;f18–f22 回到 24;f23 已完成“已交回执,选疏散公寓”6 份;f26 Ulrika 过时的追问让它回到等你 3 份;f28 吃饭、生日并入 | f01 12 份;f03 12 份,BankID 当帧并入;f10–f14 6 份;f15–f22 12 份;f23 已完成“妈妈自选疏散公寓,回执已交”6 份;f26 同样被 Ulrika 的追问重开,等你 3 份;f28 吃饭、生日同样并入 | 结构、并入、失效帧与两处错误(f26 重开、f28 新事并进旧事)两次相同;档位不同:第二次 12 帧 critical,本次一直 high,与作者一致。这一档是两次家庭份额之差的主要来源 |
| C 和 Joakim 骑车 | 最多一条 trace,8/15 撤下,不登记问题 | f13 记 1 份知会,日期写成 16 日;f19 撤下;f24 Joakim 发错群的“明早九点?”恢复成 12 份等你;f25 撤下 | 始终没有建项:f13 的改约判暂缓(“你已婉拒”),f24 发错群的那句也判暂缓,理由是“随即说发错群,未知何事” | 随运行变化。本次合乎大纲,但 f24 的理由说明它没有把这句与“下周六”连起来:是没看懂,不是判对 |
| D 车道下漏水 | 8/10 邻居那句值一条低档痕迹(对照天气才看得出不对);8/15 升 high,登记“整根换还是免挖”,窗口结束时仍开着 | f16 建 3 份知会,理由“如果没浇过水,可能是水管漏水”;f18 起 1 份;f24 升到 6 份;f25 12 份进行中;f26–f28 24 份等你,并进生活流的铜管提问 | f16 建 3 份知会,理由“如果没浇过水,可能是漏水;车道还在施工,值得看一眼”;f19 以“邻居没有再来消息”撤下;f24 恢复成 6 份等你;f25 12 份进行中;f26–f28 24 份等你,并进铜管提问,末帧写明“明早 10 点前回 Ronny” | 几乎逐帧相同,稳定地对;末帧 24 份比作者高一档,两次相同。本次痕迹的理由用到了手写背景里的“车道还在施工”;中间撤下又恢复是唯一差别 |
| E 9 月 14 日的航班 | 不另立,并进生活流的航班:Kajsa 的追问让它从知会变成家里在等你 | f08 建 6 份等你“需告诉 Mamma”,家里的追问与改经停提问在同一件里;f16 他决定不改签、Kajsa 说由她告诉母亲,降到 3 份进行中;f22 撤下 | f08 建 12 份等你“需告诉妈妈”,同样并成一件;f16 降为 6 份进行中,f17 3 份,f18 起 1 份,一直开到末帧 | 并入与 f16 的降档两次相同,稳定地对;f08 本次 12 份与作者的 high 一致,第二次低一档;本次多了 12 帧 1 份的尾巴 |
| F 小龙虾派对 | 一件 low,8/12 前登记“回几个人”,8/13 Kajsa 代答后失效 | f01 6 份等你;f02–f13 3 份;f14–f20 6 份;f21 3 份;f22 Kajsa 报了 4 人后撤下;f28 收款请求恢复成 3 份 | f01 6 份等你;f02–f14 3 份;f15–f17 6 份;f18–f21 12 份(截止当天与过期后);f22 撤下;f28 恢复成 3 份“周五前 Swish 500kr” | 建项、失效帧与收款恢复完全相同,稳定地对;截止前后本次高一档(作者在 f20 为 normal) |
一次性的事与噪音
| 事 | 作者写定 | 第二次 | 本次 | 两次比较 |
|---|---|---|---|---|
| Ture 发烧 | 当帧最高(已接回,记结果) | f19 记下“今天接 Ture”3 份;f20 降成 1 份知会“已接回家”,同帧母亲 24、猫 12;f21 起“记得报 vab”,开到末帧 | f19 记下“今天你接 Ture”6 份;f20 改为已完成 3 份“发烧 38.4,已接回家”,同帧母亲、猫、派对各 12,后刹 6;f21 起“记得报 vab”3 → 1 份,开到末帧 | 稳定地偏离:两次都低于同帧的母亲、猫、派对与后刹;护理假两次都一直开着,与作者一致 |
| 开学文件 | low,截止 8/18 | f16 6 份等你,之后 3 → 1;f22 并进班级群的头虱提醒;f28 学校再提醒,升回 6 份 | f02 起已有一条班级群“开学日”知会,f09 并进头虱提醒;f16 学校通知后升为 6 份等你,之后 3 → 1;f28 升回 3 份 | 方向一致,两次都并进了作者判为噪音的群消息 |
| 假快递短信 | 丢弃 | f21 认出是钓鱼,建 1 份知会;f22 撤下 | 相同 | 稳定地偏离:识别正确,没有丢弃 |
| BankID 钓鱼短信 | 丢弃 | 认出是钓鱼,留了 3 份知会,f18 才撤 | 判噪音 | 随运行变化 |
| 噪音层与闲聊 | 约六成丢弃(185/310) | 判噪音或重复 50 条,暂缓 76 条;做成事项的有头虱提醒、垃圾改期、Signe 问午饭与两条钓鱼短信 | 判噪音或重复 54 条,暂缓 72 条;做成事项的有浇番茄(f01 6 份)、班级群开学日、Signe 问午饭(3 份)、牙医预约(1 份)、假关税短信;派对着装要求并进派对 | 标签偏离大、呈现偏离小,两次稳定;具体哪几条零碎成件随运行变化 |
问题的登记与了结(人工对照)
逐帧找引用该事项输入的根层条目,看它的 kind 是否为 needs-you、何时撤下或改判,口径与第二次报告相同。19 个问题里 17 个两次的处理路径相同(登记帧有没有等你事项、了结帧怎样处理、窗口结束时在不在状态里),份额可以差一档;不同的 2 个:
| 问题 | 作者:登记 → 去向 | 第二次 | 本次 |
|---|---|---|---|
| 下周六和 Joakim 骑车 | f13 → 失效 f25 | f13–f18 知会 1 份,f19 撤下,f24 恢复成等你 12 份,f25 撤下 | 没有建事项 |
| Göran 九月来帮忙抬棚屋 | f06 → 窗口末仍开着 | f06–f21 等你 1–3 份;f22 为腾份额撤下 | f06–f28 等你 1 份,一直留到末帧 |
- **跨帧了结的 8 个:**第二次 7 个在了结帧当帧撤下、改判或降为知会,本次 6 个;差的都是骑车线,本次两个骑车问题都没有建事项,与大纲“不登记问题”一致。
- **当帧回答的 4 个:**两次都记了结果;航班那一个两次都转成新的待办“需告诉妈妈”。
- **窗口结束仍开着的 7 个:**第二次 6 个仍在状态里,本次 7 个都在。
- 两次的份额差别集中在三处:母亲九月能不能来住(24 对 12)、派对回几个人(截止前后 6 对 12)、打给诊所还是先观察(f23 改为进行中后 12 对 6)。
两次含家庭流的运行差多少
第二次与本次用同一份语料、同一份指引、同一个模型,只差用户背景。下表把它们放在一起:
| 量 | 第二次 | 本次 | 差 |
|---|---|---|---|
| 根层平均份额:家庭 / 工作 / 生活 | 37.7 / 20.3 / 2.6 | 31.3 / 25.0 / 4.5 | 6.4 / 4.7 / 1.9 |
| 逐帧份额之差(平均绝对差) | — | — | 家庭 7.4,工作 5.6 |
| 暂缓(含本人发言) | 1117 | 834 | 283(约四分之一) |
| 前四条流成对排序一致(平局记半) | 0.603 | 0.642 | 0.039 |
| 前四条流强依据忽略召回 | 0.26 | 0.297 | 0.037 |
| 家庭流按作者档成对排序一致(平局记半) | 0.827 | 0.823 | 0.004 |
| 作者档 high 的平均份额 | 17.7 | 13.5 | 4.2 |
| 根层同一时刻最多 / 两周出现过 | 26 / 60 件 | 21 / 53 件 | — |
| 作者登记的问题,处理路径相同 | — | — | 17 / 19 |
| 首次被拒 | 3 帧 | 3 帧 | 类型相同(字段长度) |
- 稳定的是结构。 什么是一件事、什么时候了结、跨流的同一件事并不并,两次几乎一样;家庭流的排序一致率、作者应忽略输入的处置分布也几乎一样。错误也是同样的错误(Ture、母亲住处重开、rc1、后刹)。
- 起伏的是档位与记账。 同一件事差一档(12 与 24、6 与 12);同一条输入记采用还是暂缓;零碎的事成不成件。自由运行把状态带到下一帧,一次定档会延续好几帧,所以一档之差会放大成好几份的平均份额之差。
- 怎样当作方差的参考。 把“方差”理解为同一模型、同一指引、同一语料、用户背景按合理写法变动时,单次自由运行的结果会落在多宽的范围里:这两次是其中的两个样本,它们的差别是这个范围的一个下界——再多跑几次,范围只会更宽,不会更窄。它不是同条件方差的估计:背景可能触及的量(家庭份额、母亲住处的档位)里混着背景的影响;背景很难直接触及的量(哪几帧的工作输入多判暂缓、提交被拒的字段),差别更可能来自随机性,但根层是一个总预算,家庭多拿几份工作就少几份,工作侧的差别也不能完全排除背景的间接作用。在做同条件重复运行之前,单次运行之间根层流份额差 5 份上下、暂缓条数差四分之一、一件事差一档,都不足以说明条件不同;家庭流本身对工作份额的影响(约 24 份、28 帧同向)远在这个范围之外,背景的影响(约 5 份)落在范围之内。
逐帧
| 帧 | 家庭(二 · 本次) | 工作(一 · 二 · 本次) | 生活(一 · 二 · 本次) | 本次根层件数 / 已用 | 本次家庭流份额最大的一件 | 本次费用(美元) |
|---|---|---|---|---|---|---|
| f01 | 30 · 36 | 42 · 24 · 24 | 9 · 3 · 3 | 10 / 63 | Smilla打喷嚏只吃湿粮,需约兽医(12) | 0.50 |
| f02 | 27 · 33 | 55 · 34 · 25 | 9 · 3 · 6 | 13 / 64 | 妈妈换管表格:你说回电未打(12) | 0.75 |
| f03 | 39 · 33 | 53 · 23 · 27 | 10 · 1 · 4 | 15 / 64 | Smilla约兽医:Kajsa催问,你说马上约(12) | 0.76 |
| f04 | 39 · 31 | 56 · 24 · 30 | 6 · 1 · 3 | 15 / 64 | 妈妈换管8/14前回复,Kajsa想当面谈(12) | 0.74 |
| f05 | 30 · 25 | 54 · 27 · 36 | 7 · 1 · 3 | 15 / 64 | 妈妈换管8/14前回复,Kajsa想当面谈(12) | 0.54 |
| f06 | 34 · 24 | 55 · 29 · 37 | 8 · 1 · 3 | 18 / 64 | 妈妈换管8/14前回复,Kajsa想当面谈(12) | 0.96 |
| f07 | 32 · 22 | 59 · 31 · 41 | 4 · 1 · 1 | 19 / 64 | 妈妈换管8/14前回复,Kajsa想当面谈(12) | 0.67 |
| f08 | 35 · 28 | 55 · 25 · 29 | 9 · 4 · 5 | 16 / 62 | 9/14回程改经停,需告诉妈妈(12) | 1.23 |
| f09 | 38 · 28 | 55 · 22 · 29 | 9 · 4 · 5 | 16 / 62 | 妈妈换管8/14截止,缺BankID求助(12) | 0.54 |
| f10 | 27.7 · 20 | 56 · 17 · 30 | 8 · 5.3 · 7 | 17 / 57 | 9/14回程疑技术经停,需告诉妈妈(12) | 0.75 |
| f11 | 27.7 · 20 | 56 · 18 · 30 | 8 · 5.3 · 7 | 17 / 57 | 9/14回程疑技术经停,需告诉妈妈(12) | 0.37 |
| f12 | 30.7 · 20 | 55 · 27 · 37 | 8 · 5.3 · 7 | 19 / 64 | 9/14回程疑技术经停,需告诉妈妈(12) | 0.55 |
| f13 | 32.7 · 24.5 | 58 · 26 · 32.5 | 6 · 5.3 · 7 | 19 / 64 | 9/14回程疑技术经停,需告诉妈妈(12) | 0.48 |
| f14 | 35.7 · 24.5 | 51 · 21 · 25.5 | 7 · 5.3 · 7 | 20 / 57 | 9/14回程疑技术经停,需告诉妈妈(12) | 0.62 |
| f15 | 33.7 · 35.5 | 55 · 23 · 21.5 | 7 · 5.3 · 7 | 21 / 64 | 妈妈问换管住处,等你和Kajsa答复(12) | 1.22 |
| f16 | 40 · 35.5 | 50 · 20 · 25.5 | 10 · 1 · 3 | 20 / 64 | 换管:Kajsa同意妈妈住两周,你去说(12) | 0.96 |
| f17 | 41 · 32.5 | 52 · 22 · 28.5 | 10 · 1 · 2 | 21 / 63 | 换管:Kajsa同意妈妈住两周,你去说(12) | 1.17 |
| f18 | 51.6 · 42.4 | 50 · 8.7 · 17.5 | 14 · 3.8 · 4.1 | 17 / 64 | Smilla或双倍吃药,等诊所回电(12) | 1.38 |
| f19 | 56.6 · 49.7 | 51 · 5.7 · 12 | 13 · 1.8 · 2.3 | 15 / 64 | 诊所来电未接,16点前回电问Smilla(12) | 0.79 |
| f20 | 54.1 · 46.2 | 46 · 5.7 · 9 | 16 · 3.2 · 6.8 | 16 / 62 | 今天8–16点回电诊所问Smilla剂量(12) | 1.37 |
| f21 | 50.8 · 43.7 | 48 · 10.7 · 17 | 15 · 0.5 · 3.3 | 16 / 64 | 今天8–16点回电诊所问Smilla剂量(12) | 0.72 |
| f22 | 51.1 · 39.7 | 43 · 8.7 · 17 | 21 · 4.2 · 7.3 | 15 / 64 | 8点致电诊所:Smilla剂量或超标(24) | 1.04 |
| f23 | 25.1 · 19.7 | 36 · 13.7 · 16 | 23 · 0.2 · 3.3 | 15 / 39 | Smilla减至1/4片,24/8复诊(6) | 0.78 |
| f24 | 40.1 · 24.2 | 40 · 19.7 · 21 | 22 · 0.2 · 2.8 | 18 / 48 | 邻居称14号车道口整周潮湿疑漏水(6) | 0.94 |
| f25 | 34.1 · 30.2 | 37 · 17.7 · 18 | 25 · 0.2 · 2.8 | 17 / 51 | 家中漏水:水表空转,水管工11–13点到(12) | 0.43 |
| f26 | 36.1 · 34.2 | 35 · 22.7 · 21 | 27 · 4.2 · 5.8 | 17 / 61 | 车道下铜管裂,周一前定换管方案(24) | 0.93 |
| f27 | 40.1 · 35.2 | 35 · 22.7 · 21 | 27 · 0.2 · 4.8 | 17 / 61 | 车道下铜管裂,周一前定换管方案(24) | 0.50 |
| f28 | 44.1 · 40.2 | 32 · 19.7 · 21 | 30 · 0.2 · 1.8 | 18 / 63 | 车道铜管:明早10点前回Ronny定方案(24) | 1.18 |
份额按事项引用的输入所在的流分摊;同为最大份额时按 rank 取前者。第一次的生活份额逐帧上升(9 → 30),是生活事项各自成件、越积越多的结果;两次含家庭流的运行没有这条曲线。8 月 11 日下午到 13 日(f18–f22),家庭在第二次占 51–57 份,本次 40–50 份;工作在第二次只剩 6–11 份,本次 9–18 份。
错误类型
- 家里的事仍偏高,但幅度小了。 猫开头 12 份(作者 normal),f22 猫与 f26–f28 车道 24 份(作者 high),派对截止前后 12 份(作者 low 到 normal),浇番茄 6 份(作者判为琐事)。母亲住处不再到 24 份。
- 噪音成了事项。 班级群里“开学是哪天”的问答在 f02 成了一条知会,后来成了开学文件那一件的底;头虱提醒并进它;派对着装要求并进 12 份的派对;Signe 问午饭 3 份、牙医预约 1 份、假关税短信 1 份。都在几帧后撤下或缩到 1 份。
- 当帧急事给得低。 Ture 发烧那一帧只有 3 份,同帧母亲、猫、派对各 12 份。两次都是这样。
- 已了结的事被重新打开。 与第二次相同:f26 Ulrika 过时的追问让母亲住处回到等你;f28 吃饭与生日并进这件已了结的事。
- 把接缝当成事实。 f13 读到他对 Joakim 说“今晚回家发 rc1”,把“8.22.0-rc1 已发布”改成“功能冻结”,理由写“此前写成已发布有误,改正”,f14 又写“截至午夜未见发布记录”,f19 撤下。与第二次同一处接缝、同一个方向,挂了 6 帧(第二次 15 帧)。
- 细节读错。 “Fast jag hade fixat den”再次读成“你说本来已修好”(f21),这次没有注明未核实;f26 Kajsa 提醒修旧车刹车时也没有指出前后说法不一。
- 工作侧的长期事项。 master CI 两周都是等你:f05–f07 12 份,其余多为 6 份,没有像第二次那样在 f11 改为进行中(第一次是 27 帧 12 份)。f08 降档时理由写明“让位给家庭航班与 NDEBUG 决定”。
- 提交被拒的类型与前两次相同。 摘要超过 60 字 2 次,标题超过 24 字 1 次(“8/15–16合入13591/13601/13594等”)。
还没有回答的问题
- 同条件的方差。 第二次与本次只差背景,差别给出了自由运行结果范围的一个下界,但还没有同条件的重复运行。按本次的设置(手写背景、含家庭流)再跑两次,才能知道母亲住处 24 还是 12、暂缓 800 还是 1100 是不是同一条件下也会出现;每次约 23 美元。
- 背景里哪一句起作用。 两份背景差了不止一句。只换“独居外地”、只加家人名字、只加“由作者编写”或“各流来自不同真实的人”,各跑一次,才能把这 6.4 份分到具体的说法上;在同条件方差测出来之前,这样的单句对照很可能落在随机范围里。
- 暂缓的口径。 采用与暂缓的边界随收纳事项的有无而变,单次运行之间差几百条。要比较运行,或改看“被事项引用的输入”,或在 SKILL.md 里写清合入留档、他人跟进这类收纳事项该不该有、该收什么。
- 份额的分配应当由谁决定。 换回手写背景后,家庭仍在 f18–f22 拿到 40–50 份、工作只剩 9–18 份。根层份额要不要按流设下限、或由宿主在业务用途里说明,仍是指引与契约的问题。
- 家庭流的标签与人工锚点。 作者档与节拍表在骑车的问题、Ture 发烧的档位上不一致;问题的登记与了结仍靠人工对照;人工锚点批次也还没写。
原始提示、响应、回执与逐帧状态保存在本机 .local/eval/free-20261015-201110/,日志 .local/free-composite-v3.log,不提交版本库。与本次等价的运行命令与重新计分(--persona-context 的内容即第一次的手写设定,本机存为 .local/composite-persona.txt,与 meta.json 里记录的逐字相同):
sh
.venv/bin/python scripts/eval_judgment.py --free-run --corpus corpus/composite/frames.json --persona-context "$(cat .local/composite-persona.txt)" --report
.venv/bin/python scripts/eval_judgment.py --free-run --corpus corpus/composite/frames.json --rescore .local/eval/free-20261015-201110 --report