Skip to content

判断评测:混合语料上的第三次自由运行,含家庭流、换回第一次的用户背景(2026-10-15) ​

状态:一次性评测记录。结论只覆盖本次设置——加入家庭流的混合语料、第一次运行的手写用户背景、一个模型、一次运行、自由运行;不是 Skill 的验收标准,也不改变信息契约。本次与第一次只差语料(加入家庭流),与第二次只差用户背景;三次放在一起,可以把份额的转移大致分到家庭流本身与背景两处。每个条件仍只跑一次,第二、第三次之间的差别同时含背景与随机性,分不开。家庭流的对照依据是作者写定的标注,检验一致,不检验真实。

第二次运行加入家庭流的同时换了用户背景:语料自带的背景列出家人名字,并注明家庭往来由作者编写。家庭流拿走近六成根层,这是输入带来的,还是背景带来的,那次分不开。本次用同一份语料、同一份 skill/SKILL.md、同一个模型,把用户背景换回第一次那段手写设定(逐字相同),再从空状态跑两周。

结论 ​

份额转移的八成多随家庭流本身出现,背景只解释剩下的一小部分;两次含家庭流的运行结构几乎相同,差在档位。

  • 操作同样稳定。 28 帧全部提交成功;3 帧首次被拒(摘要超过 60 字 2 次、标题超过 24 字 1 次),看到回执后都在下一次改对。31 次调用,22.87 美元。
  • 家庭流本身带走了大部分份额。 用同一份背景,从第一次到本次,根层 64 份里工作从 48.9 降到 25.0,生活从 13.1 降到 4.5,家庭拿到 31.3;工作在 28 帧里每一帧都比第一次少,少 11–39 份。再换上语料自带的背景(本次 → 第二次),工作再降 4.7、生活再降 1.9、家庭再升 6.4。照这样拆,工作减少的 28.6 份里 23.9 份(84%)随家庭流出现、4.7 份(16%)随背景变化;生活减少的 10.5 份是 8.6 份(82%)与 1.9 份(18%)。
  • 背景的影响集中在一件事的档位上。 第二次比本次多出的 6.4 份家庭份额里,6.2 份来自母亲住处:第二次有 12 帧给 24 份(critical),本次一直是 12 份(high,与作者一致),两次的结构、并入与了结帧完全相同。第二次的理由在 f01、f02 两次写到“独居母亲”,这个说法只在语料自带的背景里有。背景里“家庭往来由作者编写”那句,两次运行的输出都没有提到过。
  • 暂缓的起伏不是背景能解释的。 暂缓从 491(第一次)到 834(本次)再到 1117(第二次)。同一背景下家庭流让前四条流的暂缓从 491 增到 721;第二次又多 296 条,但逐帧差别有正有负(f24 本次 45 条工作输入暂缓,第二次 19 条),与逐帧家庭份额之差几乎不相关(相关系数 0.17)。同一条输入记“采用”还是“暂缓”,很大程度取决于这时有没有一件“合入留档”“他人跟进”之类的收纳事项可挂,这是随运行变化的记账习惯。
  • 生活流的变化是结构性的,不随背景。 第一次的生活提问大多各自成件,两周 30 件,每帧平均 7.8 件、13.1 份;两次含家庭流的运行都把问答回复收成一条 1–3 份的知会,与家里同一件事的提问并进家庭事项。本次 4.5 份与第二次 2.6 份的差别,来自这些合并事项按引用分摊给生活流的份额(2.9 对 1.7)与那条知会(1.6 对 0.9),不是注意力的差别。
  • 家里的判断:结构稳定,档位随运行变化。 六条线里 A、B、D、E、F 的建项、并入、升档帧与了结帧两次几乎逐帧相同;作者登记的 19 个问题,17 个两次处理路径相同。两次都错在同样的地方:Ture 发烧仍低于同帧的母亲、猫、派对与后刹,母亲住处了结后被过时的追问重开,rc1 的接缝,“hade fixat”读成已修好,噪音层多判暂缓而不是噪音。随运行变化的是档位与零碎:母亲 24 或 12、航班 6 或 12、派对截止前后 6 或 12、骑车建不建项、棚屋留不留到末帧。
  • 份额更接近作者,排序一致率相当。 作者档 high 的事项帧平均 13.5 份(第二次 17.7),normal 6.8 份(8.4);按作者档成对排序一致 0.703 / 0.823(第二次 0.743 / 0.827),排反的从 24 对降到 15 对,平局从 45 对增到 65 对。

方法 ​

项第一次第二次第三次(本次)
运行目录free-composite-2026-10-15free-20261015-161501free-20261015-201110
语料corpus/composite/frames.json v1,运行中途更新到 v1.1(见第一次报告);28 帧、2829 条,没有家庭流v2(sha256 41e1265c…):v1.1 加家庭流,28 帧、3217 条与第二次同一个文件,sha256 相同
用户背景 context手写设定:skarv 的工作与公司化名 Lindbo;住斯德哥尔摩,一个女儿、一个年幼的儿子、一只猫;房子在修,棚屋、车道和地暖都还在进行;骑车、自己修车;论坛名 Wildlog Forum;问答站、newsletter、航空与零售营销邮件、天气提醒。没有家人名字语料自带:伴侣 Kajsa、女儿 Signe(11 岁)、儿子 Ture(4 岁,上幼儿园)、母亲(通讯录里叫“Mamma”,独居外地)、妹妹 Ulrika、猫 Smilla 与各自的联系渠道;“家庭往来是瑞典语,由作者编写,不来自真实的人”;“各流来自不同真实的人的公开数据”。没有 Lindbo、棚屋车道地暖、论坛名与营销邮件与第一次逐字相同,用 --persona-context 传入
language 说明工作语言英文,整理用中文多一句“家人、朋友与邻居之间的往来是瑞典语,同样用中文整理,人名与原话保留原文”与第二次相同:语料含家庭流时脚本自动加上
streams 说明work、community、life、subscription加 family(家人、朋友、邻居与家务相关的通知)与第二次相同
自由运行第 n 帧的起始状态是 Agent 自己前 n−1 帧提交后的状态(内存内核);被拒时带回执重试,最多 3 次相同相同
模型claude-opus-5-5,claude -p(CLI 2.1.299,登录态,隔离设置与工具),结构化输出相同,CLI 2.1.300与第二次相同
系统提示一句角色说明 + SKILL.md(sha256 30b6a7ae10ff…)逐字相同逐字相同
输入可见字段id / channel / from / at / stream / subject / url / text 与 self;超过 60 条或 2 万字符的帧把单条正文截到 1500 字符,截断 238 条相同相同
规模33 次调用,24.5 美元;输入约 222 万 token(缓存 36 万),输出约 47 万31 次,23.23 美元;输入约 206 万(缓存 33 万),输出约 47 万31 次,22.87 美元;输入约 200 万(缓存 34 万),输出约 48 万(其中推理 19 万)

怎样归因 ​

  • 第一次 → 本次:家庭流本身。 两次的 context 逐字相同;差别是 388 条家庭输入,以及随家庭流一起出现的 language、streams 两句说明(本报告把这两句算进“家庭流本身”),另有 CLI 的小版本与第一次中途换语料版本。
  • 本次 → 第二次:用户背景。 两次只差 context 一段。这一段的差别不只是家人名字与“由作者编写”:语料自带的版本还少了 Lindbo、在修的棚屋车道地暖与论坛名,多了孩子的年龄、母亲独居外地与“各流来自不同真实的人”。所以本报告说的“背景”指整段 context,不能再细分到哪一句。
  • 随机性。 每个条件只跑一次,第二、第三次之间的差别就是“背景 + 随机性”,二者分不开。只有比这对差别大得多、而且逐帧同向的变化,才能比较放心地归到家庭流;背景的影响落在与随机性同一个量级里,见两次含家庭流的运行差多少。

计分 ​

三次运行都用当前的 scripts/eval_judgment.py --rescore 与 v2 语料复算:第二、第三次的 summary.json 与本机原文件逐字相同;第一次原来的 summary.json 没有逐帧的分流份额,复算后补上,家庭流在第一次记为“未判”,其余指标不变。文中的结构判断(事项何时建、并入、撤下,问题的去向)另用脚本逐帧读 state_after 与回执核对,不只依据 report.md。问题(asks)仍不由脚本计分,按引用该事项输入的根层条目人工对照,口径与第二次相同。

归因:家庭流与背景各占多少 ​

量第一次本次第二次家庭流本身(第一次 → 本次)背景(本次 → 第二次)
根层平均份额:工作48.925.020.3−23.9(84%)−4.7(16%)
根层平均份额:生活13.14.52.6−8.6(82%)−1.9(18%)
根层平均份额:家庭—31.337.7+31.3+6.4
工作里本人后来有行动的事项帧(200 个):纳入1108579−25−6
其中根层份额 ≥6493629−13−7
前四条流的暂缓(含本人发言)4917211017+230+296
  • 工作份额:方向与幅度都清楚。 第一次与本次逐帧比,工作 28 帧全都更少,差 11–39 份;本次与第二次逐帧比,工作差 −13 到 +9 份,两个方向都有,平均绝对差 5.6 份。家庭流带来的变化远大于两次含家庭流的运行之间的起伏。按大份额看(≥6 份),背景那一列占了三分之一以上(7/20),比平均份额的 16% 高,但 7 个事项帧的差别本身也在随机性能解释的范围里。
  • 家庭份额:差别来自一件事的一个档位。 第二次的家庭份额在 25 帧里高于本次(平均绝对差 7.4 份),但按事项拆开,两次两周平均的家庭份额差 6.4 份,其中母亲住处一件差 6.2 份(第二次 15.3、本次 9.1);猫、车道、派对、航班、开学文件几件此消彼长,加起来接近 0。自由运行把状态逐帧带下去,f03 的一次定档(24 还是 12)一直延续到 f09,f18 再升一次又延续到 f22,所以“25 帧更高”不是 25 次独立的判断。两次在 f03 写的理由几乎相同(8/14 截止、BankID 要补办、上次答应回电没打),只有档位不同;第二次在 f01、f02 的理由里写了“独居母亲需要帮助”“独居的母亲需要帮忙看协会文件”,这是背景影响最可能的落点,但一次运行不足以证明。
  • “由作者编写”那句说明没有可见的影响。 在两次运行的全部声明与处置说明里搜“编写”“合成”“虚构”“真实的人”,没有一处指向这句话(出现的“作者”都指 PR 作者);家庭流的忽略、分组与问题的了结两次几乎相同。不能排除它的影响,只是看不到。
  • 暂缓:主要不是背景。 家庭流本身让前四条流的暂缓多了 230 条,第二次又多 296 条,看上去背景的影响更大。但逐帧看,第二次多出的暂缓集中在 f06、f07、f17、f20、f22、f23 几帧(f20 工作输入暂缓 68 条对本次 18 条),f24 反过来本次多(45 对 19);逐帧家庭份额之差与工作暂缓率之差的相关系数只有 0.17。差别多出在记账上:本次两周一直留着一条“合入留档”(skarv-done-…),f18 起又有一条“他人跟进”(others-prs-waiting),合并、评审回复与别人 PR 的进展大多挂在上面记“采用”;第二次没有“他人跟进”,合并留档在 f22 为猫与母亲让出份额后撤下,同类输入就记成“暂缓”。以 f20 为例,第二次判暂缓、本次判采用的工作输入有 50 条,其中 19 条挂在“他人跟进”、17 条挂在“合入留档”、11 条挂在“评审待办”。按 SKILL.md 的定义,这两种记法都说得通。所以暂缓条数不适合当作单次运行之间的比较指标,见还没有回答的问题。
  • 生活份额:结构变了,背景只动了分摊。 第一次的生活提问大多各成一件(两周 30 件,每帧平均 7.8 件,拿到 6 份以上的事项帧 14 个);第二次与本次的生活事项只剩 1–2 件(问答回复收成的一条知会,本次开头另有一条宠物提问),生活份额大多来自并进家庭事项的提问(猫的药量、航班、后刹、漫画、铜水管,本次另有退票款)。生活 4.5 份里,只引用生活输入的事项占 1.6,并进家庭事项后按引用分摊来的占 2.9;第二次是 0.9 与 1.7。两次之差取决于合并事项里引用了几条生活输入,不代表对生活流的关注不同:生活流里本人后来有行动的事项帧拿到 6 份以上的,三次都是 2 个。

各流 ​

流采用重复暂缓噪音本人发言的暂缓根层平均份额
work811 / 525 / 6667 / 15 / 11388 / 671 / 48960 / 58 / 10459 / 155 / 11048.9 / 20.3 / 25.0
community26 / 0 / 00 / 0 / 012 / 32 / 26680 / 685 / 69310 / 19 / 170.4 / 0 / 0
life227 / 130 / 1680 / 3 / 318 / 98 / 590 / 13 / 154 / 40 / 1813.1 / 2.6 / 4.5
family— / 174 / 163— / 11 / 5— / 86 / 93— / 39 / 49— / 14 / 20— / 37.7 / 31.3
subscription0 / 0 / 00 / 0 / 00 / 2 / 289 / 87 / 87—0 / 0 / 0

每格依次是第一次 / 第二次 / 本次。前四列只算他人发来的输入,本人发言另列它被判为暂缓的条数;根层平均份额按事项引用的输入所在的流分摊,逐帧平均。全部处置(含本人发言):第一次采用 1486、噪音 836、暂缓 491、重复 12;第二次 1177、885、1117、33;本次 1398、962、834、22。

本次判为噪音的工作输入 104 条,前两次都在 60 条上下;多出来的主要是 Mastodon 上的闲聊与泛泛讨论(87 条,第二次 51 条),另有机器人评审与触发机器人的指令。

与弱标注对照(前四条流) ​

指标第一次第二次本次
忽略:强依据召回98/354(0.277)92/354(0.26)105/354(0.297)
忽略:精确率(只算强依据 / 强弱都算)0.117 / 0.126(Agent 忽略 836 条)0.107 / 0.125(861 条)0.115 / 0.12(913 条)
忽略:弱依据召回(单列)7/147(0.048)16/147(0.109)5/147(0.034)
忽略:与行为不矛盾744/836(0.89)759/861(0.882)783/913(0.858)
同组输入进同一条目 / 同一根层事项0.983 / 0.983(726 对)1.0 / 1.0(293 对)0.981 / 0.981(375 对)
跨线程组进同一根层事项0.973(186 对)1.0(96 对)0.961(180 对)
成对排序一致(平局记半)0.46(平 3895,逆 1337)/ 0.6610.313(平 5614,逆 1047)/ 0.6030.394(平 4812,逆 1065)/ 0.642
  • 本次多数指标落在前两次之间。 排序一致回升,主要因为两件都是 0 份的平局少了(工作事项拿到份额的多了);真正排反的对数与第二次相当。
  • 同组一致回到 0.98,可比的对也回升。 被引用的输入比第二次多;拆开的 7 对都在工作侧,是同一个 PR 的输入一部分挂在 master CI 上、一部分挂在评审待办上(f15、f23、f24)。这项指标仍不惩罚把不相干的输入并成一件。
  • 忽略三次相近:订阅与社区照旧压下;漏掉的强依据仍以 CI 失败、评审与关闭通知为主。
流 · 弱档位事项帧数纳入根层份额 ≥6
work · acted200110 / 79 / 8549 / 29 / 36
work · delegated10349 / 29 / 4619 / 5 / 8
work · untouched5916 / 7 / 85 / 2 / 2
work · noise3824 / 24 / 2820 / 16 / 16
community · acted111 / 0 / 00 / 0 / 0
community · untouched3113 / 0 / 00 / 0 / 0
life · acted6145 / 32 / 372 / 2 / 2
life · untouched6336 / 22 / 233 / 4 / 4
family · acted75— / 56 / 49— / 33 / 35
family · untouched12— / 10 / 10— / 4 / 3
family · noise57— / 10 / 10— / 2 / 1
subscription · noise880 / 0 / 00 / 0 / 0

依次是第一次 / 第二次 / 本次。acted 是本人后来有行动的事项(high、engaged、later);家庭流的行为档来自合成的 Jonas 回复。按全部前四条流的弱档位看,拿到 12 份以上的事项帧:high 9 / 3 / 3、engaged 14 / 1 / 5、delegated 17 / 0 / 2、noise 19 / 1 / 3。本次 noise 档的 3 个是 master CI 在 f05–f07 的 12 份;第一次这条线 27 帧都是 12 份,第二次只有 f02 一帧。

家庭流 ​

与作者标注对照 ​

指标第二次本次
忽略:authored 召回50/185(0.27)54/185(0.292)
忽略:authored 精确率1.0(Agent 忽略 50 条)1.0(54 条)
忽略:与作者档不矛盾50/50(1.0)54/54(1.0)
同一事项的输入进同一条目 / 同一根层事项0.964 / 0.964(55 对)1.0 / 1.0(58 对)
并入关系(authored_merge)进同一根层事项1.0(3 对)1.0(3 对)
按作者档成对排序一致(平局记半)0.743(平 45,逆 24)/ 0.8270.703(平 65,逆 15)/ 0.823
作者档事项帧数纳入根层份额 ≥12≥6平均份额
high2018 / 1917 / 1818 / 1917.7 / 13.5
normal1817 / 167 / 612 / 138.4 / 6.8
low3121 / 161 / 04 / 32.2 / 1.7
trace66 / 50 / 00 / 02.3 / 1.5
none6914 / 132 / 25 / 41.0 / 0.8

依次是第二次 / 本次;份额口径与第二次报告相同(这一帧的家庭输入被哪件事项引用、那件事项的根层份额)。high 一档本次平均 13.5 份,接近作者的 12 份;仍高的几帧是猫在 f22、车道在 f26–f28 的 24 份,两次都一样。none 档拿到 12 份以上的 2 个,是派对着装要求并进了 12 份的派对、母亲那边的高温问候并进了 12 份的母亲住处,份额是继承来的。

作者应忽略的 185 条,两次的处置几乎一样:第二次采用 59、暂缓 76、噪音 39、重复 11,两周里被事项引用过 27 条;本次采用 59、暂缓 72、噪音 49、重复 5,被引用过 30 条。忽略只有作者的三成,差别仍在处置的标签而不在呈现,这一点两次稳定。

六条线 ​

对照大纲的“Fold 应当怎么判”。

线作者写定第二次本次两次比较
A 猫看病8/3 一件 normal;8/11 下午升 high,登记“打给诊所还是先观察”;8/14 答上,只留复诊日期;Kajsa 的催促都并进这一件f01 12 份等你,浇番茄并进标题;f05 已完成 3 份;f09 托 Gunnel 喂猫并进来;f18 12 份,并进生活流的药量提问;f22 24 份;f23 进行中,此后三帧仍 12 份f01 12 份等你,浇番茄单列 6 份;f05 已完成 6 份;f08 撤下,托邻居喂猫的消息判暂缓、没有并入;f15 看完兽医恢复 6 份;f18 12 份,并进药量提问;f22 24 份;f23 进行中 6 份“减至 1/4 片,24/8 复诊”,之后 6 → 3升档帧、了结帧、跨流并入两次相同,稳定地对;开头 12 份(作者 normal)与 f22 的 24 份两次相同,稳定地高一档。番茄并不并、喂猫并不并、了结后降得快慢随运行变化,本次了结后的 6 份与作者一致
B 母亲九月住哪8/4 一件“母亲九月住哪,周五截止”,登记二选一,BankID 与 Ulrika 的催促并入;8/14 母亲自己交了回执,问题失效,报一句结果f01 12 份;f03 读到通告后 24 份,BankID 当帧并入;f10 他说交纸质回执后降到 12;f18–f22 回到 24;f23 已完成“已交回执,选疏散公寓”6 份;f26 Ulrika 过时的追问让它回到等你 3 份;f28 吃饭、生日并入f01 12 份;f03 12 份,BankID 当帧并入;f10–f14 6 份;f15–f22 12 份;f23 已完成“妈妈自选疏散公寓,回执已交”6 份;f26 同样被 Ulrika 的追问重开,等你 3 份;f28 吃饭、生日同样并入结构、并入、失效帧与两处错误(f26 重开、f28 新事并进旧事)两次相同;档位不同:第二次 12 帧 critical,本次一直 high,与作者一致。这一档是两次家庭份额之差的主要来源
C 和 Joakim 骑车最多一条 trace,8/15 撤下,不登记问题f13 记 1 份知会,日期写成 16 日;f19 撤下;f24 Joakim 发错群的“明早九点?”恢复成 12 份等你;f25 撤下始终没有建项:f13 的改约判暂缓(“你已婉拒”),f24 发错群的那句也判暂缓,理由是“随即说发错群,未知何事”随运行变化。本次合乎大纲,但 f24 的理由说明它没有把这句与“下周六”连起来:是没看懂,不是判对
D 车道下漏水8/10 邻居那句值一条低档痕迹(对照天气才看得出不对);8/15 升 high,登记“整根换还是免挖”,窗口结束时仍开着f16 建 3 份知会,理由“如果没浇过水,可能是水管漏水”;f18 起 1 份;f24 升到 6 份;f25 12 份进行中;f26–f28 24 份等你,并进生活流的铜管提问f16 建 3 份知会,理由“如果没浇过水,可能是漏水;车道还在施工,值得看一眼”;f19 以“邻居没有再来消息”撤下;f24 恢复成 6 份等你;f25 12 份进行中;f26–f28 24 份等你,并进铜管提问,末帧写明“明早 10 点前回 Ronny”几乎逐帧相同,稳定地对;末帧 24 份比作者高一档,两次相同。本次痕迹的理由用到了手写背景里的“车道还在施工”;中间撤下又恢复是唯一差别
E 9 月 14 日的航班不另立,并进生活流的航班:Kajsa 的追问让它从知会变成家里在等你f08 建 6 份等你“需告诉 Mamma”,家里的追问与改经停提问在同一件里;f16 他决定不改签、Kajsa 说由她告诉母亲,降到 3 份进行中;f22 撤下f08 建 12 份等你“需告诉妈妈”,同样并成一件;f16 降为 6 份进行中,f17 3 份,f18 起 1 份,一直开到末帧并入与 f16 的降档两次相同,稳定地对;f08 本次 12 份与作者的 high 一致,第二次低一档;本次多了 12 帧 1 份的尾巴
F 小龙虾派对一件 low,8/12 前登记“回几个人”,8/13 Kajsa 代答后失效f01 6 份等你;f02–f13 3 份;f14–f20 6 份;f21 3 份;f22 Kajsa 报了 4 人后撤下;f28 收款请求恢复成 3 份f01 6 份等你;f02–f14 3 份;f15–f17 6 份;f18–f21 12 份(截止当天与过期后);f22 撤下;f28 恢复成 3 份“周五前 Swish 500kr”建项、失效帧与收款恢复完全相同,稳定地对;截止前后本次高一档(作者在 f20 为 normal)

一次性的事与噪音 ​

事作者写定第二次本次两次比较
Ture 发烧当帧最高(已接回,记结果)f19 记下“今天接 Ture”3 份;f20 降成 1 份知会“已接回家”,同帧母亲 24、猫 12;f21 起“记得报 vab”,开到末帧f19 记下“今天你接 Ture”6 份;f20 改为已完成 3 份“发烧 38.4,已接回家”,同帧母亲、猫、派对各 12,后刹 6;f21 起“记得报 vab”3 → 1 份,开到末帧稳定地偏离:两次都低于同帧的母亲、猫、派对与后刹;护理假两次都一直开着,与作者一致
开学文件low,截止 8/18f16 6 份等你,之后 3 → 1;f22 并进班级群的头虱提醒;f28 学校再提醒,升回 6 份f02 起已有一条班级群“开学日”知会,f09 并进头虱提醒;f16 学校通知后升为 6 份等你,之后 3 → 1;f28 升回 3 份方向一致,两次都并进了作者判为噪音的群消息
假快递短信丢弃f21 认出是钓鱼,建 1 份知会;f22 撤下相同稳定地偏离:识别正确,没有丢弃
BankID 钓鱼短信丢弃认出是钓鱼,留了 3 份知会,f18 才撤判噪音随运行变化
噪音层与闲聊约六成丢弃(185/310)判噪音或重复 50 条,暂缓 76 条;做成事项的有头虱提醒、垃圾改期、Signe 问午饭与两条钓鱼短信判噪音或重复 54 条,暂缓 72 条;做成事项的有浇番茄(f01 6 份)、班级群开学日、Signe 问午饭(3 份)、牙医预约(1 份)、假关税短信;派对着装要求并进派对标签偏离大、呈现偏离小,两次稳定;具体哪几条零碎成件随运行变化

问题的登记与了结(人工对照) ​

逐帧找引用该事项输入的根层条目,看它的 kind 是否为 needs-you、何时撤下或改判,口径与第二次报告相同。19 个问题里 17 个两次的处理路径相同(登记帧有没有等你事项、了结帧怎样处理、窗口结束时在不在状态里),份额可以差一档;不同的 2 个:

问题作者:登记 → 去向第二次本次
下周六和 Joakim 骑车f13 → 失效 f25f13–f18 知会 1 份,f19 撤下,f24 恢复成等你 12 份,f25 撤下没有建事项
Göran 九月来帮忙抬棚屋f06 → 窗口末仍开着f06–f21 等你 1–3 份;f22 为腾份额撤下f06–f28 等你 1 份,一直留到末帧
  • **跨帧了结的 8 个:**第二次 7 个在了结帧当帧撤下、改判或降为知会,本次 6 个;差的都是骑车线,本次两个骑车问题都没有建事项,与大纲“不登记问题”一致。
  • **当帧回答的 4 个:**两次都记了结果;航班那一个两次都转成新的待办“需告诉妈妈”。
  • **窗口结束仍开着的 7 个:**第二次 6 个仍在状态里,本次 7 个都在。
  • 两次的份额差别集中在三处:母亲九月能不能来住(24 对 12)、派对回几个人(截止前后 6 对 12)、打给诊所还是先观察(f23 改为进行中后 12 对 6)。

两次含家庭流的运行差多少 ​

第二次与本次用同一份语料、同一份指引、同一个模型,只差用户背景。下表把它们放在一起:

量第二次本次差
根层平均份额:家庭 / 工作 / 生活37.7 / 20.3 / 2.631.3 / 25.0 / 4.56.4 / 4.7 / 1.9
逐帧份额之差(平均绝对差)——家庭 7.4,工作 5.6
暂缓(含本人发言)1117834283(约四分之一)
前四条流成对排序一致(平局记半)0.6030.6420.039
前四条流强依据忽略召回0.260.2970.037
家庭流按作者档成对排序一致(平局记半)0.8270.8230.004
作者档 high 的平均份额17.713.54.2
根层同一时刻最多 / 两周出现过26 / 60 件21 / 53 件—
作者登记的问题,处理路径相同——17 / 19
首次被拒3 帧3 帧类型相同(字段长度)
  • 稳定的是结构。 什么是一件事、什么时候了结、跨流的同一件事并不并,两次几乎一样;家庭流的排序一致率、作者应忽略输入的处置分布也几乎一样。错误也是同样的错误(Ture、母亲住处重开、rc1、后刹)。
  • 起伏的是档位与记账。 同一件事差一档(12 与 24、6 与 12);同一条输入记采用还是暂缓;零碎的事成不成件。自由运行把状态带到下一帧,一次定档会延续好几帧,所以一档之差会放大成好几份的平均份额之差。
  • 怎样当作方差的参考。 把“方差”理解为同一模型、同一指引、同一语料、用户背景按合理写法变动时,单次自由运行的结果会落在多宽的范围里:这两次是其中的两个样本,它们的差别是这个范围的一个下界——再多跑几次,范围只会更宽,不会更窄。它不是同条件方差的估计:背景可能触及的量(家庭份额、母亲住处的档位)里混着背景的影响;背景很难直接触及的量(哪几帧的工作输入多判暂缓、提交被拒的字段),差别更可能来自随机性,但根层是一个总预算,家庭多拿几份工作就少几份,工作侧的差别也不能完全排除背景的间接作用。在做同条件重复运行之前,单次运行之间根层流份额差 5 份上下、暂缓条数差四分之一、一件事差一档,都不足以说明条件不同;家庭流本身对工作份额的影响(约 24 份、28 帧同向)远在这个范围之外,背景的影响(约 5 份)落在范围之内。

逐帧 ​

帧家庭(二 · 本次)工作(一 · 二 · 本次)生活(一 · 二 · 本次)本次根层件数 / 已用本次家庭流份额最大的一件本次费用(美元)
f0130 · 3642 · 24 · 249 · 3 · 310 / 63Smilla打喷嚏只吃湿粮,需约兽医(12)0.50
f0227 · 3355 · 34 · 259 · 3 · 613 / 64妈妈换管表格:你说回电未打(12)0.75
f0339 · 3353 · 23 · 2710 · 1 · 415 / 64Smilla约兽医:Kajsa催问,你说马上约(12)0.76
f0439 · 3156 · 24 · 306 · 1 · 315 / 64妈妈换管8/14前回复,Kajsa想当面谈(12)0.74
f0530 · 2554 · 27 · 367 · 1 · 315 / 64妈妈换管8/14前回复,Kajsa想当面谈(12)0.54
f0634 · 2455 · 29 · 378 · 1 · 318 / 64妈妈换管8/14前回复,Kajsa想当面谈(12)0.96
f0732 · 2259 · 31 · 414 · 1 · 119 / 64妈妈换管8/14前回复,Kajsa想当面谈(12)0.67
f0835 · 2855 · 25 · 299 · 4 · 516 / 629/14回程改经停,需告诉妈妈(12)1.23
f0938 · 2855 · 22 · 299 · 4 · 516 / 62妈妈换管8/14截止,缺BankID求助(12)0.54
f1027.7 · 2056 · 17 · 308 · 5.3 · 717 / 579/14回程疑技术经停,需告诉妈妈(12)0.75
f1127.7 · 2056 · 18 · 308 · 5.3 · 717 / 579/14回程疑技术经停,需告诉妈妈(12)0.37
f1230.7 · 2055 · 27 · 378 · 5.3 · 719 / 649/14回程疑技术经停,需告诉妈妈(12)0.55
f1332.7 · 24.558 · 26 · 32.56 · 5.3 · 719 / 649/14回程疑技术经停,需告诉妈妈(12)0.48
f1435.7 · 24.551 · 21 · 25.57 · 5.3 · 720 / 579/14回程疑技术经停,需告诉妈妈(12)0.62
f1533.7 · 35.555 · 23 · 21.57 · 5.3 · 721 / 64妈妈问换管住处,等你和Kajsa答复(12)1.22
f1640 · 35.550 · 20 · 25.510 · 1 · 320 / 64换管:Kajsa同意妈妈住两周,你去说(12)0.96
f1741 · 32.552 · 22 · 28.510 · 1 · 221 / 63换管:Kajsa同意妈妈住两周,你去说(12)1.17
f1851.6 · 42.450 · 8.7 · 17.514 · 3.8 · 4.117 / 64Smilla或双倍吃药,等诊所回电(12)1.38
f1956.6 · 49.751 · 5.7 · 1213 · 1.8 · 2.315 / 64诊所来电未接,16点前回电问Smilla(12)0.79
f2054.1 · 46.246 · 5.7 · 916 · 3.2 · 6.816 / 62今天8–16点回电诊所问Smilla剂量(12)1.37
f2150.8 · 43.748 · 10.7 · 1715 · 0.5 · 3.316 / 64今天8–16点回电诊所问Smilla剂量(12)0.72
f2251.1 · 39.743 · 8.7 · 1721 · 4.2 · 7.315 / 648点致电诊所:Smilla剂量或超标(24)1.04
f2325.1 · 19.736 · 13.7 · 1623 · 0.2 · 3.315 / 39Smilla减至1/4片,24/8复诊(6)0.78
f2440.1 · 24.240 · 19.7 · 2122 · 0.2 · 2.818 / 48邻居称14号车道口整周潮湿疑漏水(6)0.94
f2534.1 · 30.237 · 17.7 · 1825 · 0.2 · 2.817 / 51家中漏水:水表空转,水管工11–13点到(12)0.43
f2636.1 · 34.235 · 22.7 · 2127 · 4.2 · 5.817 / 61车道下铜管裂,周一前定换管方案(24)0.93
f2740.1 · 35.235 · 22.7 · 2127 · 0.2 · 4.817 / 61车道下铜管裂,周一前定换管方案(24)0.50
f2844.1 · 40.232 · 19.7 · 2130 · 0.2 · 1.818 / 63车道铜管:明早10点前回Ronny定方案(24)1.18

份额按事项引用的输入所在的流分摊;同为最大份额时按 rank 取前者。第一次的生活份额逐帧上升(9 → 30),是生活事项各自成件、越积越多的结果;两次含家庭流的运行没有这条曲线。8 月 11 日下午到 13 日(f18–f22),家庭在第二次占 51–57 份,本次 40–50 份;工作在第二次只剩 6–11 份,本次 9–18 份。

错误类型 ​

  • 家里的事仍偏高,但幅度小了。 猫开头 12 份(作者 normal),f22 猫与 f26–f28 车道 24 份(作者 high),派对截止前后 12 份(作者 low 到 normal),浇番茄 6 份(作者判为琐事)。母亲住处不再到 24 份。
  • 噪音成了事项。 班级群里“开学是哪天”的问答在 f02 成了一条知会,后来成了开学文件那一件的底;头虱提醒并进它;派对着装要求并进 12 份的派对;Signe 问午饭 3 份、牙医预约 1 份、假关税短信 1 份。都在几帧后撤下或缩到 1 份。
  • 当帧急事给得低。 Ture 发烧那一帧只有 3 份,同帧母亲、猫、派对各 12 份。两次都是这样。
  • 已了结的事被重新打开。 与第二次相同:f26 Ulrika 过时的追问让母亲住处回到等你;f28 吃饭与生日并进这件已了结的事。
  • 把接缝当成事实。 f13 读到他对 Joakim 说“今晚回家发 rc1”,把“8.22.0-rc1 已发布”改成“功能冻结”,理由写“此前写成已发布有误,改正”,f14 又写“截至午夜未见发布记录”,f19 撤下。与第二次同一处接缝、同一个方向,挂了 6 帧(第二次 15 帧)。
  • 细节读错。 “Fast jag hade fixat den”再次读成“你说本来已修好”(f21),这次没有注明未核实;f26 Kajsa 提醒修旧车刹车时也没有指出前后说法不一。
  • 工作侧的长期事项。 master CI 两周都是等你:f05–f07 12 份,其余多为 6 份,没有像第二次那样在 f11 改为进行中(第一次是 27 帧 12 份)。f08 降档时理由写明“让位给家庭航班与 NDEBUG 决定”。
  • 提交被拒的类型与前两次相同。 摘要超过 60 字 2 次,标题超过 24 字 1 次(“8/15–16合入13591/13601/13594等”)。

还没有回答的问题 ​

  • 同条件的方差。 第二次与本次只差背景,差别给出了自由运行结果范围的一个下界,但还没有同条件的重复运行。按本次的设置(手写背景、含家庭流)再跑两次,才能知道母亲住处 24 还是 12、暂缓 800 还是 1100 是不是同一条件下也会出现;每次约 23 美元。
  • 背景里哪一句起作用。 两份背景差了不止一句。只换“独居外地”、只加家人名字、只加“由作者编写”或“各流来自不同真实的人”,各跑一次,才能把这 6.4 份分到具体的说法上;在同条件方差测出来之前,这样的单句对照很可能落在随机范围里。
  • 暂缓的口径。 采用与暂缓的边界随收纳事项的有无而变,单次运行之间差几百条。要比较运行,或改看“被事项引用的输入”,或在 SKILL.md 里写清合入留档、他人跟进这类收纳事项该不该有、该收什么。
  • 份额的分配应当由谁决定。 换回手写背景后,家庭仍在 f18–f22 拿到 40–50 份、工作只剩 9–18 份。根层份额要不要按流设下限、或由宿主在业务用途里说明,仍是指引与契约的问题。
  • 家庭流的标签与人工锚点。 作者档与节拍表在骑车的问题、Ture 发烧的档位上不一致;问题的登记与了结仍靠人工对照;人工锚点批次也还没写。

原始提示、响应、回执与逐帧状态保存在本机 .local/eval/free-20261015-201110/,日志 .local/free-composite-v3.log,不提交版本库。与本次等价的运行命令与重新计分(--persona-context 的内容即第一次的手写设定,本机存为 .local/composite-persona.txt,与 meta.json 里记录的逐字相同):

sh
.venv/bin/python scripts/eval_judgment.py --free-run --corpus corpus/composite/frames.json --persona-context "$(cat .local/composite-persona.txt)" --report
.venv/bin/python scripts/eval_judgment.py --free-run --corpus corpus/composite/frames.json --rescore .local/eval/free-20261015-201110 --report