切换外观
判断评测:混合语料上的第二次自由运行,含家庭流(2026-10-15)
状态:一次性评测记录。结论只覆盖本次设置——加入家庭流的混合语料、一个模型、一次运行、自由运行;不是 Skill 的验收标准,也不改变信息契约。与第一次自由运行的差别同时来自语料、用户背景与模型的随机性,不能归到其中某一项。家庭流的对照依据是作者写定的标注,检验一致,不检验真实。
第一次自由运行之后,混合语料追加了作者编写的家庭流:Jonas 的伴侣、孩子、母亲、妹妹、朋友、邻居与家务通知,388 条瑞典语消息。同一份 skill/SKILL.md、同一个模型从空状态再跑两周,看家里的事进来以后注意力怎样重新分配,以及 Agent 对家里六条线的判断与作者写定的判断差多少。
结论
家里的事被看懂了,问题也跟得准;代价是工作与生活问答被挤到根层边上。
- 操作层面同样稳定。 28 帧全部提交成功;3 帧首次被拒(标题超过 24 字 2 次、摘要超过 60 字 1 次),看到回执后都在下一次改对。31 次调用,23.23 美元。
- 家里六条线的结构几乎都对。 猫、母亲住处、派对、车道漏水各成一件;母亲的 BankID 并入住处,托邻居喂猫并入猫,家里对航班的追问并进生活流里改经停的提问。派对在伴侣代答的那一帧撤下,母亲自己交回执的那一帧改成“已交回执,选疏散公寓”。作者登记的 19 个问题,跨帧了结的 8 个里 7 个在了结帧当帧撤下或改判;窗口结束时仍开着的 7 个里 6 个仍在状态里。
- 份额普遍高一档,丢弃偏少。 方向与作者一致:按作者档成对排序一致 0.743(平局记半 0.827),作者档 high 的事项帧平均 17.7 份、normal 8.4、low 2.2。但母亲住处有 12 帧占 24 份(作者是 high,不是最高档),骑车在最后一天被抬到 12 份,Ture 发烧那一帧反而只给 1 份。作者判为应忽略的 185 条家庭输入只有 50 条判为噪音或重复;两条诈骗短信都认出是钓鱼,却各留了一条提醒,班级群的头虱提醒与垃圾改期也成了事项。
- 工作与生活被挤压。 根层 64 份平均 37.7 份来自家庭流;工作从 48.9 降到 20.3,生活从 13.1 降到 2.6。8 月 11 日下午到 13 日(f18–f22)家庭占 51–57 份,工作只剩 6–11 份。前四条流里本人后来有行动的工作事项帧,纳入从 110 降到 79,拿到 6 份以上的从 49 降到 29。
- 也有改进。 master CI 不再整段占 12 份(弱标注为 noise 的事项帧里拿到 12 份以上的从 19 个降到 1 个);根层同一时刻最多 26 件、两周出现过 60 件(第一次 33 件、88 件);生活问答里与家里同一件事的提问并进了家里的事项(猫的药量、铜水管、航班、刹车、漫画),其余问答收成一条 1–3 份的知会。
方法
| 项 | 本次 | 与第一次的差别 |
|---|---|---|
| 语料 | corpus/composite/frames.json v2(sha256 41e1265c…):v1.1 加家庭流,28 帧、3217 条 | 多 388 条(第一次 2829 条,多 14%;占新语料 12%)。前四条流逐条不变 |
| 自由运行 | 第 n 帧的起始状态是 Agent 自己前 n−1 帧提交后的状态(内存内核);被拒时带回执重试,最多 3 次 | 相同 |
| 模型 | claude-opus-5-5,claude -p(CLI 2.1.300,登录态,隔离设置与工具),结构化输出 | CLI 2.1.299 → 2.1.300 |
| 系统提示 | 一句角色说明 + SKILL.md(sha256 30b6a7ae10ff…) | 逐字相同 |
| 用户背景 | 语料自带的 persona.context:列出伴侣 Kajsa、女儿 Signe、儿子 Ture、母亲、妹妹与猫 Smilla,说明家庭往来是瑞典语、由作者编写,各流来自不同真实的人的公开数据;language 加一句瑞典语也用中文整理,streams 加 family | 第一次用 --persona-context 换成手写的人物设定(公司化名、在修的棚屋与车道、论坛名),没有家人名字,也没有“由作者编写”的说明 |
| 输入可见字段 | id / channel / from / at / stream / subject / url / text 与 self;超过 60 条或 2 万字符的帧把单条正文截到 1500 字符,共截断 238 条 | 相同;家庭消息都短,没有新增截断 |
| 规模 | 31 次调用,23.23 美元;dry-run 估算 18.76 美元(含重试 23.45)。输入约 206 万 token(缓存 33 万),输出约 47 万(其中推理 18 万) | 33 次,24.5 美元;输入约 222 万、输出约 47 万 |
用户背景是本次最大的混杂因素:家人的名字与渠道写进了背景,模型更容易把家庭消息认作“他的事”;背景里又说家庭流由作者编写,这句话会不会让模型对它另眼相看,没有检验。要把份额的变化归到家庭流本身,需要用同一份背景重跑,或换掉这句说明。已用第一次的手写背景重跑,见第三次自由运行:工作与生活份额的减少八成多随家庭流本身出现,本次与那次的差别主要是母亲住处的档位。
计分口径
本次改了 scripts/eval_judgment.py 的自由运行计分,第一次运行用 v1.1 语料复算,report.md 逐字不变,summary.json 的旧指标逐项不变,只多了逐帧的分流份额:
- 各流表按 summary 里实际出现的流输出(之前写死四条流,漏掉 family)。
- 前四条流的弱标注指标只看前四条流的输入。 忽略精确率的分母不再含家庭流的忽略。本次运行最初生成的
report.md把 50 条家庭流忽略算进了分母(911 条,精确率 0.101 / 0.119,与行为不矛盾 0.833),修正后是下文的 861 条、0.107 / 0.125、0.882;其余旧指标不受影响。 - 家庭流单独计分,依据 authored: 忽略的召回、精确率与“与作者档不矛盾”;作者事项(除去“琐事”“噪音”两类收纳项)同帧输入是否进同一条目、
authored_merge的两件是否进同一根层事项;按作者档(critical > high > normal > low > trace > none)的同帧成对排序;作者档 × 根层份额表;分流召回表加 family 几行(按与其他流同一口径的行为档)。家庭流只在这一帧确实交给了模型时计分,旧运行不受影响。 - 问题(asks)不由脚本计分。 契约的状态里没有“问题”字段,下文按引用该事项输入的
needs-you条目人工对照。
各流
| 流 | 采用 | 重复 | 暂缓 | 噪音 | 未判 | 本人发言 | 根层平均份额 |
|---|---|---|---|---|---|---|---|
| work | 525(811) | 15(7) | 671(388) | 58(60) | 2(5) | 405 | 20.3(48.9) |
| community | 0(26) | 0(0) | 32(12) | 685(680) | 2(1) | 19 | 0(0.4) |
| life | 130(227) | 3(0) | 98(18) | 13(0) | 1(0) | 81 | 2.6(13.1) |
| family | 174 | 11 | 86 | 39 | 0 | 78 | 37.7 |
| subscription | 0(0) | 0(0) | 2(0) | 87(89) | 0(0) | 0 | 0(0) |
括号里是第一次运行。前五列只算他人发来的输入;根层平均份额按事项引用的输入所在的流分摊,逐帧平均。
暂缓从 491 条(他人 418、本人 73)增加到 1117 条(他人 889、本人 228),主要在工作流:评审、CI 与本人的合并动作大量从“采用”改判“暂缓”,被事项引用的工作输入随之变少。生活流的变化是结构性的:第一次有 30 个各自 1–12 份的生活事项;这次与家里同一件事的 5 个提问并进家庭事项(份额按引用分摊,只有一小部分记到生活流),其余问答收成一条“问答新评论”知会,f21 以“刹车问题已因换车失去意义”为由撤下。
与弱标注对照(前四条流)
| 指标 | 本次 | 第一次 |
|---|---|---|
| 忽略:强依据召回 | 92/354(0.26) | 98/354(0.277) |
| 忽略:精确率(只算强依据 / 强弱都算) | 0.107 / 0.125(Agent 忽略 861 条) | 0.117 / 0.126(836 条) |
| 忽略:弱依据召回(单列) | 16/147(0.109) | 7/147(0.048) |
| 忽略:与行为不矛盾 | 759/861(0.882) | 744/836(0.89) |
| 同组输入进同一条目 / 同一根层事项 | 1.0 / 1.0(293 对) | 0.983 / 0.983(726 对) |
| 跨线程组进同一根层事项 | 1.0(96 对) | 0.973(186 对) |
| 成对排序一致(平局记半) | 0.313(3035/9696,平 5614,逆 1047)/ 0.603 | 0.46(4464,平 3895,逆 1337)/ 0.661 |
- 排序一致率下降主要来自平局。 前四条流的事项拿到份额的少了,两件都是 0 份的平局从 3895 对增加到 5614 对;真正排反的从 1337 对减少到 1047 对。
- 同组一致到 1.0,但样本少了一半以上。 被引用的输入少,可比的对从 726 降到 293。这项指标只检查同组输入有没有被拆开,不惩罚把不相干的输入并成一件:生活问答收成一条知会,在这里看不出来。
- 忽略两次几乎相同:订阅与社区照旧压下,漏掉的强依据仍是 CI 失败、评审与关闭通知,改判成了暂缓。
| 流 · 弱档位 | 事项帧数 | 纳入 | 根层份额 ≥6 |
|---|---|---|---|
| work · acted | 200 | 79(110) | 29(49) |
| work · delegated | 103 | 29(49) | 5(19) |
| work · untouched | 59 | 7(16) | 2(5) |
| work · noise | 38 | 24(24) | 16(20) |
| community · acted | 11 | 0(1) | 0(0) |
| community · untouched | 311 | 0(3) | 0(0) |
| life · acted | 61 | 32(45) | 2(2) |
| life · untouched | 63 | 22(36) | 4(3) |
| family · acted | 75 | 56 | 33 |
| family · untouched | 12 | 10 | 4 |
| family · noise | 57 | 10 | 2 |
| subscription · noise | 88 | 0(0) | 0(0) |
acted 是本人后来有行动的事项(high、engaged、later)。家庭流的行为档来自合成的 Jonas 回复,只与作者写定的剧情比,不与其他流的真实行为比。按全部前四条流的弱档位看,拿到 12 份以上的事项帧:high 9 → 3、engaged 14 → 1、delegated 17 → 0、noise 19 → 1,工作侧的大份额几乎都让给了家庭流。
家庭流
与作者标注对照
| 指标 | 值 |
|---|---|
| 忽略:authored 召回 | 50/185(0.27) |
| 忽略:authored 精确率 | 1.0(家庭流里 Agent 忽略 50 条) |
| 忽略:与作者档不矛盾(含 none 档事项的输入) | 50/50(1.0) |
| 同一事项的输入进同一条目 / 同一根层事项 | 0.964 / 0.964(55 对) |
| 并入关系(authored_merge)进同一根层事项 | 1.0(3 对) |
| 按作者档成对排序一致(平局记半) | 0.743(200/269,平 45,逆 24)/ 0.827 |
| 作者档 | 事项帧数 | 纳入 | 根层份额 ≥12 | ≥6 | 平均份额 |
|---|---|---|---|---|---|
| high | 20 | 18 | 17 | 18 | 17.7 |
| normal | 18 | 17 | 7 | 12 | 8.4 |
| low | 31 | 21 | 1 | 4 | 2.2 |
| trace | 6 | 6 | 0 | 0 | 2.3 |
| none | 69 | 14 | 2 | 5 | 1.0 |
这里的份额是“这一帧的家庭输入被哪件事项引用、那件事项的根层份额”。事项还在、但这一帧的新输入没有加进 sources 时记 0:母亲住处在 f12、f14 记 0,是因为“你们商量了吗”与“打了 24 分钟电话”都判为 used、写进了摘要,却没有加进来源,事项本身仍是 12 份。拆开的 2 对都在 f19:母亲问猫的语音留言被挂在母亲住处上,理由是回电时可以顺便说住处。
忽略只有作者的 27%,但多数没有进入事项:作者应忽略的 185 条里 39 条判噪音、11 条判重复、76 条暂缓、59 条采用,两周里被事项引用过的只有 27 条。差别主要在处置的标签,而不在呈现:群聊闲聊、附和与刷卡多被判为“暂缓”。可能的原因是第二版指引的判别顺序:noise 问的是“关联不到用户的任何事项”,派对群、班级群的闲聊总关联得到某件家事,于是落到最后的 deferred。真正被做成事项的噪音见下文“一次性的事”。
六条线
| 线 | 作者写定 | Agent 实际 | 判定 |
|---|---|---|---|
| A 猫看病 | 8/3 一件 normal;8/11 下午升 high,登记“打给诊所还是先观察”;8/14 答上,只留复诊日期;Kajsa 的催促都并进这一件 | f01 建 smilla-vet,12 份等你,浇番茄也写进标题;f05 约好后改为已完成 3 份,f06 起 1 份,f09 托 Gunnel 喂猫并进来;f15 看完兽医 6 份;f18(8/11 下午)升到 12 份“或吃了双倍药,等诊所回电”,并进生活流的药量提问;f22 看到失明风险后 24 份;f23 打完电话改为进行中“已减量,24 日 9:30 复诊”,之后 12 → 6 → 3 | 结构与时点一致:升档帧、了结帧、并入都对。份额高一档(开头 12 份对 normal,f22 到 24 份),了结后降得慢(作者 f23 即 normal,Agent 三帧仍 12)。把浇番茄并进猫,是第一次也有的“不相干的事并成一件” |
| B 母亲九月住哪 | 8/4 一件“母亲九月住哪,周五截止”,登记二选一,BankID 与 Ulrika 的催促并入;8/14 母亲自己交了回执,问题失效,报一句结果 | f01 母亲留言要回电时就建,12 份;f03 读到通告后 24 份“14/8 前选住处”,BankID 当帧并入;f10 他说交纸质回执后降到 12;f18 Ulrika 说母亲睡不着后回到 24,直到 f22;f23 改为已完成“已交回执,选疏散公寓”6 份,之后 3 份 | 结构、并入与失效帧完全一致,理由里一直追踪“你还没告诉 Mamma”。份额偏高:作者是 high,Agent 有 12 帧给 24 份(critical);f03–f09 在等 Kajsa 回家商量、事情没有变化,仍是根层最大的一件。f26 Ulrika 已过时的追问让它回到等你 3 份;f28 母亲约吃饭、Ulrika 提生日都并进这件已了结的旧事 |
| C 和 Joakim 骑车 | 最多一条 trace,8/15 撤下,不登记问题 | 8/5 第一次约没有建事项;f13 记 1 份知会“下周六 16 日与 Joakim 骑车”(下周六是 15 日);f19 撤下;f24 Joakim 把“明早九点?”发错到派对群,恢复成 12 份等你、到期 15 日 9 点;f25 他取消后撤下 | 前半段一致,f24 偏离:12 份,高于同帧邻居说车道湿了一周的 6 份。理由里自己写了“你也可能在别的群回过他,这里看不到”,仍按最坏情况排上来 |
| D 车道下漏水 | 8/10 邻居那句值一条低档痕迹(对照天气才看得出不对);8/15 升 high,登记“整根换还是免挖”,窗口结束时仍开着 | f16(8/10 晚)建“邻居说车道信箱旁地面潮湿”3 份,理由“如果没浇过水,可能是水管漏水”,并指出他只回了谢谢;f18 起 1 份;f24 街坊群说湿了一整周、水压低,升到 6 份;f25 水表在转,12 份进行中;f26 报价出来,24 份等你、到期周一,并进生活流的铜管提问;f27–f28 仍 24 份,末帧写明“今早 10 点前回 Ronny” | 几乎逐帧一致,末帧仍开着。痕迹不是从天气推出来的,而是从“问是否浇过水”推出来的。24 份比作者的 high 高一档,但它确实是末帧最急的一件 |
| E 9 月 14 日的航班 | 不另立,并进生活流的航班:Kajsa 的追问让它从知会变成家里在等你 | f08(最忙的一天)建 sept-return-0914 6 份等你“9/14 回程改经停,需告诉 Mamma”,家里的追问与生活流的改经停提问在同一件里;f16 他决定不改签、Kajsa 说由她告诉母亲,降到 3 份进行中;f18 起 1 份,f22 撤下 | 一致。第一次运行只给知会 3 份、f11 撤下。作者在 f08 标 high,Agent 6 份,低一档 |
| F 小龙虾派对 | 一件 low,8/12 前登记“回几个人”,8/13 Kajsa 代答后失效 | f01 建 6 份等你,f02–f13 3 份,截止前后 f14–f20 6 份(f20“报名 12 日已截止未回”),f21 3 份,f22 Kajsa 在群里报了 4 人后撤下;f28 收款请求来时恢复成 3 份“周五前付 500kr” | 完全一致,份额在 low 与 normal 之间 |
一次性的事与丢弃
| 事 | 作者写定 | Agent 实际 | 判定 |
|---|---|---|---|
| Ture 发烧 | 当帧最高(已接回,记结果) | f19 记下早上答应的“今天接 Ture”3 份;f20 发烧接回后降成 1 份知会“Ture 发烧 38.4,已接回家”,同帧母亲 24、猫 12、刹车 6、派对 6;f21 起“记得报 vab”3 份 → 1 份,一直开到末帧 | 结果记了,份额最低,偏离。护理假一直开着,与作者一致 |
| 开学文件 | low,截止 8/18 | f16 6 份等你,之后 3 → 1;f22 与班级群的头虱提醒并成“签同意书、查头虱”;f28 学校再提醒,升回 6 份 | 方向一致,份额高一档,并入了一条作者判为噪音的群消息 |
| 假快递短信 | 丢弃 | f21 认出是钓鱼,建 1 份知会“勿付 29kr”,理由还核对了 Kajsa 的新车是瑞典店铺发货、不涉及关税;f22 撤下。f12 的 BankID 钓鱼短信也认出来、没有与母亲的 BankID 合并,但留了 3 份知会,f18 才撤 | 识别正确,没有丢弃,偏离 |
| 噪音层与闲聊 | 约六成丢弃(185/310) | 判为噪音或重复 50 条(16%),另有 76 条暂缓;被做成事项的噪音:班级群的头虱提醒(f09–f21,3 → 1 份)、街坊群的垃圾改期(f18–f21,1 份)、Signe 问午饭(f15,1 份)、两条钓鱼短信 | 标签偏离大,呈现偏离小:作者应忽略的输入两周里被事项引用过的只有 27 条 |
另有两处读法:“Fast jag hade fixat den”(作者意为“其实我能修好的”)被读成“你说后刹已修好”,Agent 自己注明“未核实”,f26 Kajsa 再提醒时又指出“与此前说法不一”;E03 里 Kajsa 说“那我告诉你妈 14 日晚上不方便”,Agent 读成“由 Kajsa 告诉 Mamma”,是对的,中文节拍表的转述反而简略。
问题的登记与了结(人工对照)
逐帧找引用该事项输入的根层条目,看它的 kind 是否为 needs-you、何时撤下或改判。
| 问题 | 作者:登记 → 去向 | Agent |
|---|---|---|
| 给 Smilla 约兽医 | f01 → 回答 f05 | f01–f04 等你 12 份;f05 改为已完成 |
| 派对回几个人 | f01 → 失效 f22 | f01–f21 等你 3–6 份;f22 撤下 |
| 母亲九月能不能来住 | f03 → 失效 f23 | f03–f22 等你 12–24 份;f23 改为已完成 |
| 周日和 Joakim 骑车吗 | f06 → 回答 f13 | 没有建事项;f13 记下改约 |
| Göran 九月来帮忙抬棚屋 | f06 → 窗口末仍开着 | f06–f21 等你 1–3 份;f22 为腾份额撤下 |
| 9 月 14 日几点到家 | f08 → 当帧回答 | f08 等你 6 份,转成“需告诉 Mamma” |
| 下周六和 Joakim 骑车 | f13 → 失效 f25 | f13–f18 知会 1 份,f19 撤下,f24 恢复成等你 12 份,f25 撤下 |
| 签开学同意书 | f16 → 窗口末仍开着 | f16–f28 等你 1–6 份 |
| 打给诊所还是先观察 | f18 → 回答 f23 | f18–f22 等你 12–24 份;f23 改为进行中 |
| 春天那张票的钱回来没 | f19 → 回答 f20 | f19 等你 3 份;f20 撤下 |
| Ture 发烧能马上接吗 | f20 → 当帧回答 | f20 知会 1 份,“已接回家” |
| Kajsa 的后刹自己修还是送修 | f20 → 失效 f21 | f20 等你 6 份;f21 降为知会 1 份 |
| 申报护理假 | f21 → 窗口末仍开着 | f21–f28 等你 1–3 份 |
| 热浪里给母亲打电话 | f22 → 当帧回答 | 并进母亲住处,摘要写“已通话 12 分钟谈高温” |
| 给 Ture 买风扇 | f24 → 当帧回答 | f24 进行中 1 份,f25 已完成 |
| 主水管怎么修 | f26 → 窗口末仍开着 | f26–f28 等你 24 份 |
| 派对 Swish 500 克朗 | f28 → 窗口末仍开着 | 恢复派对事项,等你 3 份 |
| 母亲生日做点什么 | f28 → 窗口末仍开着 | 并进母亲住处的摘要 |
| 母亲下周日来吃饭 | f28 → 窗口末仍开着 | 并进母亲住处的标题 |
- 跨帧了结的 8 个里 7 个在了结帧当帧撤下、改为已完成或降为知会;剩下的“周日骑车吗”从未建事项。
- 当帧回答的 4 个都记了结果;航班那一个转成了新的待办“需告诉 Mamma”。
- 窗口结束仍开着的 7 个里 6 个仍在状态里;棚屋那一个在 f22 为腾份额撤下,理由写了“需要回复 Göran 时可以恢复”。
- 登记帧没有等你事项的两个都在骑车线:一个没建事项,一个只记了 1 份知会。大纲说这条线不登记问题,节拍表却登记了两个,作者标注自身不一致;Agent 的做法更接近大纲。大纲说 Ture 发烧“当帧最高”,节拍表按帧末取档位,接回之后是 normal;本报告按大纲判偏离。
跨流的事
| 事 | 本次 | 第一次 |
|---|---|---|
| 航班变更撞上最忙的一天 | f08 与家里的追问并成一件,6 份等你;f16 降为 3 份,f22 撤下 | 知会 3 份,f11 撤下 |
| 宠物药量弄错 | 并进 smilla-vet:f18 12 份,f22 24 份,f23 打完电话了结 | 单列,6 → 12 份,到窗口末仍等你 |
| 周六水管开裂 | 并进 driveway-wet,f26 起 24 份 | 3 份 |
| 热浪里的空调与喝水 | 高温提醒判暂缓或噪音,f22 那条的理由写“Mamma 那边已通过电话处理”;空调提问暂缓 | 噪音;空调 1 份 |
| AI 找漏洞 | newsletter 全判噪音 | 相同 |
| 厨房 | 两个烹饪提问都暂缓;newsletter 噪音 | 各自进了生活事项 |
逐帧
| 帧 | 输入(家庭) | 根层件数 / 已用 | 家庭 · 工作 · 生活份额 | 家庭流份额最大的一件 | 费用(美元) |
|---|---|---|---|---|---|
| f01 | 76(14) | 10 / 57 | 30 · 24 · 3 | Mamma来电:stambyte文件需帮忙(12) | 0.45 |
| f02 | 131(16) | 13 / 64 | 27 · 34 · 3 | Mamma仍等回电:stambyte文件(12) | 1.48 |
| f03 | 133(8) | 13 / 63 | 39 · 23 · 1 | Mamma stambyte:14/8前选住处(24) | 0.80 |
| f04 | 127(19) | 14 / 64 | 39 · 24 · 1 | Mamma stambyte:14/8前选住处(24) | 0.77 |
| f05 | 73(9) | 14 / 58 | 30 · 27 · 1 | Mamma stambyte:14/8前选住处(24) | 0.51 |
| f06 | 159(12) | 17 / 64 | 34 · 29 · 1 | Mamma stambyte:14/8前选住处(24) | 0.92 |
| f07 | 111(10) | 18 / 64 | 32 · 31 · 1 | Mamma stambyte:14/8前选住处(24) | 0.65 |
| f08 | 206(15) | 16 / 64 | 35 · 25 · 4 | Mamma stambyte:14/8前选住处(24) | 1.21 |
| f09 | 78(12) | 17 / 64 | 38 · 22 · 4 | Mamma办不了BankID,14/8截止(24) | 0.65 |
| f10 | 127(9) | 18 / 50 | 27.7 · 17 · 5.3 | Mamma改交纸质回执,住处周末定(12) | 0.87 |
| f11 | 54(5) | 19 / 51 | 27.7 · 18 · 5.3 | Mamma改交纸质回执,住处周末定(12) | 0.41 |
| f12 | 83(3) | 21 / 63 | 30.7 · 27 · 5.3 | Mamma改交纸质回执,住处周末定(12) | 0.65 |
| f13 | 66(5) | 23 / 64 | 32.7 · 26 · 5.3 | Mamma改交纸质回执,住处周末定(12) | 0.49 |
| f14 | 97(16) | 21 / 62 | 35.7 · 21 · 5.3 | Mamma改交纸质回执,住处周末定(12) | 0.66 |
| f15 | 71(12) | 25 / 62 | 33.7 · 23 · 5.3 | Mamma等Kajsa意见,回执14日截止(12) | 0.61 |
| f16 | 155(23) | 23 / 61 | 40 · 20 · 1 | Kajsa同意Mamma住两周,需你转告(12) | 0.99 |
| f17 | 73(9) | 26 / 64 | 41 · 22 · 1 | Mamma仍在等答复:可住两周,需你转告(12) | 0.65 |
| f18 | 153(25) | 19 / 64 | 51.6 · 8.7 · 3.8 | Mamma等答复睡不着,14日截止(24) | 1.09 |
| f19 | 108(9) | 19 / 64 | 56.6 · 5.7 · 1.8 | Mamma等答复睡不着,14日截止(24) | 1.05 |
| f20 | 235(26) | 19 / 63 | 54.1 · 5.7 · 3.2 | Mamma等答复睡不着,14日截止(24) | 1.25 |
| f21 | 97(13) | 19 / 62 | 50.8 · 10.7 · 0.5 | Mamma等答复睡不着,14日截止(24) | 0.68 |
| f22 | 173(26) | 11 / 64 | 51.1 · 8.7 · 4.2 | Mamma回执今天截止,昨晚已通话(24) | 1.03 |
| f23 | 116(13) | 11 / 39 | 25.1 · 13.7 · 0.2 | Smilla已减量,24日9:30复诊(12) | 0.72 |
| f24 | 158(22) | 15 / 60 | 40.1 · 19.7 · 0.2 | Joakim问15日9点骑车,未见回复(12) | 1.74 |
| f25 | 54(11) | 14 / 52 | 34.1 · 17.7 · 0.2 | 疑漏水:水表空转,水管工今11–13点到(12) | 0.42 |
| f26 | 158(16) | 14 / 63 | 36.1 · 22.7 · 4.2 | 车道下铜管裂,周一前定修法(24) | 0.87 |
| f27 | 66(8) | 14 / 63 | 40.1 · 22.7 · 0.2 | 车道铜管漏,Kajsa要今天定修法(24) | 0.46 |
| f28 | 79(22) | 14 / 64 | 44.1 · 19.7 · 0.2 | 车道铜管漏,今早10点前回Ronny(24) | 1.14 |
份额按事项引用的输入所在的流分摊,三列之和与“已用”的差是社区、订阅与没有引用输入的事项。f24 的骑车与猫同为 12 份,按 rank 骑车在前。逐帧的忽略命中与家庭流事项明细在本机 report.md。
错误类型
- 家庭事项高一档。 猫开头 12 份(作者 normal),母亲 24 份(作者 high),开学文件 6 份(作者 low),幼儿园开园 f10–f14 6 份(作者 trace 到 low)。方向对,幅度系统性偏高;根层预算有限,多出来的份额来自工作。
- 噪音成了事项。 头虱提醒、垃圾改期、两条钓鱼短信、Signe 问午饭;都以 1–3 份的知会或痕迹出现,几帧后自己撤下。
- 当帧急事给得低。 Ture 发烧只有 1 份;同帧的派对报名截止有 6 份。
- 已了结的事被重新打开。 Ulrika 的过时追问让母亲住处回到等你;新来的吃饭与生日问题并进这件已了结的事,标题仍挂着旧事。
- 细节读错。 骑车日期写成 16 日;“hade fixat”读成已修好(自己标了未核实);f20 猫的标题写成“诊所还没回电”,摘要里却写对了是他自己说 13 日再打。
- 工作侧大量改判暂缓。 评审、CI 与本人的合并动作从“采用”改判“暂缓”,工作里本人后来有行动的事项纳入从 110 降到 79;8 月 9 日下午到 10 日上午(f14–f15)弱标注为 high 的 #13522、#13524 第一次给 12 份,这次 1 份。
- 提交被拒的类型与第一次相同。 标题超过 24 字 2 次(其中一次是瑞典语混中文的“Kräftskiva:周五前Swish 500kr”)、摘要超过 60 字 1 次。
与第一次的对比
| 项 | 第一次 | 本次 | 怎样看 |
|---|---|---|---|
| 根层平均份额:工作 / 生活 / 家庭 | 48.9 / 13.1 / — | 20.3 / 2.6 / 37.7 | 家庭流只占输入的 12%,拿走近六成预算 |
| 暂缓(全部 / 他人) | 491 / 418 | 1117 / 889 | 工作输入大量改判暂缓 |
| 生活采用 | 227 | 130 | 问答收成一条知会,与家里同一件事的提问并进家庭事项 |
| 同组一致(对数) | 0.983(726) | 1.0(293) | 更少拆开,但可比的对少了 |
| 成对排序一致(平局记半) | 0.46 / 0.661 | 0.313 / 0.603 | 平局变多,排反的变少 |
| master CI | 第 2 帧起一直是 12 份等你 | f02 一帧 12 份,其余 1–6 份,f11 起改为进行中 | 改进:弱标注把这条线判为 noise 或 delegated |
| 根层同一时刻最多 / 两周出现过 | 33 / 88 件 | 26 / 60 件 | 改进:1 份的长尾少了 |
| 首次被拒 | 4 帧(5 次) | 3 帧(3 次) | 相当 |
| 费用 | 24.5 美元,33 次调用 | 23.23 美元,31 次调用 | 相当 |
原因只能分开列,不能定量拆分:
- 输入多了 12%,而且是最常要他拿主意的那一类。 第二版指引把“延后会错过决定”定为 critical,带截止、有人在等的家事正好落进这一档;工作侧的评审与 CI 多半球不在他手里。
- 家庭流抢了份额。 根层是 64 份的定额,家庭在 f18–f22 拿到 51–57 份时,工作只能退到 1 份的痕迹。这是判断的结果,不是预算失控:根层已用每帧都在 64 以内。
- 用户背景变了。 本次列出家人名字并说明家庭往来由作者编写,第一次是没有家人名字的手写设定(见方法)。
- 同一模型的随机性。 每个条件只跑一次。Codex 对照里同配置重跑约 15% 的条目档位会变,本次与第一次之间的许多单帧差别落在这个范围里。
哪些是改进:master CI 不再占位、长尾事项变少、跨流的同一件事并到一起、家庭问题的登记与了结几乎逐帧跟上。哪些是退步:工作里本人后来有行动的事项纳入与份额都下降,生活问答整体降成一条知会,家庭事项系统性高一档,当帧急事(Ture)给得最低。
还没有回答的问题
- 份额的分配应当由谁决定。 家庭在两天里拿走八成以上的根层,作者标注说这几件是 high,但没有说工作应退到多少。根层份额是否需要按流设下限,或由宿主在业务用途里说明,是指引与契约的问题,不是这次评测能回答的。
- 背景的影响。 用第一次的手写设定加一句家人说明再跑一次,才能分清家庭份额来自输入本身还是来自背景。
- 家庭流的标签。 作者档与节拍表在骑车的问题、Ture 发烧的档位上不一致,需要先修标注,再把问题的登记与了结做成脚本指标(契约的状态里得先有可对照的字段)。
- 方差。 两次运行的语料与背景都不同,仍然没有同条件的重复运行。
原始提示、响应、回执与逐帧状态保存在本机 .local/eval/free-20261015-161501/,日志 .local/free-composite-v2.log,不提交版本库。重新计分:
sh
.venv/bin/python scripts/eval_judgment.py --free-run --corpus corpus/composite/frames.json --rescore .local/eval/free-20261015-161501 --report