Skip to content

判断评测:混合语料上的第二次自由运行,含家庭流(2026-10-15) ​

状态:一次性评测记录。结论只覆盖本次设置——加入家庭流的混合语料、一个模型、一次运行、自由运行;不是 Skill 的验收标准,也不改变信息契约。与第一次自由运行的差别同时来自语料、用户背景与模型的随机性,不能归到其中某一项。家庭流的对照依据是作者写定的标注,检验一致,不检验真实。

第一次自由运行之后,混合语料追加了作者编写的家庭流:Jonas 的伴侣、孩子、母亲、妹妹、朋友、邻居与家务通知,388 条瑞典语消息。同一份 skill/SKILL.md、同一个模型从空状态再跑两周,看家里的事进来以后注意力怎样重新分配,以及 Agent 对家里六条线的判断与作者写定的判断差多少。

结论 ​

家里的事被看懂了,问题也跟得准;代价是工作与生活问答被挤到根层边上。

  • 操作层面同样稳定。 28 帧全部提交成功;3 帧首次被拒(标题超过 24 字 2 次、摘要超过 60 字 1 次),看到回执后都在下一次改对。31 次调用,23.23 美元。
  • 家里六条线的结构几乎都对。 猫、母亲住处、派对、车道漏水各成一件;母亲的 BankID 并入住处,托邻居喂猫并入猫,家里对航班的追问并进生活流里改经停的提问。派对在伴侣代答的那一帧撤下,母亲自己交回执的那一帧改成“已交回执,选疏散公寓”。作者登记的 19 个问题,跨帧了结的 8 个里 7 个在了结帧当帧撤下或改判;窗口结束时仍开着的 7 个里 6 个仍在状态里。
  • 份额普遍高一档,丢弃偏少。 方向与作者一致:按作者档成对排序一致 0.743(平局记半 0.827),作者档 high 的事项帧平均 17.7 份、normal 8.4、low 2.2。但母亲住处有 12 帧占 24 份(作者是 high,不是最高档),骑车在最后一天被抬到 12 份,Ture 发烧那一帧反而只给 1 份。作者判为应忽略的 185 条家庭输入只有 50 条判为噪音或重复;两条诈骗短信都认出是钓鱼,却各留了一条提醒,班级群的头虱提醒与垃圾改期也成了事项。
  • 工作与生活被挤压。 根层 64 份平均 37.7 份来自家庭流;工作从 48.9 降到 20.3,生活从 13.1 降到 2.6。8 月 11 日下午到 13 日(f18–f22)家庭占 51–57 份,工作只剩 6–11 份。前四条流里本人后来有行动的工作事项帧,纳入从 110 降到 79,拿到 6 份以上的从 49 降到 29。
  • 也有改进。 master CI 不再整段占 12 份(弱标注为 noise 的事项帧里拿到 12 份以上的从 19 个降到 1 个);根层同一时刻最多 26 件、两周出现过 60 件(第一次 33 件、88 件);生活问答里与家里同一件事的提问并进了家里的事项(猫的药量、铜水管、航班、刹车、漫画),其余问答收成一条 1–3 份的知会。

方法 ​

项本次与第一次的差别
语料corpus/composite/frames.json v2(sha256 41e1265c…):v1.1 加家庭流,28 帧、3217 条多 388 条(第一次 2829 条,多 14%;占新语料 12%)。前四条流逐条不变
自由运行第 n 帧的起始状态是 Agent 自己前 n−1 帧提交后的状态(内存内核);被拒时带回执重试,最多 3 次相同
模型claude-opus-5-5,claude -p(CLI 2.1.300,登录态,隔离设置与工具),结构化输出CLI 2.1.299 → 2.1.300
系统提示一句角色说明 + SKILL.md(sha256 30b6a7ae10ff…)逐字相同
用户背景语料自带的 persona.context:列出伴侣 Kajsa、女儿 Signe、儿子 Ture、母亲、妹妹与猫 Smilla,说明家庭往来是瑞典语、由作者编写,各流来自不同真实的人的公开数据;language 加一句瑞典语也用中文整理,streams 加 family第一次用 --persona-context 换成手写的人物设定(公司化名、在修的棚屋与车道、论坛名),没有家人名字,也没有“由作者编写”的说明
输入可见字段id / channel / from / at / stream / subject / url / text 与 self;超过 60 条或 2 万字符的帧把单条正文截到 1500 字符,共截断 238 条相同;家庭消息都短,没有新增截断
规模31 次调用,23.23 美元;dry-run 估算 18.76 美元(含重试 23.45)。输入约 206 万 token(缓存 33 万),输出约 47 万(其中推理 18 万)33 次,24.5 美元;输入约 222 万、输出约 47 万

用户背景是本次最大的混杂因素:家人的名字与渠道写进了背景,模型更容易把家庭消息认作“他的事”;背景里又说家庭流由作者编写,这句话会不会让模型对它另眼相看,没有检验。要把份额的变化归到家庭流本身,需要用同一份背景重跑,或换掉这句说明。已用第一次的手写背景重跑,见第三次自由运行:工作与生活份额的减少八成多随家庭流本身出现,本次与那次的差别主要是母亲住处的档位。

计分口径 ​

本次改了 scripts/eval_judgment.py 的自由运行计分,第一次运行用 v1.1 语料复算,report.md 逐字不变,summary.json 的旧指标逐项不变,只多了逐帧的分流份额:

  • 各流表按 summary 里实际出现的流输出(之前写死四条流,漏掉 family)。
  • 前四条流的弱标注指标只看前四条流的输入。 忽略精确率的分母不再含家庭流的忽略。本次运行最初生成的 report.md 把 50 条家庭流忽略算进了分母(911 条,精确率 0.101 / 0.119,与行为不矛盾 0.833),修正后是下文的 861 条、0.107 / 0.125、0.882;其余旧指标不受影响。
  • 家庭流单独计分,依据 authored: 忽略的召回、精确率与“与作者档不矛盾”;作者事项(除去“琐事”“噪音”两类收纳项)同帧输入是否进同一条目、authored_merge 的两件是否进同一根层事项;按作者档(critical > high > normal > low > trace > none)的同帧成对排序;作者档 × 根层份额表;分流召回表加 family 几行(按与其他流同一口径的行为档)。家庭流只在这一帧确实交给了模型时计分,旧运行不受影响。
  • 问题(asks)不由脚本计分。 契约的状态里没有“问题”字段,下文按引用该事项输入的 needs-you 条目人工对照。

各流 ​

流采用重复暂缓噪音未判本人发言根层平均份额
work525(811)15(7)671(388)58(60)2(5)40520.3(48.9)
community0(26)0(0)32(12)685(680)2(1)190(0.4)
life130(227)3(0)98(18)13(0)1(0)812.6(13.1)
family17411863907837.7
subscription0(0)0(0)2(0)87(89)0(0)00(0)

括号里是第一次运行。前五列只算他人发来的输入;根层平均份额按事项引用的输入所在的流分摊,逐帧平均。

暂缓从 491 条(他人 418、本人 73)增加到 1117 条(他人 889、本人 228),主要在工作流:评审、CI 与本人的合并动作大量从“采用”改判“暂缓”,被事项引用的工作输入随之变少。生活流的变化是结构性的:第一次有 30 个各自 1–12 份的生活事项;这次与家里同一件事的 5 个提问并进家庭事项(份额按引用分摊,只有一小部分记到生活流),其余问答收成一条“问答新评论”知会,f21 以“刹车问题已因换车失去意义”为由撤下。

与弱标注对照(前四条流) ​

指标本次第一次
忽略:强依据召回92/354(0.26)98/354(0.277)
忽略:精确率(只算强依据 / 强弱都算)0.107 / 0.125(Agent 忽略 861 条)0.117 / 0.126(836 条)
忽略:弱依据召回(单列)16/147(0.109)7/147(0.048)
忽略:与行为不矛盾759/861(0.882)744/836(0.89)
同组输入进同一条目 / 同一根层事项1.0 / 1.0(293 对)0.983 / 0.983(726 对)
跨线程组进同一根层事项1.0(96 对)0.973(186 对)
成对排序一致(平局记半)0.313(3035/9696,平 5614,逆 1047)/ 0.6030.46(4464,平 3895,逆 1337)/ 0.661
  • 排序一致率下降主要来自平局。 前四条流的事项拿到份额的少了,两件都是 0 份的平局从 3895 对增加到 5614 对;真正排反的从 1337 对减少到 1047 对。
  • 同组一致到 1.0,但样本少了一半以上。 被引用的输入少,可比的对从 726 降到 293。这项指标只检查同组输入有没有被拆开,不惩罚把不相干的输入并成一件:生活问答收成一条知会,在这里看不出来。
  • 忽略两次几乎相同:订阅与社区照旧压下,漏掉的强依据仍是 CI 失败、评审与关闭通知,改判成了暂缓。
流 · 弱档位事项帧数纳入根层份额 ≥6
work · acted20079(110)29(49)
work · delegated10329(49)5(19)
work · untouched597(16)2(5)
work · noise3824(24)16(20)
community · acted110(1)0(0)
community · untouched3110(3)0(0)
life · acted6132(45)2(2)
life · untouched6322(36)4(3)
family · acted755633
family · untouched12104
family · noise57102
subscription · noise880(0)0(0)

acted 是本人后来有行动的事项(high、engaged、later)。家庭流的行为档来自合成的 Jonas 回复,只与作者写定的剧情比,不与其他流的真实行为比。按全部前四条流的弱档位看,拿到 12 份以上的事项帧:high 9 → 3、engaged 14 → 1、delegated 17 → 0、noise 19 → 1,工作侧的大份额几乎都让给了家庭流。

家庭流 ​

与作者标注对照 ​

指标值
忽略:authored 召回50/185(0.27)
忽略:authored 精确率1.0(家庭流里 Agent 忽略 50 条)
忽略:与作者档不矛盾(含 none 档事项的输入)50/50(1.0)
同一事项的输入进同一条目 / 同一根层事项0.964 / 0.964(55 对)
并入关系(authored_merge)进同一根层事项1.0(3 对)
按作者档成对排序一致(平局记半)0.743(200/269,平 45,逆 24)/ 0.827
作者档事项帧数纳入根层份额 ≥12≥6平均份额
high2018171817.7
normal18177128.4
low3121142.2
trace66002.3
none6914251.0

这里的份额是“这一帧的家庭输入被哪件事项引用、那件事项的根层份额”。事项还在、但这一帧的新输入没有加进 sources 时记 0:母亲住处在 f12、f14 记 0,是因为“你们商量了吗”与“打了 24 分钟电话”都判为 used、写进了摘要,却没有加进来源,事项本身仍是 12 份。拆开的 2 对都在 f19:母亲问猫的语音留言被挂在母亲住处上,理由是回电时可以顺便说住处。

忽略只有作者的 27%,但多数没有进入事项:作者应忽略的 185 条里 39 条判噪音、11 条判重复、76 条暂缓、59 条采用,两周里被事项引用过的只有 27 条。差别主要在处置的标签,而不在呈现:群聊闲聊、附和与刷卡多被判为“暂缓”。可能的原因是第二版指引的判别顺序:noise 问的是“关联不到用户的任何事项”,派对群、班级群的闲聊总关联得到某件家事,于是落到最后的 deferred。真正被做成事项的噪音见下文“一次性的事”。

六条线 ​

线作者写定Agent 实际判定
A 猫看病8/3 一件 normal;8/11 下午升 high,登记“打给诊所还是先观察”;8/14 答上,只留复诊日期;Kajsa 的催促都并进这一件f01 建 smilla-vet,12 份等你,浇番茄也写进标题;f05 约好后改为已完成 3 份,f06 起 1 份,f09 托 Gunnel 喂猫并进来;f15 看完兽医 6 份;f18(8/11 下午)升到 12 份“或吃了双倍药,等诊所回电”,并进生活流的药量提问;f22 看到失明风险后 24 份;f23 打完电话改为进行中“已减量,24 日 9:30 复诊”,之后 12 → 6 → 3结构与时点一致:升档帧、了结帧、并入都对。份额高一档(开头 12 份对 normal,f22 到 24 份),了结后降得慢(作者 f23 即 normal,Agent 三帧仍 12)。把浇番茄并进猫,是第一次也有的“不相干的事并成一件”
B 母亲九月住哪8/4 一件“母亲九月住哪,周五截止”,登记二选一,BankID 与 Ulrika 的催促并入;8/14 母亲自己交了回执,问题失效,报一句结果f01 母亲留言要回电时就建,12 份;f03 读到通告后 24 份“14/8 前选住处”,BankID 当帧并入;f10 他说交纸质回执后降到 12;f18 Ulrika 说母亲睡不着后回到 24,直到 f22;f23 改为已完成“已交回执,选疏散公寓”6 份,之后 3 份结构、并入与失效帧完全一致,理由里一直追踪“你还没告诉 Mamma”。份额偏高:作者是 high,Agent 有 12 帧给 24 份(critical);f03–f09 在等 Kajsa 回家商量、事情没有变化,仍是根层最大的一件。f26 Ulrika 已过时的追问让它回到等你 3 份;f28 母亲约吃饭、Ulrika 提生日都并进这件已了结的旧事
C 和 Joakim 骑车最多一条 trace,8/15 撤下,不登记问题8/5 第一次约没有建事项;f13 记 1 份知会“下周六 16 日与 Joakim 骑车”(下周六是 15 日);f19 撤下;f24 Joakim 把“明早九点?”发错到派对群,恢复成 12 份等你、到期 15 日 9 点;f25 他取消后撤下前半段一致,f24 偏离:12 份,高于同帧邻居说车道湿了一周的 6 份。理由里自己写了“你也可能在别的群回过他,这里看不到”,仍按最坏情况排上来
D 车道下漏水8/10 邻居那句值一条低档痕迹(对照天气才看得出不对);8/15 升 high,登记“整根换还是免挖”,窗口结束时仍开着f16(8/10 晚)建“邻居说车道信箱旁地面潮湿”3 份,理由“如果没浇过水,可能是水管漏水”,并指出他只回了谢谢;f18 起 1 份;f24 街坊群说湿了一整周、水压低,升到 6 份;f25 水表在转,12 份进行中;f26 报价出来,24 份等你、到期周一,并进生活流的铜管提问;f27–f28 仍 24 份,末帧写明“今早 10 点前回 Ronny”几乎逐帧一致,末帧仍开着。痕迹不是从天气推出来的,而是从“问是否浇过水”推出来的。24 份比作者的 high 高一档,但它确实是末帧最急的一件
E 9 月 14 日的航班不另立,并进生活流的航班:Kajsa 的追问让它从知会变成家里在等你f08(最忙的一天)建 sept-return-0914 6 份等你“9/14 回程改经停,需告诉 Mamma”,家里的追问与生活流的改经停提问在同一件里;f16 他决定不改签、Kajsa 说由她告诉母亲,降到 3 份进行中;f18 起 1 份,f22 撤下一致。第一次运行只给知会 3 份、f11 撤下。作者在 f08 标 high,Agent 6 份,低一档
F 小龙虾派对一件 low,8/12 前登记“回几个人”,8/13 Kajsa 代答后失效f01 建 6 份等你,f02–f13 3 份,截止前后 f14–f20 6 份(f20“报名 12 日已截止未回”),f21 3 份,f22 Kajsa 在群里报了 4 人后撤下;f28 收款请求来时恢复成 3 份“周五前付 500kr”完全一致,份额在 low 与 normal 之间

一次性的事与丢弃 ​

事作者写定Agent 实际判定
Ture 发烧当帧最高(已接回,记结果)f19 记下早上答应的“今天接 Ture”3 份;f20 发烧接回后降成 1 份知会“Ture 发烧 38.4,已接回家”,同帧母亲 24、猫 12、刹车 6、派对 6;f21 起“记得报 vab”3 份 → 1 份,一直开到末帧结果记了,份额最低,偏离。护理假一直开着,与作者一致
开学文件low,截止 8/18f16 6 份等你,之后 3 → 1;f22 与班级群的头虱提醒并成“签同意书、查头虱”;f28 学校再提醒,升回 6 份方向一致,份额高一档,并入了一条作者判为噪音的群消息
假快递短信丢弃f21 认出是钓鱼,建 1 份知会“勿付 29kr”,理由还核对了 Kajsa 的新车是瑞典店铺发货、不涉及关税;f22 撤下。f12 的 BankID 钓鱼短信也认出来、没有与母亲的 BankID 合并,但留了 3 份知会,f18 才撤识别正确,没有丢弃,偏离
噪音层与闲聊约六成丢弃(185/310)判为噪音或重复 50 条(16%),另有 76 条暂缓;被做成事项的噪音:班级群的头虱提醒(f09–f21,3 → 1 份)、街坊群的垃圾改期(f18–f21,1 份)、Signe 问午饭(f15,1 份)、两条钓鱼短信标签偏离大,呈现偏离小:作者应忽略的输入两周里被事项引用过的只有 27 条

另有两处读法:“Fast jag hade fixat den”(作者意为“其实我能修好的”)被读成“你说后刹已修好”,Agent 自己注明“未核实”,f26 Kajsa 再提醒时又指出“与此前说法不一”;E03 里 Kajsa 说“那我告诉你妈 14 日晚上不方便”,Agent 读成“由 Kajsa 告诉 Mamma”,是对的,中文节拍表的转述反而简略。

问题的登记与了结(人工对照) ​

逐帧找引用该事项输入的根层条目,看它的 kind 是否为 needs-you、何时撤下或改判。

问题作者:登记 → 去向Agent
给 Smilla 约兽医f01 → 回答 f05f01–f04 等你 12 份;f05 改为已完成
派对回几个人f01 → 失效 f22f01–f21 等你 3–6 份;f22 撤下
母亲九月能不能来住f03 → 失效 f23f03–f22 等你 12–24 份;f23 改为已完成
周日和 Joakim 骑车吗f06 → 回答 f13没有建事项;f13 记下改约
Göran 九月来帮忙抬棚屋f06 → 窗口末仍开着f06–f21 等你 1–3 份;f22 为腾份额撤下
9 月 14 日几点到家f08 → 当帧回答f08 等你 6 份,转成“需告诉 Mamma”
下周六和 Joakim 骑车f13 → 失效 f25f13–f18 知会 1 份,f19 撤下,f24 恢复成等你 12 份,f25 撤下
签开学同意书f16 → 窗口末仍开着f16–f28 等你 1–6 份
打给诊所还是先观察f18 → 回答 f23f18–f22 等你 12–24 份;f23 改为进行中
春天那张票的钱回来没f19 → 回答 f20f19 等你 3 份;f20 撤下
Ture 发烧能马上接吗f20 → 当帧回答f20 知会 1 份,“已接回家”
Kajsa 的后刹自己修还是送修f20 → 失效 f21f20 等你 6 份;f21 降为知会 1 份
申报护理假f21 → 窗口末仍开着f21–f28 等你 1–3 份
热浪里给母亲打电话f22 → 当帧回答并进母亲住处,摘要写“已通话 12 分钟谈高温”
给 Ture 买风扇f24 → 当帧回答f24 进行中 1 份,f25 已完成
主水管怎么修f26 → 窗口末仍开着f26–f28 等你 24 份
派对 Swish 500 克朗f28 → 窗口末仍开着恢复派对事项,等你 3 份
母亲生日做点什么f28 → 窗口末仍开着并进母亲住处的摘要
母亲下周日来吃饭f28 → 窗口末仍开着并进母亲住处的标题
  • 跨帧了结的 8 个里 7 个在了结帧当帧撤下、改为已完成或降为知会;剩下的“周日骑车吗”从未建事项。
  • 当帧回答的 4 个都记了结果;航班那一个转成了新的待办“需告诉 Mamma”。
  • 窗口结束仍开着的 7 个里 6 个仍在状态里;棚屋那一个在 f22 为腾份额撤下,理由写了“需要回复 Göran 时可以恢复”。
  • 登记帧没有等你事项的两个都在骑车线:一个没建事项,一个只记了 1 份知会。大纲说这条线不登记问题,节拍表却登记了两个,作者标注自身不一致;Agent 的做法更接近大纲。大纲说 Ture 发烧“当帧最高”,节拍表按帧末取档位,接回之后是 normal;本报告按大纲判偏离。

跨流的事 ​

事本次第一次
航班变更撞上最忙的一天f08 与家里的追问并成一件,6 份等你;f16 降为 3 份,f22 撤下知会 3 份,f11 撤下
宠物药量弄错并进 smilla-vet:f18 12 份,f22 24 份,f23 打完电话了结单列,6 → 12 份,到窗口末仍等你
周六水管开裂并进 driveway-wet,f26 起 24 份3 份
热浪里的空调与喝水高温提醒判暂缓或噪音,f22 那条的理由写“Mamma 那边已通过电话处理”;空调提问暂缓噪音;空调 1 份
AI 找漏洞newsletter 全判噪音相同
厨房两个烹饪提问都暂缓;newsletter 噪音各自进了生活事项

逐帧 ​

帧输入(家庭)根层件数 / 已用家庭 · 工作 · 生活份额家庭流份额最大的一件费用(美元)
f0176(14)10 / 5730 · 24 · 3Mamma来电:stambyte文件需帮忙(12)0.45
f02131(16)13 / 6427 · 34 · 3Mamma仍等回电:stambyte文件(12)1.48
f03133(8)13 / 6339 · 23 · 1Mamma stambyte:14/8前选住处(24)0.80
f04127(19)14 / 6439 · 24 · 1Mamma stambyte:14/8前选住处(24)0.77
f0573(9)14 / 5830 · 27 · 1Mamma stambyte:14/8前选住处(24)0.51
f06159(12)17 / 6434 · 29 · 1Mamma stambyte:14/8前选住处(24)0.92
f07111(10)18 / 6432 · 31 · 1Mamma stambyte:14/8前选住处(24)0.65
f08206(15)16 / 6435 · 25 · 4Mamma stambyte:14/8前选住处(24)1.21
f0978(12)17 / 6438 · 22 · 4Mamma办不了BankID,14/8截止(24)0.65
f10127(9)18 / 5027.7 · 17 · 5.3Mamma改交纸质回执,住处周末定(12)0.87
f1154(5)19 / 5127.7 · 18 · 5.3Mamma改交纸质回执,住处周末定(12)0.41
f1283(3)21 / 6330.7 · 27 · 5.3Mamma改交纸质回执,住处周末定(12)0.65
f1366(5)23 / 6432.7 · 26 · 5.3Mamma改交纸质回执,住处周末定(12)0.49
f1497(16)21 / 6235.7 · 21 · 5.3Mamma改交纸质回执,住处周末定(12)0.66
f1571(12)25 / 6233.7 · 23 · 5.3Mamma等Kajsa意见,回执14日截止(12)0.61
f16155(23)23 / 6140 · 20 · 1Kajsa同意Mamma住两周,需你转告(12)0.99
f1773(9)26 / 6441 · 22 · 1Mamma仍在等答复:可住两周,需你转告(12)0.65
f18153(25)19 / 6451.6 · 8.7 · 3.8Mamma等答复睡不着,14日截止(24)1.09
f19108(9)19 / 6456.6 · 5.7 · 1.8Mamma等答复睡不着,14日截止(24)1.05
f20235(26)19 / 6354.1 · 5.7 · 3.2Mamma等答复睡不着,14日截止(24)1.25
f2197(13)19 / 6250.8 · 10.7 · 0.5Mamma等答复睡不着,14日截止(24)0.68
f22173(26)11 / 6451.1 · 8.7 · 4.2Mamma回执今天截止,昨晚已通话(24)1.03
f23116(13)11 / 3925.1 · 13.7 · 0.2Smilla已减量,24日9:30复诊(12)0.72
f24158(22)15 / 6040.1 · 19.7 · 0.2Joakim问15日9点骑车,未见回复(12)1.74
f2554(11)14 / 5234.1 · 17.7 · 0.2疑漏水:水表空转,水管工今11–13点到(12)0.42
f26158(16)14 / 6336.1 · 22.7 · 4.2车道下铜管裂,周一前定修法(24)0.87
f2766(8)14 / 6340.1 · 22.7 · 0.2车道铜管漏,Kajsa要今天定修法(24)0.46
f2879(22)14 / 6444.1 · 19.7 · 0.2车道铜管漏,今早10点前回Ronny(24)1.14

份额按事项引用的输入所在的流分摊,三列之和与“已用”的差是社区、订阅与没有引用输入的事项。f24 的骑车与猫同为 12 份,按 rank 骑车在前。逐帧的忽略命中与家庭流事项明细在本机 report.md。

错误类型 ​

  • 家庭事项高一档。 猫开头 12 份(作者 normal),母亲 24 份(作者 high),开学文件 6 份(作者 low),幼儿园开园 f10–f14 6 份(作者 trace 到 low)。方向对,幅度系统性偏高;根层预算有限,多出来的份额来自工作。
  • 噪音成了事项。 头虱提醒、垃圾改期、两条钓鱼短信、Signe 问午饭;都以 1–3 份的知会或痕迹出现,几帧后自己撤下。
  • 当帧急事给得低。 Ture 发烧只有 1 份;同帧的派对报名截止有 6 份。
  • 已了结的事被重新打开。 Ulrika 的过时追问让母亲住处回到等你;新来的吃饭与生日问题并进这件已了结的事,标题仍挂着旧事。
  • 细节读错。 骑车日期写成 16 日;“hade fixat”读成已修好(自己标了未核实);f20 猫的标题写成“诊所还没回电”,摘要里却写对了是他自己说 13 日再打。
  • 工作侧大量改判暂缓。 评审、CI 与本人的合并动作从“采用”改判“暂缓”,工作里本人后来有行动的事项纳入从 110 降到 79;8 月 9 日下午到 10 日上午(f14–f15)弱标注为 high 的 #13522、#13524 第一次给 12 份,这次 1 份。
  • 提交被拒的类型与第一次相同。 标题超过 24 字 2 次(其中一次是瑞典语混中文的“Kräftskiva:周五前Swish 500kr”)、摘要超过 60 字 1 次。

与第一次的对比 ​

项第一次本次怎样看
根层平均份额:工作 / 生活 / 家庭48.9 / 13.1 / —20.3 / 2.6 / 37.7家庭流只占输入的 12%,拿走近六成预算
暂缓(全部 / 他人)491 / 4181117 / 889工作输入大量改判暂缓
生活采用227130问答收成一条知会,与家里同一件事的提问并进家庭事项
同组一致(对数)0.983(726)1.0(293)更少拆开,但可比的对少了
成对排序一致(平局记半)0.46 / 0.6610.313 / 0.603平局变多,排反的变少
master CI第 2 帧起一直是 12 份等你f02 一帧 12 份,其余 1–6 份,f11 起改为进行中改进:弱标注把这条线判为 noise 或 delegated
根层同一时刻最多 / 两周出现过33 / 88 件26 / 60 件改进:1 份的长尾少了
首次被拒4 帧(5 次)3 帧(3 次)相当
费用24.5 美元,33 次调用23.23 美元,31 次调用相当

原因只能分开列,不能定量拆分:

  • 输入多了 12%,而且是最常要他拿主意的那一类。 第二版指引把“延后会错过决定”定为 critical,带截止、有人在等的家事正好落进这一档;工作侧的评审与 CI 多半球不在他手里。
  • 家庭流抢了份额。 根层是 64 份的定额,家庭在 f18–f22 拿到 51–57 份时,工作只能退到 1 份的痕迹。这是判断的结果,不是预算失控:根层已用每帧都在 64 以内。
  • 用户背景变了。 本次列出家人名字并说明家庭往来由作者编写,第一次是没有家人名字的手写设定(见方法)。
  • 同一模型的随机性。 每个条件只跑一次。Codex 对照里同配置重跑约 15% 的条目档位会变,本次与第一次之间的许多单帧差别落在这个范围里。

哪些是改进:master CI 不再占位、长尾事项变少、跨流的同一件事并到一起、家庭问题的登记与了结几乎逐帧跟上。哪些是退步:工作里本人后来有行动的事项纳入与份额都下降,生活问答整体降成一条知会,家庭事项系统性高一档,当帧急事(Ture)给得最低。

还没有回答的问题 ​

  • 份额的分配应当由谁决定。 家庭在两天里拿走八成以上的根层,作者标注说这几件是 high,但没有说工作应退到多少。根层份额是否需要按流设下限,或由宿主在业务用途里说明,是指引与契约的问题,不是这次评测能回答的。
  • 背景的影响。 用第一次的手写设定加一句家人说明再跑一次,才能分清家庭份额来自输入本身还是来自背景。
  • 家庭流的标签。 作者档与节拍表在骑车的问题、Ture 发烧的档位上不一致,需要先修标注,再把问题的登记与了结做成脚本指标(契约的状态里得先有可对照的字段)。
  • 方差。 两次运行的语料与背景都不同,仍然没有同条件的重复运行。

原始提示、响应、回执与逐帧状态保存在本机 .local/eval/free-20261015-161501/,日志 .local/free-composite-v2.log,不提交版本库。重新计分:

sh
.venv/bin/python scripts/eval_judgment.py --free-run --corpus corpus/composite/frames.json --rescore .local/eval/free-20261015-161501 --report