Skip to content

enron-steffes-j 的噪音画像(对照来源) ​

状态:由 scripts/build_corpus.py noise enron-steffes-j 生成的 noise.json 整理。原文不入库,下文不引正文。

窗口是 2001-10-22 至 11-04(America/Chicago),邮箱主人是 Enron 的 James D. Steffes,来源与范围见语料说明。它和主来源 curl-bagder 的噪音形态不同,可以检验 Agent 的取舍是否只对开源维护者的通知流有效。

一眼看差别 ​

  • 长,而且层层引用。 中位 1428 字符,P90 5320 字符,277 条(37%)超过 2000 字被截断;来信里 225 封(45%)带着整段“Original Message”或转发链。手写情境最长 67 字。
  • 广播多于对话。 来信收件人加抄送中位 3 人、P90 18 人,104 封(21%)同时发给 10 人以上;新闻剪报“Enron Mentions”两周 13 封。
  • 一次性的多。 402 个主题里 258 个只出现一次;手写情境的 13 个事项只有 4 个只出现一次。
  • 文本规则抓到的低信息量只有 10%(系统通知、新闻信、自动回复、空正文与致谢),远低于主来源;但 504 封来信里有 322 封最后进了已删除,说明这里的噪音主要是“与我无关”,而不是“没有内容”。
  • 时间集中在工作日白天。 中位间隔 4.7 分钟,116 次与上一条落在同一分钟;周末与夜间很少,3 个 12 小时帧是空的。

并排指标 ​

指标Enron 邮箱手写情境
输入条数(来信 / 本人发出)754(504 / 250)112
帧数;每帧均值 / 中位 / 最多;空帧28;26.9 / 19 / 81;337;3.0 / 3 / 9;3
每帧原文字符 中位 / 最多(截断后)24,374 / 105,771101 / 376
作者:他人 / 本人 / 机器人 / 自动化发件463 / 250 / 0 / 4165 / 26 / 13 / 8
不同作者;前 5 位占比138;46%27;59%
低信息量合计(占全部;占他人发来)62(8%);10%21(19%);24%
其中机器人 / 模板通知 / 空内容 / 致谢附和41 / 0 / 7 / 1421 / 0 / 0 / 0
核心文本完全重复(其中 ≥30 字)34(11)0(0)
近重复(≥30 字,7 天内 4-gram Jaccard ≥ 0.6)28(4%)0(0%)
事项(邮件主题)数;只出现一次的402;25813;4
每事项输入数 中位 / P90 / 最多1 / 4 / 178 / 15.8 / 17
长度(字符)P10 / 中位 / P90 / 最长222 / 1428 / 5320 / 122,53718 / 35 / 47 / 67
超过 2000 字被截断;短于 20 字277;20;14
到达间隔(分钟)P10 / 中位 / P90 / 最长0.6 / 4.7 / 34.7 / 20033 / 13 / 736 / 1400
同一分钟内连续到达1160
当地 0–7 点到达12(2%)0

口径差异 ​

  • 指标定义与主来源相同。“核心文本”另外截去 Outlook 式回复下方的“Original Message”引用,否则长回复链会被算成近重复。
  • 自动化发件按发件地址与主题识别:系统账号、报销系统、新闻信、退信与“out of the office”自动回复。人发出的新闻剪报和群发公告不算自动化。
  • 事项按去掉 RE:/FW: 后的主题归并;空主题各自成一项。
  • 来信最后所在的文件夹(收件箱、已删除或某个归档夹)是事后的处置,只用于弱标注,不进入帧;事件 ID 用 Message-ID 的摘要,避免从文件路径看出文件夹。
  • 同一 Message-ID 在多个文件夹里的副本会合成一条;这个窗口里没有出现这种副本。

局限 ​

  • 2001 年的企业邮件没有机器人通知、CI 或社交媒体,噪音来源和今天的工作流不同。
  • 窗口恰逢公司危机公开化,新闻剪报与内部公告比平时多。
  • 语料来自他交出的邮箱,可能已有人工删减;文件夹整理的时间未知。