切换外观
enron-steffes-j 的噪音画像(对照来源)
状态:由 scripts/build_corpus.py noise enron-steffes-j 生成的 noise.json 整理。原文不入库,下文不引正文。
窗口是 2001-10-22 至 11-04(America/Chicago),邮箱主人是 Enron 的 James D. Steffes,来源与范围见语料说明。它和主来源 curl-bagder 的噪音形态不同,可以检验 Agent 的取舍是否只对开源维护者的通知流有效。
一眼看差别
- 长,而且层层引用。 中位 1428 字符,P90 5320 字符,277 条(37%)超过 2000 字被截断;来信里 225 封(45%)带着整段“Original Message”或转发链。手写情境最长 67 字。
- 广播多于对话。 来信收件人加抄送中位 3 人、P90 18 人,104 封(21%)同时发给 10 人以上;新闻剪报“Enron Mentions”两周 13 封。
- 一次性的多。 402 个主题里 258 个只出现一次;手写情境的 13 个事项只有 4 个只出现一次。
- 文本规则抓到的低信息量只有 10%(系统通知、新闻信、自动回复、空正文与致谢),远低于主来源;但 504 封来信里有 322 封最后进了已删除,说明这里的噪音主要是“与我无关”,而不是“没有内容”。
- 时间集中在工作日白天。 中位间隔 4.7 分钟,116 次与上一条落在同一分钟;周末与夜间很少,3 个 12 小时帧是空的。
并排指标
| 指标 | Enron 邮箱 | 手写情境 |
|---|---|---|
| 输入条数(来信 / 本人发出) | 754(504 / 250) | 112 |
| 帧数;每帧均值 / 中位 / 最多;空帧 | 28;26.9 / 19 / 81;3 | 37;3.0 / 3 / 9;3 |
| 每帧原文字符 中位 / 最多(截断后) | 24,374 / 105,771 | 101 / 376 |
| 作者:他人 / 本人 / 机器人 / 自动化发件 | 463 / 250 / 0 / 41 | 65 / 26 / 13 / 8 |
| 不同作者;前 5 位占比 | 138;46% | 27;59% |
| 低信息量合计(占全部;占他人发来) | 62(8%);10% | 21(19%);24% |
| 其中机器人 / 模板通知 / 空内容 / 致谢附和 | 41 / 0 / 7 / 14 | 21 / 0 / 0 / 0 |
| 核心文本完全重复(其中 ≥30 字) | 34(11) | 0(0) |
| 近重复(≥30 字,7 天内 4-gram Jaccard ≥ 0.6) | 28(4%) | 0(0%) |
| 事项(邮件主题)数;只出现一次的 | 402;258 | 13;4 |
| 每事项输入数 中位 / P90 / 最多 | 1 / 4 / 17 | 8 / 15.8 / 17 |
| 长度(字符)P10 / 中位 / P90 / 最长 | 222 / 1428 / 5320 / 122,537 | 18 / 35 / 47 / 67 |
| 超过 2000 字被截断;短于 20 字 | 277;2 | 0;14 |
| 到达间隔(分钟)P10 / 中位 / P90 / 最长 | 0.6 / 4.7 / 34.7 / 2003 | 3 / 13 / 736 / 1400 |
| 同一分钟内连续到达 | 116 | 0 |
| 当地 0–7 点到达 | 12(2%) | 0 |
口径差异
- 指标定义与主来源相同。“核心文本”另外截去 Outlook 式回复下方的“Original Message”引用,否则长回复链会被算成近重复。
- 自动化发件按发件地址与主题识别:系统账号、报销系统、新闻信、退信与“out of the office”自动回复。人发出的新闻剪报和群发公告不算自动化。
- 事项按去掉 RE:/FW: 后的主题归并;空主题各自成一项。
- 来信最后所在的文件夹(收件箱、已删除或某个归档夹)是事后的处置,只用于弱标注,不进入帧;事件 ID 用 Message-ID 的摘要,避免从文件路径看出文件夹。
- 同一 Message-ID 在多个文件夹里的副本会合成一条;这个窗口里没有出现这种副本。
局限
- 2001 年的企业邮件没有机器人通知、CI 或社交媒体,噪音来源和今天的工作流不同。
- 窗口恰逢公司危机公开化,新闻剪报与内部公告比平时多。
- 语料来自他交出的邮箱,可能已有人工删减;文件夹整理的时间未知。