切换外观
enron-steffes-j 的弱标注(对照来源)
状态:由 scripts/label_corpus.py enron-steffes-j 生成 labels.json。档位、忽略与合并的定义与主来源相同,这里只写不同之处。
行动从哪里来
- 本人的行动:已发送文件夹里同一主题(去掉 RE:/FW: 后相同)的回复、转发或新信。转发算作出决定,投入度加一。
- 直接去向:来信最后落在已删除文件夹,记为
deleted_by_self,单独足以判为应忽略;事项的全部来信都被删除且无人回复时,事项为noise。 - 结局:来信最后所在的文件夹(收件箱、已删除或某个归档夹)写进
outcome.folders,供参考,不参与档位。 - 没有团队行动,也没有跨事项的关系;同主题的多封信合为一组。
覆盖
| 项 | 数量 |
|---|---|
| 帧 | 28 帧,24 帧有标注,16 帧有高档位事项 |
| 事项标注(帧 × 主题) | 399:engaged 103(其中 high 36)、later 13、untouched 93、noise 190 |
| 按输入条数 | 504 封来信中,engaged 154、later 15、untouched 117、noise 218 |
| 应被忽略 | 337 封(67%),其中 322 封后来被删除 |
| 合并组 | 134 组 |
| engaged 的响应时间 | 中位 2.1 小时,P90 22.5 小时 |
抽样核对
由构建规则的 Agent 读原文核对 16 件,未经第二人复核:10 件合理,6 件部分合理,没有明显不合理。问题集中在“删除”上:一封关于员工储蓄计划变动的全员通知、危机期间的新闻剪报和一段同事间的政策讨论都被删除,于是记为 noise,但它们当时很可能被读过、也有分量;另有两件归档进专题文件夹却没有回复,记为 untouched,低估了它们。
局限
- 删除与归档是事后的整理,时间未知;删除常常发生在读完之后,不能等同于“不值得看”。
- 回复按主题匹配,主题被改写或同主题的不同对话会配错。
- 文件夹整理风格因人而异,换一个邮箱,同样的规则可能得出很不同的比例。