Skip to content

enron-steffes-j 的弱标注(对照来源) ​

状态:由 scripts/label_corpus.py enron-steffes-j 生成 labels.json。档位、忽略与合并的定义与主来源相同,这里只写不同之处。

行动从哪里来 ​

  • 本人的行动:已发送文件夹里同一主题(去掉 RE:/FW: 后相同)的回复、转发或新信。转发算作出决定,投入度加一。
  • 直接去向:来信最后落在已删除文件夹,记为 deleted_by_self,单独足以判为应忽略;事项的全部来信都被删除且无人回复时,事项为 noise。
  • 结局:来信最后所在的文件夹(收件箱、已删除或某个归档夹)写进 outcome.folders,供参考,不参与档位。
  • 没有团队行动,也没有跨事项的关系;同主题的多封信合为一组。

覆盖 ​

项数量
帧28 帧,24 帧有标注,16 帧有高档位事项
事项标注(帧 × 主题)399:engaged 103(其中 high 36)、later 13、untouched 93、noise 190
按输入条数504 封来信中,engaged 154、later 15、untouched 117、noise 218
应被忽略337 封(67%),其中 322 封后来被删除
合并组134 组
engaged 的响应时间中位 2.1 小时,P90 22.5 小时

抽样核对 ​

由构建规则的 Agent 读原文核对 16 件,未经第二人复核:10 件合理,6 件部分合理,没有明显不合理。问题集中在“删除”上:一封关于员工储蓄计划变动的全员通知、危机期间的新闻剪报和一段同事间的政策讨论都被删除,于是记为 noise,但它们当时很可能被读过、也有分量;另有两件归档进专题文件夹却没有回复,记为 untouched,低估了它们。

局限 ​

  • 删除与归档是事后的整理,时间未知;删除常常发生在读完之后,不能等同于“不值得看”。
  • 回复按主题匹配,主题被改写或同主题的不同对话会配错。
  • 文件夹整理风格因人而异,换一个邮箱,同样的规则可能得出很不同的比例。