使用 The Pile 应如何引用,排行榜上的 BPB 成绩代表什么?

更新时间

使用 The Pile 或其任一子数据集时，应引用论文《The Pile: An 800GB Dataset of Diverse Text for Language Modeling》（作者 Gao、Biderman、Black 等，arXiv:2101.00027，2020）。排行榜按 Test BPB 从低到高排名，BPB 越低表示模型在该基准上的表现越好；榜上 GPT-3（Zero-Shot）为 0.7177，GPT-2（Zero-Shot）为 1.2253。

引用格式与要点

官网 Citing 部分给出的 BibTeX 条目可直接用于论文或项目文档：

@article{pile,
  title={The {P}ile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and Presser, Shawn and Leahy, Connor},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

引用时注意三点：

  • 范围：官网明确要求，使用 The Pile 或其中任何组件（22 个子数据集之一）都要引用。
  • 版本信息：论文标题写的是 800GB，而数据集实际规模为 825 GiB，两者指同一发布版本，引用时以论文条目为准即可。
  • arXiv 编号：2101.00027 是定位该论文的关键标识，比标题更不容易混淆。

排行榜与 BPB 的含义

BPB 即 bits per byte（每字节比特数），衡量模型在 Pile 测试集上预测下一个字节所需的平均信息量。它越低越好：数值越低，说明模型对文本的压缩与预测能力越强。

官网对 Pile BPB 的定位是：要取得好成绩，模型必须理解书籍、GitHub 仓库、网页、聊天记录，以及医学、物理、数学、计算机科学、哲学论文等差异极大的领域。因此它被视为衡量大模型通用、跨领域文本建模能力的稳健基准，而不只是传统语言建模分数的补充。

官网列出的成绩如下：

排名 模型 类型 Test BPB
1 GPT-3 Zero-Shot* 0.7177
2 GPT-2 Zero-Shot* 1.2253

读这张表时要注意两个标记：

  • 星号（*）：表示可能存在测试集重叠，即模型训练数据与 Pile 测试部分有交集，成绩需谨慎解读。
  • Zero-Shot：表示 Pile 的组成部分并未全部出现在该模型的训练数据中，属于零样本条件下的评测。

官网还说明，评测代码由 EleutherAI 于 2021 年提供；如果你的模型使用或评测了 Pile，官网欢迎告知。

引用与评测的常见卡点

  • 只引网站不引论文：正式学术场景应使用上面的 BibTeX 条目，而不是仅标注 pile.eleuther.ai。
  • 把 BPB 当准确率：BPB 是信息量指标，数值低代表好，不要按“越高越好”理解。
  • 忽略星号：带 * 的成绩存在测试集重叠嫌疑，横向比较时应单独说明。
  • 混淆规模表述：825 GiB 是数据集实际大小，800GB 是论文标题中的表述，二者不矛盾，但引用和描述时不要混用单位含义。