知识库

知识解答

使用 The Pile 应如何引用,排行榜上的 BPB 成绩代表什么?

使用 The Pile 或其任一子数据集时，应引用论文《The Pile: An 800GB Dataset of Diverse Text for Language Modeling》（作者 Gao、Biderman、Black 等，arXiv:210...

如何下载 The Pile 数据集,文件是什么格式?

The Pile 的下载入口在官网 pile.eleuther.ai 的 Download 部分，页面写明数据集由 Eye 托管，提供 “Download Pile” 链接。文件格式为 jsonlines，并使用 zstandard 压缩。下载前需要知道...

为什么说 The Pile 是好的训练集和评测基准?

The Pile 的价值可以从两个角度看：作为训练集，它把 22 个高质量数据集组合成 825 GiB 的多样文本，有助于模型获得跨领域知识和下游泛化能力；作为评测基准，它的 Pile BPB 指标要求模型同时理解书籍、代码仓库、网页、聊天记录以及医学、...

The Pile 数据集包含哪些内容,适合用来做什么?

The Pile 是一个约 825 GiB 的开源语言建模数据集，由 22 个较小的数据集合并而成，格式为 jsonlines 数据并用 zstandard 压缩。它适合两类用途：一是作为大型语言模型的训练语料，二是作为评测基准（Pile BPB，即 b...

The Pile 是什么网站?

The Pile 是 EleutherAI 发布的一个开源语言建模数据集，规模为 825 GiB，由 22 个较高质量的子数据集合并而成。如果你需要训练或评测大语言模型、想找一个跨领域文本语料，或者想查 Pile BPB 排行榜，这个网站就是对应的资源入...