WEBSITES BY TAG

pile.eleuther.ai网站

发现带有“pile.eleuther.ai”标签的网站，查看网站简介、分类、相似站点与可验证的技术信息。

当前收录 1 个可公开网站

pile.eleuther.ai相关网站

共 1 个网站 · 每页 20 个

实用指南

使用 The Pile 应如何引用,排行榜上的 BPB 成绩代表什么?
使用 The Pile 或其任一子数据集时，应引用论文《The Pile: An 800GB Dataset of Diverse Text for Language Modeling》（作者 Gao、Biderman、Black 等，arXiv:2101.00027，2020）。排行榜按 T...
如何下载 The Pile 数据集,文件是什么格式?
The Pile 的下载入口在官网 pile.eleuther.ai 的 Download 部分，页面写明数据集由 Eye 托管，提供 “Download Pile” 链接。文件格式为 jsonlines，并使用 zstandard 压缩。下载前需要知道：这是一个 825 GiB 的大型开源语...
为什么说 The Pile 是好的训练集和评测基准?
The Pile 的价值可以从两个角度看：作为训练集，它把 22 个高质量数据集组合成 825 GiB 的多样文本，有助于模型获得跨领域知识和下游泛化能力；作为评测基准，它的 Pile BPB 指标要求模型同时理解书籍、代码仓库、网页、聊天记录以及医学、物理、数学、计算机科学、哲学论文等差异很...
The Pile 数据集包含哪些内容,适合用来做什么?
The Pile 是一个约 825 GiB 的开源语言建模数据集，由 22 个较小的数据集合并而成，格式为 jsonlines 数据并用 zstandard 压缩。它适合两类用途：一是作为大型语言模型的训练语料，二是作为评测基准（Pile BPB，即 bits per byte），衡量模型在跨...
The Pile 是什么网站?
The Pile 是 EleutherAI 发布的一个开源语言建模数据集，规模为 825 GiB，由 22 个较高质量的子数据集合并而成。如果你需要训练或评测大语言模型、想找一个跨领域文本语料，或者想查 Pile BPB 排行榜，这个网站就是对应的资源入口。它本身不是软件工具，也不提供在线训练...