AudioCraft 是什么网站?
AudioCraft 是 Meta AI 推出的生成式音频研究项目，官网为 audiocraft.metademolab.com。它把音乐生成、音效生成和音频压缩整合到同一个代码库中，面向音频生成任务的研究与开发。如果你需要了解文本生成音乐或环境音效的技术方案，或者想找一套可复用的生成式音频代码基础，这个网站是入口。
它包含哪些模型
AudioCraft 不是单一模型，而是一个统一代码库，核心由三个部分组成：
| 模型 | 作用 |
|---|---|
| MusicGen | 文本生成音乐，根据用户提供的文本输入生成多样且较长的音乐样本 |
| AudioGen | 文本生成音效，学习从环境声音中生成音频 |
| EnCodec | 神经音频编解码器，把原始波形映射为离散音频 token，也能把 token 还原回波形 |
三者关系是：EnCodec 负责音频与离散 token 之间的转换，MusicGen 和 AudioGen 则是在这些 token 上工作的生成模型。
它是怎么工作的
根据官网说明，AudioCraft 简化了以往生成式音频模型的设计。MusicGen 和 AudioGen 都由单个自回归语言模型（LM）构成，运行在压缩后的离散音乐表示（即 token）流之上。
整体流程可以概括为：
- 原始音频波形输入 EnCodec，被映射为一路或多路并行的离散 token 流。
- 单个自回归语言模型递归地对这些音频 token 建模。
- 生成的 token 再交给 EnCodec 解码器，映射回音频空间，得到输出波形。
- 通过不同类型的条件模型控制生成，例如用预训练文本编码器实现文本到音频的应用。
官网特别提到一种 token 交错模式，让单个模型就能高效建模音频序列，同时捕捉音频中的长期依赖关系，从而生成高质量音频。
适合谁用
- 想研究文本生成音乐或音效的技术人员
- 需要一套统一代码库来处理音乐、音效和音频压缩的开发者
- 关注生成式音频模型设计（自回归 LM + 神经音频编解码器）的研究者
从哪里开始
官网首页提供了几个直接入口：
- Go to the code：进入代码库
- MusicGen / AudioGen / EnCodec：分别查看各模型的详细介绍
- Listen to the samples：试听文本生成音效和文本生成音乐的样本
- Resources：包含 Meta AI 博客、技术细节、代码、模型卡、隐私政策、条款和 GitHub
如果只是想判断它是否符合需求，可以先试听 MusicGen 和 AudioGen 的样本，再决定是否深入代码。