Stability AI开源47秒音频生成模型，虫鸣鸟叫、摇滚、鼓点都能生成

轻薄滴假象

发布于 2024-6-7 12:55

浏览

0收藏

音频生成领域又有好消息：刚刚，Stability AI 宣布推出开放模型 Stable Audio Open，该模型能够生成高质量的音频数据。

Stability AI开源47秒音频生成模型，虫鸣鸟叫、摇滚、鼓点都能生成-AI.x社区

项目地址：https://huggingface.co/stabilityai/stable-audio-open-1.0

与 Stability AI 的商业 Stable Audio 产品（可生成长达三分钟的更长、连贯的音乐曲目）不同，Stable Audio Open 可以通过简单的文本提示生成长达 47 秒的高质量音频数据。

经过专业训练后，这个模型已经非常适合创建鼓点、乐器 riffs、环境音、拟声录音和其他用于音乐制作和声音设计的音频样本。虽然它可以生成简短的音乐片段，但它并未针对完整的歌曲、旋律或人声进行优化。

Stable Audio Open 的主要优势在于，用户可以根据自己的自定义音频数据对模型进行微调。

比如，下方是鼓手根据自己的鼓声录音样本进行微调生成的新节拍：

warm_arpeggios_on_an_analog_synthesizer_with_a_gradually_ri

生成森林中鸟儿唱歌的音频：

【blackbird】tmp_gradio_8cc6bd4d9dd695112ffb021c7f3c9539e74

再生成一段「动次打次」的摇滚乐：

【摇滚】rock_beat_played_in_a_treated_studio_session_drummi

训练细节与数据集

Stable Audio Open 是基于 Transformer 架构的潜在扩散模型，由三个组件组成：将波形压缩为可管理序列长度的自编码器、用于文本调节的基于 T5 的文本嵌入，以及在自编码器的潜在空间中运行的基于 transformer 的扩散 (DiT) 模型。

随着包括 Stability 在内的音乐生成器越来越受欢迎，版权以及一些生成器创建者可能滥用版权的方式正成为人们关注的焦点。

Stability AI 对本次模型的训练采取了负责任的态度，在文生图模型训练上的「版权问题」曾让这家公司深陷争议之中。因此，Stable Audio Open 使用来自 FreeSound 和 Free Music Archive 的音频数据进行训练，确保未经许可未使用任何受版权保护或专有的材料。

数据集共包含 486492 个音频记录，其中 472618 个来自 Freesound，13874 个来自 Free Music Archive 。所有音频文件均为 CC0、CC BY 或 CC Sampling+ 许可。这些数据用于训练自编码器和 DiT，此外研究者使用了公开的预训练 T5 模型（t5-base）进行文本调节。

在开始训练之前，研究者进行了深入分析，以确保训练数据中没有未经授权的版权音乐。

他们首先使用基于 AudioSet 类别的 PANNs 音乐分类器识别了 FreeSound 中的音乐样本。被识别的音乐样本中至少有 30 秒的音乐被预测为属于音乐相关类别，阈值为 0.15（PANNs 输出概率范围为 0 至 1）。

识别出的音乐样本被发送到 Audible Magic（一家值得信赖的内容检测公司）的识别服务，以确保不存在受版权保护的音乐。Audible Magic 标记了疑似受版权保护的音乐，这些会被删除，然后再对数据集进行训练。大部分被删除的内容都是现场录音，其中的背景音乐都是受版权保护的。经过上述处理后，研究者得到了 266324 个 CC0、194840 个 CC-BY 和 11454 个 CC 采样 + 音频记录。

最后要确保的是， FMA 子集中不存在受版权保护的内容。在这种情况下，程序略有不同，因为 FMA 子集中包含音乐信号。研究者根据大型版权音乐数据库进行元数据搜索，并标记任何可能匹配的内容，被标记的内容会由人工逐一审核。这一过程之后，最终获得了 8967 首 CC-BY 和 4907 首 CC0 音乐。

局限性

Stable Audio Open 1.0 作为一个音频生成模型，也有一些局限性，包括：