Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conversation，VC）等语音下游任务的性能。然而这些模型都没有公开的中文版本，不便于应用在中文语音研究场景。
WenetSpeech [4] 是由西工大音频、语音和语言处理研究组 (ASLP@NPU)、出门问问、希尔贝壳联合发布的 1 万多小时多领域语音数据集。为了弥补中文语音预训练模型的空缺，我们开源了基于 WenetSpeech 1 万小时数据训练的中文版 Wav2vec 2.0 和 HuBERT 模型。
为了验证预训练模型的性能，我们在 ASR 任务进行了验证。实验结果表明，在 100 小时有监督数据 ASR 任务上，预训练模型学到的语音表征相对于传统声学 FBank 特征有显著的性能提升，甚至仅用 100 小时有监督数据能够得到和 1000 小时有监督数据可比的结果。
模型链接：https://github.com/TencentGameMate/chinese_speech_pretrain
模型介绍
Wav2vec 2.0 模型
图 1: Wav2vec 2.0 模型结构 (Baevski et al., 2020)
Wav2vec 2.0 [1] 是 Meta 在 2020 年发表的无监督语音预训练模型。它的核心思想是通过向量量化（Vector Quantization，VQ）构造自建监督训练目标，对输入做大量掩码后利用对比学习损失函数进行训练。模型结构如上图 1，基于卷积网络（Convoluational Neural Network，CNN）的特征提取器将原始音频编码为帧特征序列，通过 VQ 模块把每帧特征转变为离散特征 Q，并作为自监督目标。同时，帧特征序列做掩码操作后进入 Transformer [5] 模型得到上下文表示 C。最后通过对比学习损失函数，拉近掩码位置的上下文表示与对应的离散特征 q 的距离，即正样本对。原论文中，Wav2vec 2.0 BASE 模型采用 12 层的 Transformer 结构，用 1000 小时的 LibriSpeech 数据进行训练，LARGE 模型则采用 24 层 Transformer 结构，用 6 万小时的 Libri-light 数据训练。训练时间方面，BASE 模型使用 64 块 V100 显卡训练 1.6 天，LARGE 使用 128 块 V100 显卡训练 5 天。在下游 ASR 评测中，即使只用 10 分钟的有监督数据，系统仍可得到 4.8 的词错误率（Word Error Rate, WER）结果。
HuBERT 模型
图 2: HuBERT 模型结构 (Hsu et al., 2021)
HuBERT [2] 是 Meta 在 2021 年发表的模型，模型结构类似 Wav2vec 2.0，不同的是训练方法。Wav2vec 2.0 是在训练时将语音特征离散化作为自监督目标，而 HuBERT 则通过在 MFCC 特征或 HuBERT 特征上做 K-means 聚类，得到训练目标。HuBERT 模型采用迭代训练的方式，BASE 模型第一次迭代在 MFCC 特征上做聚类，第二次迭代在第一次迭代得到的 HuBERT 模型的中间层特征上做聚类，LARGE 和 XLARGE 模型则用 BASE 模型的第二次迭代模型提取特征做聚类。从原始论文实验结果来看，HuBERT 模型效果要优于 Wav2vec 2.0，特别是下游任务有监督训练数据极少的情况，如 1 小时、10 分钟。
中文预训练模型
实验配置我们使用 WenetSpeech [4] train_l 集的 1 万小时中文数据作为无监督预训练数据。数据主要来源于 YouTube 和 Podcast，覆盖了各种类型录制场景、背景噪声、说话方式等，其领域主要包括有声书、解说、纪录片、电视剧、访谈、新闻、朗读、演讲、综艺和其他等 10 大场景。我们基于 Fairseq 工具包 [6] 分别训练了 Wav2vec 2.0 和 HuBERT 模型，遵循 [1，2] 的模型配置，每个预训练模型模型包括 BASE 和 LARGE 两种大小。对于 BASE 模型，我们使用 8 张 A100 显卡，梯度累计为 8，模拟 64 张显卡进行训练。对于 LARGE 模型，我们使用 16 张 A100 显卡，梯度累计为 8，模拟 128 张显卡进行训练。
下游语音识别任务验证为了验证预训练模型在下游 ASR 任务的效果，我们遵循 ESPnet [7,8,9] 工具包中的 Conformer [10] 模型实验配置，即将预训练模型作为特征提取器，对于输入语音提取预训练模型各隐层表征进行加权求和，得到的语音表征将替换传统 FBank 特征作为 Conformer ASR 模型的输入。
- Aishell 数据集
我们使用 Aishell 178 小时训练集作为有监督数据进行训练，分别对比了使用 FBank 特征、Wav2vec 2.0 BASE/LARGE 模型特征和 HuBERT BASE/LARGE 模型特征的字错误率 (Character Error Rate, CER) 结果。同时，我们额外对比了使用 WenetSpeech train_l 集 1 万小时中文数据进行训练时，其在 Aishell 测试集上的效果。训练数据使用了变速（0.9、1.0、1.1 倍）和 SpecAugment 数据增广技术，解码方式为 beam search，使用了基于 Transformer 的语言模型进行 rescoring。
表 1：不同模型在 Aishell 测试集上的字错误率（CER%）结果
根据表 1 结果可以看到，通过结合上万小时无监督数据训练的预训练模型，下游 ASR 任务效果均有显著提升。尤其是使用 HuBERT LARGE 模型时，在 Test 集上得到约 30% 的 CER 相对提升，实现了目前在 178h 有监督训练数据下业界最好结果。
- WenetSpeech 数据集
我们使用 WenetSpeech train_s 集 100 小时中文数据作为有监督数据进行训练，分别对比了使用 FBank 特征、Wav2vec 2.0 BASE/LARGE 模型特征和 HuBERT BASE/LARGE 模型特征的字错误率 (Character Error Rate, CER) 结果。同时，我们额外对比了使用 WenetSpeech train_m 集 1000 小时和 train_l 集 1 万小时中文数据 FBank 特征训练的模型结果。训练数据没有使用变速或 SpecAugment 数据增广技术，解码方式为 beam search，没有使用语言模型 rescoring。
表 2：不同模型在 WenetSpeech 测试集上的字错误率（CER%）结果
根据表 2 结果可以看到，通过结合上万小时无监督数据训练的预训练模型，下游 ASR 结果得到了巨大提升。尤其当使用 HuBERT LARGE 作为语音表征提取器时，使用 100 小时有监督数据训练的 ASR 模型要比 1000 小时基于 FBank 特征训练的模型效果要好，甚至接近 1 万小时数据训练的模型。
更多语音下游任务实验结果请关注 GitHub 链接（https://github.com/TencentGameMate/chinese_speech_pretrain）。欢迎大家使用我们提供的中文语音预训练模型开展研究工作，一起探索语音预训练模型在中文和相关众多场景下的应用。
