GPT-4o背后可能的语音技术 原创

发布于 2024-6-13 13:00
浏览
0收藏

如果我不说明这是一段GPT-4o调戏主持人的视频,你是否会认为电话另一端是真人在对话?

GPT-4o在与人类的对话过程中,不仅能理解人的情绪,还能像人一样说话。

总结来说,GPT-4o具有下列语音能力:

  • 具有丰富的语音风格:语速快一点语调柔和一点或者用说唱的风格;
  • 可以理解语音以外的信息:喘气声叹气声;
  • 可以发出非语言声音:笑声;
  • 可以进行自然而即时的互动,不需要唤醒词。​

其实,早在GPT-4o以前,GPT3.5手机版就有语音功能,那么它和新版的GPT-4o有什么区别呢?李宏毅教授对GPT-4o背后的语音技术进行了分析,下面是对其分析内容的总结,后台回复cam获取pdf下载链接

老版本的ChatGPT是先通过语音识别模型(whisper)将语音转换成文本,然后将文本传送给大模型(ChatGPT),最后通过语音合成模型(TTS)将大模型的输出合成语音。

GPT-4o背后可能的语音技术 -AI.x社区

然而,文本作为语音的某种压缩,在语音转换为文本的过程中,情感信息往往无法被保留,导致后面生成的声音显得单调。

为了解决这个问题,有人在此基础上加入了情感分析模块,将情感信息以上下文的形式发给大模型和语音合成模块。

GPT-4o背后可能的语音技术 -AI.x社区

虽然这在一定程度上解决了情感丢失问题,但情感分析语音识别语音合成这三个独立的模块,无疑增加了推理负担,这也是为什么老版本会思考片刻才会做出回应的原因,“反应迟钝”在多人对话中显得很不自然。

而GPT-4o是一个端到端的语音模型。

GPT-4o背后可能的语音技术 -AI.x社区

文本语言模型输入、输出都是文本,处理文本时,先要将文本转换成tokens,然后将token ids转换成词嵌入输入到Transformer,最后将Transformer输出的token ids解码成token。

GPT-4o背后可能的语音技术 -AI.x社区

GPT-4o输入、输出都是语音,声波是一种模拟信号,别说是大模型,就算是计算机也没办法直接处理模拟信号,所以很多音频处理软件需要先通过声卡将模拟信号转换成数字信号。

GPT-4o背后可能的语音技术 -AI.x社区

语音版语言模型也需要类似的编解码器,它不仅要将连续的语音转换成离散的tokens,还要将其压缩到隐空间,但文字是人造的,语音是自然生成的,所以没办法像NLP那样构造一个词表,这个过程需要神经音频编解码模型模型来完成

神经音频编解码模型也并不是什么新玩意,最初用于音频数据压缩传输。下图列出了神经编解码模型的重要时间节点。

GPT-4o背后可能的语音技术 -AI.x社区

编码器负责将语音压缩到离散的隐空间,解码器负责将隐空间信息解压缩成语音信号,这个隐空间类似于词嵌入空间。

GPT-4o背后可能的语音技术 -AI.x社区

将语音信号编码成离散的数字向量后就可以输入到Transformer中了,其它的和大语言模型基本就一样了。

下图是基于神经编解码模型的大语言模型,也就是说GPT-4o很可能就是这个样子的。神经编解码模型是和语言模型一起训练的,而在老版本中,语言模型和三个独立模块都是单独训练的。

GPT-4o背后可能的语音技术 -AI.x社区

和基于文本的大模型一样,基于语音的大模型也需要经过预训练和微调过程。

GPT-4o背后可能的语音技术 -AI.x社区

但鉴于文本资料要比语音资料丰富,所以可能会用文本语言模型的参数去初始化语音版语言模型。

GPT-4o背后可能的语音技术 -AI.x社区




本文转载自公众号人工智能大讲堂 

原文链接:​​https://mp.weixin.qq.com/s/kfV4T0lTNiBFyl3EAEM8qw​

©著作权归作者所有,如需转载,请注明出处,否则将追究法律责任
收藏
回复
举报
回复
相关推荐