OpenAI 语音转写工具 Whisper 被曝存在重大缺陷:会凭空生成大段虚假内容

人工智能
据美联社报道,超过十位软件工程师、开发人员和学术研究人员称,OpenAI 的语音转写工具 Whisper 存在一个重大缺陷:有时会凭空生成大段甚至整句虚假内容。

10 月 28 日消息,当地时间 27 日,据美联社报道,超过十位软件工程师、开发人员和学术研究人员称,OpenAI 的语音转写工具 Whisper 存在一个重大缺陷:有时会凭空生成大段甚至整句虚假内容

这些专家指出,这些生成的文本(IT之家注:业内通常称为“AI 幻觉”)可能涉及种族言论、暴力措辞,甚至杜撰的医疗建议

专家们认为,这一问题尤其令人担忧,因为 Whisper 已被广泛应用于全球多个行业,包括用于翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。

更具风险的是,尽管 OpenAI 已提醒不应在“高风险领域”使用该工具,但一些医疗机构仍在匆忙采用基于 Whisper 的工具来记录医生与患者的咨询记录。

报道称,研究人员和工程师在工作中经常遇到 Whisper 的“幻觉”现象,问题的整体规模尚不清楚。例如,密歇根大学一位研究员在研究公共会议时发现,在尝试改进模型前,他所检查的十份音频转录中,八份含有虚构内容

一位机器学习工程师透露,在最初分析的超过 100 小时 Whisper 转录中,他发现大约一半的内容存在“幻觉”现象。一位开发人员进一步指出,在他用 Whisper 生成的 26000 份转录中,几乎每一份都带有虚构内容。

即便是音质良好的简短音频样本,也未能幸免于这些问题。计算机科学家们的最新研究表明,他们审查的 13000 多段清晰音频片段中,有 187 段出现了“幻觉”现象。

研究人员认为,这一趋势意味着,在数百万条录音中将可能出现数以万计的错误转录。

OpenAI 的发言人表示,该公司持续研究如何减少幻觉,并且感谢研究者的发现,将会在模型更新中采纳反馈。

责任编辑:庞桂玉 来源: IT之家
相关推荐

2023-01-30 17:14:40

人工智能语音识别

2011-03-30 10:15:24

2024-10-28 07:15:00

OpenAIWhisper语音转录工具

2010-03-02 09:48:40

2024-12-09 11:06:31

2009-09-09 08:33:32

2023-11-09 09:00:00

OpenAI人工智能Whisper

2021-02-26 13:14:37

Flash漏洞威胁

2023-11-05 10:01:37

AI模型

2015-07-15 11:42:23

2009-08-06 08:36:58

Windows 7内存泄露系统崩溃

2022-03-29 11:46:31

漏洞黑暗之魂死亡循环

2010-11-04 09:26:56

2023-11-23 13:45:00

模型训练

2010-04-06 11:12:07

Office2010代码

2024-08-05 14:40:00

2024-11-14 18:40:57

2024-09-26 08:21:41

2024-02-26 13:48:00

模型数据

2014-12-24 12:34:48

点赞
收藏

51CTO技术栈公众号