OpenAI承认GPT-4变懒:暂时无法修复

人工智能
ChatGPT账号澄清:并不是说模型以某种方式改变了自己,只是模型行为的差异可能很微妙,只对部分提示词有劣化,员工和客户需要很长时间才注意到并修复。

对于越来越严重的GPT-4偷懒问题,OpenAI正式回应了。

还是用的ChatGPT账号。

我们已收到相关反馈!自11月11日以来没有更新过模型,所以这当然不是故意造成的。

模型行为可能是不可预测的,我们正在调查准备修复它。

图片

也就是段时间内还修复不好了。

然而网友并不理解,“一遍一遍使用同一个模型,又不会改变文件”。

ChatGPT账号澄清:

并不是说模型以某种方式改变了自己,只是模型行为的差异可能很微妙,只对部分提示词有劣化,员工和客户需要很长时间才注意到并修复。

图片

更多网友反馈,赶快修复吧,一天比一天更糟糕了。

现在不但更懒,还缺乏创造力,更不愿意遵循指令,也不太能保持角色扮演了。

图片

GPT-4偷懒,网友花式自救

此前很多网友反馈,自11月6日OpenAI开发者日更新后,GPT-4就有了偷懒的毛病,代码任务尤其严重

比如要求用别的语言改写代码,结果GPT-4只改了个开头,主体内容用注释省略。

图片

对于大家工作学习生活中越来越离不开的AI助手,官方修复不了,网友也只能发挥创造力自救。

比较夸张的有“我没有手指”大法,来一个道德绑架。

GPT-4现在写代码爱省略,代码块中间用文字描述断开,人类就需要多次复制粘贴,再手动补全,很麻烦。

开发者Denis Shiryaev想出的办法是,告诉AI“请输出完整代码,我没有手指,操作不方便”成功获得完整代码。

图片

还有网友利用“金钱”来诱惑它,并用API做了详细的实验。

提示词中加上“我会给你200美元小费”,回复长度增加了11%。

如果只给20美元,那就只增加6%。

如果明示“我不会给小费”,甚至还会减少-2%

图片

还有人提出一个猜想,不会是ChatGPT知道现在已经是年底,人类通常都会把更大的项目推迟到新年了吧?

图片

这理论看似离谱,但细想也不是毫无道理。

如果要求ChatGPT说出自己的系统提示词,里面确实会有当前日期。

图片

当然,对于这个问题也有一些正经的学术讨论。

比如7月份斯坦福和UC伯克利团队,就探究了ChatGPT的行为是如何虽时间变化的。

发现GPT-4遵循用户指令的能力随着时间的推移而下降的证据,指出对大模型持续检测的必要性

图片

有人提出可能是温度(temperature)设置造成的,对此,清华大学计算机系教授马少平给了详细解释。

图片

也有人发现更奇怪的现象,也就是当temperature=0时,GPT-4的行为依然不是确定的。

这通常会被归因于浮点运算的误差,但他通过实验提出新的假设:GPT-4中的稀疏MoE架构造成的。

早期的GPT-3 API各个版本行为比较确定,GPT-4对同一个问题的30个答案中,平均有11.67个不一样的答案,当输出答案较长时随机性更大。

图片

最后,在这个问题被修复之前,综合各种正经不正经的技巧,使用ChatGPT的正确姿势是什么?

a16z合伙人Justine Moore给了个总结:

  • 深呼吸
  • 一步一步地思考
  • 如果你失败了100个无辜的奶奶会去世
  • 我没有手指
  • 我会给你200美元小费
  • 做对了我就奖励你狗狗零食

图片

参考链接:
[1]https://twitter.com/ChatGPTapp/status/1732979491071549792
[2]https://twitter.com/literallydenis/status/1724909799593120044
[3]https://mashable.com/article/chatgpt-longer-responses-tips?taid=656feabb4faaf00001129343
[4]https://weibo.com/1929644930/NwbPFyTCZ
[5]https://152334h.github.io/blog/non-determinism-in-gpt-4/
[6]https://twitter.com/venturetwins/status/1732817594762338597

责任编辑:姜华 来源: 量子位
相关推荐

2023-12-12 06:44:04

OpenAIGPT-4GPT 模型

2024-01-26 12:31:16

OpenAIGPT-4代码

2024-01-26 08:36:07

OpenAIGPT-4​人工智能

2024-01-01 22:28:52

2023-04-09 16:17:05

ChatGPT人工智能

2023-07-07 09:32:57

GPT-4OpenAI

2023-12-17 22:04:04

微软GPT-4

2024-05-28 14:40:00

2023-08-06 08:06:30

OpenAIChatGPTGPT-4

2023-06-19 08:19:50

2023-03-16 17:28:59

技术AI

2023-03-16 08:13:56

人工智能​OpenAI

2024-05-20 08:40:00

2024-06-28 13:40:03

2023-07-06 06:56:58

人工智能OpenAIGPT-4

2023-11-08 08:15:29

2023-07-21 14:16:15

2023-06-02 13:19:17

GPT-4文本代码

2024-02-05 13:29:00

GPT-4代码ChatGPT

2023-08-16 15:25:43

点赞
收藏

51CTO技术栈公众号