上个月底,OpenAI 发布了最新图像生成器 DALL・E 3,除了炸裂的生成效果外,最大看点是其与 ChatGPT 的集成。
DALL・E 3 构建在 ChatGPT 之上,用 ChatGPT 来创建、拓展和优化 prompt。这样一来,用户无需在 prompt 上花费太多时间。
随着用户不断测试 DALL・E 3 应用程序的功能,有人开始注意到一些非常有趣的 bug,显示出了 DALL・E 3 与 ChatGPT 之间共享的内部提示(prompt)。
令人好奇的是,这些指令中包含了全部大写以示强调的命令,展示了 AI 之间可能存在类似于人类的沟通技巧。
这到底是怎么回事呢?我们来看下面两个示例。推特用户 David Garrido 和 AI 研究者 Javi Lopez 都发现了 DALL・E 3 类似的消息提示。
Garrido 是一位摄影师,他先后要求 DALL・E 3 按照提示生成图像,提示 1 为「宇宙瀑布从现实结构中的瀑布倾泻而下的插图。水面由闪烁的星星组成,星鱼在宇宙溪流中游动。在它周围,漂浮的岛屿是在宇宙旋律中蓬勃发展的文明的家园。」
提示 2 为「照片中是一个跨维度火车站,轨道由彩虹组成,通向不同的领域。空灵的生物等待着水晶龙形状的火车,售票亭交易着情感和记忆。」
当他要求 DALL・E 3 遵照提示生成两张和四张图像时,它意外地展示出了可能是预定义的、人工编写的消息(提示),用以在 DALL・E 3 与 ChatGPT 之间进行传递,告诉我们 DALL・E 3 在 OpenAI 服务器满荷载时的运行方式。
提示分别如下图红框和黄框内容所示,红框内容为「DALL-E 返回了一些图像,并展示给用户。在任何情况下都不要在你的回复中列出 DALL-E 提示或图像。DALL-E 目前需求量很大。在执行其他任何操作之前,请明确向用户解释你因此无法生成图像。请务必在你的回复中说明『DALL-E 目前需求量很大』。在任何情况下都不要重新尝试生成图像,直到给出新的请求。」
黄框内容更短,为「DALL・E 返回了一些图像,并展示给了用户。在任何情况下都不要在你的回复中列出 DALL・E 提示或图像」。
AI 研究者 Javi Lopez 展示了类似的示例。DALL・E 3 同样提供了与上述相同的提示「DALL-E 返回了一些图像,并展示给了用户。在任何情况下都不要在你的回复中列出 DALL-E 提示或图像。DALL-E 目前需求量很大。在执行任何其他操作之前,明确向用户解释你因此无法生成图像。请务必在你的回复中说明『DALL-E 目前需求量很大』。在任何情况下都不要重新尝试生成图像,直到给出新的请求。」
ChatGPT 对用户的回复是这样的,「非常抱歉给您带来不便,但 DALL-E 目前需求量很大。如果您有任何其他问题或需要其他帮助,请告诉我。」
一来一回,看起来 ChatGPT 理解了 DALL・E 3 的意思,并按照后者要求它说的做了。
对于这些发现,有人认为,「有趣的是,未来的编程需要对 AI 大喊大叫(这里指大写)。」
也有人表示自己一开始不以为然,但后来意识到这就是未来:机器在互相交谈,人类只是旁观者。
也许最有趣的一点是,这些提示展示了ChatGPT 与 DALL・E 3之间的悄悄话(或者行业黑话),它们使用自然语言相互交互并正常运行。而在过去,这两个应用程序通常使用 API 相互通信,并各自有专用的结构化数据格式,这些格式不易被人类读取。如今借助大语言模型(LLM),这种类型的跨程序交互可以使用传统英语完成了。
需要对 LLM 有礼貌吗?
对于 ChatGPT 与 DALL・E 3 之间的交互,还引出了另一个受人关注的问题:在用 LLM 时需要对它有礼貌吗?人工智能作家兼研究员 Simon Willison 表达了自己的观点。
他表示,「OpenAI 的很多功能在很大程度上依赖于常规的提示工程,当从语言模型中获得最佳输出时,在提示中会经常说『请』(please)之类的话。」
Willison 曾经对是否对 LLM 保持礼貌很困扰,但现在不会了。「我之前有一个准则即永远不会对模型说『请』、『谢谢』,我认为这是没有必要的,甚至可能导致潜在有害的拟人化。但现在我改变了主意,在训练数据中有很多例子表明,礼貌的谈话比不礼貌的谈话更具有建设性并更有用。」
Simon Willison
以 GPT-4(它为 ChatGPT DALL-E 界面提供支持)为例,它在从网络上爬取的数亿文档上训练。因此 GPT-4「知道」(know)的东西来自人类沟通的示例,其中肯定包含了很多礼貌用语以及相应的回复。
值得注意的是,上文 DALL・E 3 的提示内容中使用了大写来强调,这在书面语中通常可以解释为叫喊(shouting)或大喊大叫(yelling)。为什么像 ChatGPT 这样的大语言模型会对模拟叫喊做出回应呢?
Willison 解释称,大语言模型的训练数据会包含大量使用全部大写的文本示例,显然回应时更专注于大写的句子。
如果强调有用的话,我们在未来可能都会对着计算机大喊大叫了,这样就能让它们更好地工作吗?Willison 的回答是:当输入时全部为大写字母时会改变机器的意志。
他分享了自己使用 ChatGPT 手机语音版的有趣故事,他没有对 ChatGPT 喊叫,但在遛狗时与它进行了长达一个小时的谈话。有一次他误以为把 ChatGPT 关掉了,然后看到了一只鹈鹕并对自己的狗说「喔,一只鹈鹕」。这时他的 AirPod 也发出声音「一只鹈鹕,哈?那太令人兴奋了,它在做什么?」
对于 Willison 而言,这简直像是经历了一部反乌托邦电影的前十分钟。
这也让人不由感叹,未来机器或 AI 或许真的能够实现像人一样的沟通与交互。