让众人疯狂的网红AI ChatGPT,原来也有明显的短板?
一段“网友调教这只AI”的聊天记录,在网上传开了。
可以看到,AI起初居然说27是个质数。
在网友向其提出质疑后,AI仍嘴硬称“27不能被3整除”。
网友不得不和AI“大战几百回合”,最后在人类锲而不舍的教导下,AI才终于终于低头认错。
有一说一,AI的认错态度倒是很好。
有围观者看完后调侃:AI不是都要统治世界了吗,怎么会输给一道简单的数学题?
不过,也有很多人为ChatGPT说话:这么坦诚的认错态度,不比某些人强多了。
数学水平拉胯,还贼固执
具体事情是这样的:
网友在和ChatGPT互动的过程中发现,这只AI数学水平过于拉胯,连27是不是质数这种简单问题都能搞错——而且还是在知道质数定义的情况下……
于是网友让ChatGPT证明它给出的结论,没想到,AI居然说27不能被3整除。
网友表示无语,但还是耐着性子又问了一遍,结果AI依然嘴硬,偏把9说成是9.0。
无奈,网友只能搬出代码,试着用Python来教会AI。
结果AI还真学会了!而且人家还主动承认了刚才的错误。
有意思的是,我们刚才也去问了ChatGPT“27是不是质数”,发现它已经改过来了。
然后我们又拿了几个数字去问AI,结果在这一回合中,它都正确地判断了一个数到底是不是质数。
不过仔细一看,AI并没提到35能被7整除,于是我们又专门问了一遍。然鹅……
这岂不是一本正经地胡说八道嘛?
于是我们也只好搬出Python教教它,但这回,连python似乎也没能让AI承认自己的错误……
所以这只AI为啥算术水平如此堪忧,而且还如此固执?
其中一个重要的原因就是,ChatGPT是个语言大模型,根据Open AI的GPT-3.5的模型微调而成,它擅长逻辑推理,但并不能执行标准的计算机算法。
而且与搜索引擎不同,它目前也没有网页浏览功能,无法调用在线计算器。
此前,ChatGPT其实已经向用户坦言,它不懂算术。两位数的乘法或许还凑乎,但遇到三位数的乘法,人家直接不干了。
我们也去问了一遍,现在AI到是直接给了个答案,不过是错的。(正确答案为186524)
另外,ChatGPT一般不会根据用户的反馈来纠正自己的答案,但如果用户提出了额外的信息,有时也能辅助AI优化答案。
所以,我们暂时没有成功地“教育”AI,大概也许可能是运气不太好……
除了数学其他都很全能
尽管ChatGPT有时会展现出“人工智障”的一面,但不得不说,大多数时候它的表现还是很优秀的。
比如,哥伦比亚大学教授、谷歌工程师Kenneth Goodman就分享,ChatGPT已经做好成为律师的准备了!
在律师执业考试中,ChatGPT的正确率高达70%(35/50)。
不仅是法律方面,Goodman还让ChatGPT参加了其他不同领域的各种考试,都取得了很高的成绩。
包括美国医师执照考试(USMLE),拿掉其中的图像选择题后,ChatGPT同样做到了70%的正确率。
为了防止ChatGPT的训练数据中包含这些题目,Goodman还特意选取了纽约州2022年8月最新化学注册考试:
去除5个图片选择题,ChatGPT的正确率为77.7%(35/45)。
同样批次的英语考试中,ChatGPT的正确率甚至达到了91.6%(22/24)
有网友已经开始预测,或许我们每个人都将拥有自己的律师AI了,咨询律师的费用也会大大下降。接下来就是医生AI、营养师AI……
怎么样,你看好ChatGPT的未来应用吗?(或者你有让它学好数学的建议吗?)
参考链接:
[1]https://weibo.com/7095186006/Mj6LVF0zS#comment
[2]https://twitter.com/TonyZador/status/1601316732689604608
[3]https://twitter.com/pythonprimes/status/1601664776194912256