早在2017年就曾有研究人员问道:“到2040年人工智能会写出大部分代码吗?”如今,OpenAI的GPT-3已被beta测试人员使用,已经可以用任何语言编写代码了,机器主导的编码几乎就在我们眼前。
GPT-3已接受了数千亿字或者甚至是整个互联网的训练,这就是为什么它可以用CSS、JSX、Python编码。GPT-3不需要对多种语言任务进行训练,其训练数据已包罗万象。反而是当给定琐碎的指示时,网络会将自己限制在手头的任务上。
GPT-n的演变
GPT通过将监督学习与无监督的预训练(或使用无监督步骤的参数作为监督的起点)配对,在语言任务中达到了最先进的水平。与其后继者相比,GPT很小,它只在几千本书和一台8GPU机器上进行训练。
GPT-2大幅扩大了规模,包含了10倍的参数,并提供了超过10倍的训练数据。尽管如此,数据集仍然相对有限,它被专门训练为“来自Reddit的链接,它至少收到了3个karma。”GPT-2被描述为一个“变色龙一样”的合成文本生成器,但它不像下游任务中的问答总结或翻译一样是最先进的。
GPT-3在人工智能领域中是里程碑式的存在,在一系列的任务中达到了最先进的水平,其主要突破是不再需要对特定任务进行微调。就尺寸而言,其模型再一次大幅扩大,达到1750亿个参数,是其上一代的116倍。
GPT-3根本不需要训练(一个零次学习的例子),其本来就令人印象深刻的性能在一次或两次学习之后黯然失色。
发展或灭亡
现在情况是:Beta测试人员正在使用GPT-3生成工作代码,这需要一些琐碎的知识。从按钮到数据表,甚至重建谷歌的主页,这些都可以通过零次学习完成。
除了人工智能的快速发展,其他两个主要的技术趋势正在加剧这样一个现实,未来编程工作将变得不再是“铁饭碗”:无代码和自动机器学习。
无代码分析:让每个人都成为数据科学家
无代码是指使任何人更容易构建新产品的可视化工具,无论是网站、设计、数据分析还是模型。Word Press、Wix和Shopify是典型的无代码工具,这使数百万人不再需要雇用开发人员或设计师,自己就能够做事情。
第二种趋势是AutoML,即自动机器学习,这大大缩短了人工智能生产所需的时间。
AutoML会成为数据科学家的终结吗?
类似Apteo的工具顺应了这些趋势,使人们无需具备编码技能都能够部署人工智能模型。GPT-3则将引发无代码和自动机器学习的又一波浪潮,许多潜在的雇主会选择这些工具,而不是雇佣昂贵的程序员。
当然,技术含量最低的程序员将最先离开,而专家就像在任何领域一样,将享受更长时间的工作保障。
不仅仅是代码——GPT-3已应用于任何语言任务
要将GPT-3引导到特定的语言任务,只需向它提供希望实现的示例。你可以直接用GPT-3写代码,也可以直接写诗歌、音乐媒体评论或任何其他文本。
例如,如果想生成一篇新闻文章,可以输入一个正标题,如“联合卫理公会同意历史分裂”和一个副标题,如“那些反对同性婚姻的人将形成自己的派别”。
输入这些,GPT-3产生以下结果:
华盛顿邮报称,经过两天的激烈辩论,联合卫理公会已经同意了这一历史性的分裂——这一分裂预计将以创建一个新的教派结束,这个教派 “在神学和社会方面都是保守的”。大多数出席5月教会年度大会的代表投票支持加强禁止LGBTQ神职人员的任命并制定新的规则,将对主持同性婚礼的神职人员“予以处罚”。但是那些反对这些措施的人有一个新计划:他们称将在2020年形成一个单独的教派,其教会称为基督教卫理公会教派……
这段文字骗过了88%的人,只有12%的人认为这是由人工智能写的。
就像人类一样,GPT-3还可以根据例句学习生词。例如,给定语境:“Burringo”是一辆加速速度非常快的汽车。GPT-3的输出是:在我们的车库里有一辆Burringo,我父亲每天开它去上班。
这些结果令人印象极其深刻。人工智能正在不可避免的进化当中,对当前性能的任何批评都将化为其快速迭代中的泡影。
不仅仅是语言——GPT应用于图像
GPT不仅可以写代码和编写任何东西,还可以生成图像。相同的模型体系结构可以在像素序列而非文本编码上进行训练,从而生成新的图像而非文本。事实上,它非常擅长这样做,甚至可以和顶级CNN竞争。
这表明,GPT(及其后继者)不仅有可能在某一天取代编码器,其多功能性甚至使其具有取代整个行业的潜力。
GPT-3令人惊叹的性能让许多人相信我们正前所未有地接近超级智能,或者至少,人工智能生成的代码比我们想象的更接近,它能产生有创造性、有洞察力、有深度甚至是美丽的内容,未来已来。
本文转载自微信公众号「 读芯术」,可以通过以下二维码关注。转载本文请联系读芯术公众号。