事实表明，AI无法替代开发者，但更适用于优秀的开发者。而识别大型语言模型（LLM）生成的代码什么时候会出错，需要开发人员具有丰富的知识和经验。
软件工程师David Showalter在谈到AI编程时表示：“目前，AI模型在帮助编程人员提高工作效率方面表现出色。”那么，这一观点是否站得住脚？Showalter的言论实则是对AI专家Santiago Valdarrama的回应——他认为大型语言模型(LLM)作为编码助手目前还不完全可靠。Valdarrama说：“除非LLM给我们同样的保证(就像编程语言一样让计算机始终响应命令)，否则它们只能被视为华而不实的‘炫技’， 对多数应用程序的开发来说并无实际价值。”他的观点颇具见地，LLM在如何回应提示方面显然是不一致的，即使是同一提示可能会得到截然不同的回应。因此，Showalter的看法可能过于乐观：虽然AI模型在辅助开发人员编写更多代码方面有不俗的表现，但这并不等同于能够生成高质量的可用代码。
AI和软件开发成功的关键在于敏锐地识别那些潜在的不完善之处。许多开发人员并没有意识到这一点，他们过于依赖LLM的输出结果。正如计算机科学网站HackerNews的一位评论员所说，“我想知道的是，用户对于ChatGPT的信任有多少是建立在那些看似完美无缺的示例之上的……尤其是对于特定类型的用户来说。”为了能够在软件开发中有效地使用AI，开发人员需要足够的经验判断LLM的输出什么时候可能不够准确或存在误导。
并没有简单的解决方案
关于LLM在软件开发中的应用和表现存在不同的看法。正如HackerNews网站的一些评论所展示的那样，许多开发人员并不赞同过度依赖LLM的输出。他们反驳的理由通常归结为：“当然，开发人员不能盲目地信任LLM的输出，就像他们不会无条件地信任在Stack Overflow上找到的代码，或者完全依赖集成开发环境（IDE）等工具一样。”
就目前而言，这种看法是正确的，但现实往往并不尽如人意。例如，虽然开发人员不应该完全相信他们使用的集成开发环境（IDE），但IDE在处理基本编程任务时具备一定程度的准确性和稳定性，例如不会随意“破坏”程序或弄乱Lisp括号。ChatGPT很可能会出错，但是IDE很少出现这种情况。
对于堆栈溢出（Stack Overflow）上的代码来说，可能有不同的使用方式。有些开发人员可能会直接复制粘贴代码，而不进行检查。但明智的开发人员则会采取更为审慎的态度。他们会首先查看有关代码的评论，以评估其质量和适用性。
LLM的输出并不包含这样的信号。正如一位开发人员所建议的那样，“将Stack Overflow和LLM的输出都视为可能是错误的结果，并且可能是由经验不足的开发人员编写的代码。”这是一种明智的做法。即使存在错误，这些代码片段或建议也可能为提供有价值的启示，帮助开发人员朝着正确的方向前进。
同样，这需要开发人员具备足够的经验以识别Stack Overflow的代码示例或LLM生成的代码是否存在错误。或者开发人员足够明智，只将这些代码用在“200行样板文件”或“React页面中的大表”等常见的场景中。在这些场景中，可以不必完全信任这些代码，只需在完成之后进行测试即可。
总之，正如一位开发人员所总结的那样，“我对LLM的信任程度就像我对初级开发人员或实习生的信任一样。我会给它分配一些我知道如何完成的任务，以此验证其准确性，但不会在这些任务上花费过多的时间。这无疑是最佳的策略。从AI中获益最大的开发人员是那些明智的人，他们知道LLM什么时候可能会出错，但同时也能从中得到一些好处。”
寻求正确使用的方法
开源Python工具Datasette创始人Simon Wilison曾经提出这样的观点，“从AI中获得最佳结果实际上需要大量的知识和经验，因为很多都归结于直觉。”他建议经验丰富的开发人员测试不同LLM的局限性，以衡量它们的相对优势和劣势，即便一些LLM模型表现不尽如人意，仍然可以利用其价值。
初级开发人员如何有效利用AI进行编程？AWS AI开发者体验主管Doug Seven表示，像Amazon Q Developer（前身为CodeWhisperer）这样的编码助手，对经验不足的开发人员同样可以提供帮助。这些工具能够为他们提供有价值的建议，帮助他们明确编程思路，从而减少编程过程中频繁向他人求助的需求。
也许正确的答案是：取决于具体情况！
而且重要的是，软件开发的理念通常不是“更快、更多地编写代码”。实际上，优秀的开发人员编写代码的时间很少，而花费更多的时间思考需要解决的问题以及如何找到最佳解决方案。LLM可以在这方面提供帮助，正如Willison所指出的那样：“ChatGPT(以及GitHub Copilot)为我节省了大量的‘深思熟虑’的时间。从在Bash中编写For循环到记住如何在Javascript中进行跨域CORS请求，我甚至不需要再查找其他资料。”
