ChatGPT抢走了数据!编程语言排行榜,没法做了!

原创 精选
人工智能
大模型时代的到来,已经在慢慢改变人们原来的互联网习惯。以前大家遇到问题,可能想到的是访问门户、访问社区,而生成式AI爆发后,取而代之的是各种“ChatGPT”的私人聊天界面。

撰稿 | 言征

出品 | 51CTO技术栈(微信号:blog51cto)

提及编程语言排行榜,很多人都能想到Tiobe、RedMonk、Stack Overflow等,基本上它们更新的频率也相对固定。但最近,这家号称编程语言榜单天花板的RedMonk似乎“放鸽子”了。

RedMonk一般一年发布两次榜单,上次更新的榜单是在5月,按惯例第二次发布应该是在今年的11月,但今年却迟迟没有动作。

今日,官网终于公开了没有发布语言排行榜的原因:他们之前从Stack Overflow和Github上获取到的样本数量大大减少,已经显著影响到榜单排名的评估!背后的罪魁祸首,竟是AI编程助手!

一、RedMonk排名离不开社区样本

根据官方介绍,RedMonk通过追踪编程语言在GitHub和Stack Overflow上的代码使用情况与讨论数量,统计进行分析后进行排序,进而深入了解潜在的语言采用趋势。

图片图片

具体讲,RedMonk 榜单的数据收集方式包含两部分:使用GitHub Archive作为数据源对GitHub数据进行分析;Stack Overflow部分则直接使用其提供的实用工具 data explorer。

具体排序算法官方也给出较详细的介绍,这里不再赘述。

图片图片

二、ChatGPT推迟了编程榜单的进行

今年大家都见证了一个增长奇迹:ChatGPT推出后,两个月就做到了一个亿的用户。

1.Stack Overflow首当其冲

随后,Stack Overflow流量下降的速度开始陡生,以致于其CEO宣布对数据获取方开始收费的决定。

Stack Overflow 的网站访问量显著下滑到原来的一半,不仅如此,还有分析师指出“用户花在 Stack Overflow 上的时间比去年同期下降了 40%,比此前网站峰值期下降了约 2 亿小时”。

图片图片

此外,Stack Overflow在网站上的问题和答案也减少了五成,投票也减少了。原因也很明显,开发人员已经可以即时向人工智能助手提问,并在上下文中给出答案,而无需再去Stack Overflow中查询答案。

那么由Stack Overflow提供的公共数据集的实用性的价值就会大打折扣。

图片图片

上图是Stack Overflow 上使用排名前20种编程语言标签的问题数量,可以看出比前一时期减少了近20%。这还只是是RedMonk在ChatGPT爆火之后第一次完整地运行这些数字,粗略查询下整年的变化,就会发现结果更加明显。

2.Github同样也没有摆脱数据下降的影响

RedMonk对于Stack Overflow数据的下降是有预料到的,但令其万万没没想到的是,Github也被AI代码助手打击到了,数据上也出现了非常严重的异常。

Redmonk使用的数据集是BigQuery上的公共数据集,为此,Redmonk会向谷歌和GitHub团队询问了数据是如何提取的,以及是否在内部数据中看到了类似的变化。

“得到的结果非常意外,我们从GitHub Archive中看到的数据显示,与2022年下半年PR相比,2023年上半年的拉取请求下降了约25%。”

ChatGPT写代码能力太强了,后果很严重。各种Copilot的出现,已经严重影响到了编程问答社区的提问数量。样本量的减少,意味着RedMonk赖以进行的排名变化统计似乎面临着不小的挑战,因为这些样本数据似乎已经不足以完全、真实地反映语言的受欢迎程度了。

三、下一步,编程排行榜怎么办

因此,RedMonk无奈地表示,基于人工智能的代码助手的出现和兴起已经影响了RedMonk语言排名的数据。

随着问题和知识共享从公共的社区论坛转移到私人的AI聊天工具,他们从公开数据中确定有意义趋势的能力也将无限期地改变。

接下来,RedMonk会继续跟踪这些趋势,并确定样本量的变化将如何影响他们进行排名,同时预告2024年1月发布新榜单。

写在最后:新的数据霸主正在诞生

大模型时代的到来,已经在慢慢改变人们原来的互联网习惯。以前大家遇到问题,可能想到的是访问门户、访问社区,而生成式AI爆发后,取而代之的是各种“ChatGPT”的私人聊天界面。

而由此带来的,就是人机交互数据的源头发生了迁移。知识问答社区的形态又会发生怎样的改变?会不会朝着“弱问答、轻社交”的方向演进?又或者是其他哪些方向?

再比如依赖这些数据的下游企业,又该如何适应新的数据生产霸主?

这些都是一个个亟待回答的问题。且让我们看看几周后,RedMonk是如何思考和解决这个问题的。

参考链接:https://redmonk.com/rstephens/2023/12/14/language-rankings-update/

责任编辑:武晓燕 来源: 51CTO技术栈
相关推荐

2017-12-17 21:33:55

2022-08-09 08:29:50

TIOBE编程语言排行榜程序员

2020-03-07 22:01:58

编程语言JavaPython

2019-10-21 10:59:52

编程语言JavaC

2013-09-27 11:32:29

编程语言

2021-09-23 10:50:42

编程语言Python排行

2020-08-13 11:55:33

编程语言JavaPython

2019-07-23 14:14:59

编程语言JavaPython

2020-02-14 09:19:12

编程语言JavaPython

2021-07-07 05:42:24

编程语言开发

2023-06-09 15:39:40

编程语言Python

2010-06-07 15:57:02

编程语言排行榜框架

2014-11-26 10:49:32

编程语言

2022-10-28 16:13:03

编程语言Java开发

2019-01-09 10:00:19

编程语言Python

2009-08-04 11:15:57

编程语言排行榜微软

2021-01-06 12:55:08

编程语言Python开发

2019-08-23 11:08:55

编程语言

2013-07-30 10:00:36

RedMonk编程语言排行榜

2009-10-05 09:46:12

编程语言排行榜Ruby
点赞
收藏

51CTO技术栈公众号