顶穿天花板!AI编程初创公司挑战1亿上下文窗口,编码能力超级加倍! 原创

发布于 2024-8-30 16:48
浏览
0收藏

编辑 | 言征

超长上下文窗口的天花板来了!

刚刚宣布新一轮3.2亿美元融资的AI编码初创新星Magic刚刚放出了一个重磅炸弹:

推出首个1亿上下文窗口的模型 LTM-2-mini!

顶穿天花板!AI编程初创公司挑战1亿上下文窗口,编码能力超级加倍!-AI.x社区图片

想一下,1亿上下文窗口,相当于你可以在prompt中直接丢给大模型1000万行代码或者750本英文小说,然后告诉大模型一次性消化这些内容,并从这些内容中得到你想要的答案,而不用再需要来一次微调、SFT,就可以极低成本的让大模型秒变成一个定制版的。

1.AI辅助编程的新角逐点:超长上下文窗口

AI辅助编程赛道非常卷,巨头投入的产品也不少,包括微软很早就投入的GitHub Copilot。但 Magic 的创新之一在于其模型的超长上下文窗口。

Magic 声称其最新型号 LTM-2-mini 拥有 1 亿个 token 上下文窗口。(token 是原始数据的细分位,例如单词“fantastic”中的音节“fan”、“tas”和“tic”。)1 亿个 token 相当于大约 1000 万行代码或 750 本小说。它是迄今为止所有商业型号中最大的上下文窗口;第二大是Google 的 Gemini 旗舰型号,拥有 200 万个 token。

PS:国内上一次掀起长文本窗口热潮的还是Kimi,可以处理200万字上下文。

Magic 将自己模型的架构称为“长期记忆网络”(Long-term Memory Network),简称“LTM”。

据本周四Magic官网博客中指出:目前AI模型有两种学习知识的来源:训练和推理过程中的上下文。但上下文因为太短了,所以训练占据主导地位。但超长文本可能会改变这一现状。

“我们的LTM模型不依赖于模糊记忆,而是经过训练,可以对推理过程中给予的多达1亿个上下文标记进行推理。……可以想象,如果模型中包含了代码、文档和库(公共互联网上不存在的内容),代码合成的质量将会有多么好。”

此外,Magic还披露了对于超长上下文方面的进展,通过思维链式哈希训练,LTM-2-mini的序列维度算法比Llama3.1 405B中的注意力机制还要便宜,是后者的1/1000。而在内存需要方面,LTM只需要每个用户单个HB100的一小部分。

顶穿天花板!AI编程初创公司挑战1亿上下文窗口,编码能力超级加倍!-AI.x社区图片

Magic 表示,得益于其长远背景,LTM-2-mini 能够为一个开源项目实现一个密码强度计,并几乎自主地使用自定义 UI 框架创建一个计算器。

顶穿天花板!AI编程初创公司挑战1亿上下文窗口,编码能力超级加倍!-AI.x社区图片

可以仅通过代码库和聊天,在无需打开文件、编辑记录或其他指示符的情况下就能实现自定义上下文框架

顶穿天花板!AI编程初创公司挑战1亿上下文窗口,编码能力超级加倍!-AI.x社区图片

该公司目前正在训练该模型的更大版本。

2.Magic的野心:自动编程仅是开始,AGI才是终极

Magic 的团队规模很小,只有二十几个人,而且没有什么收入,但Magic的野心很足,商业版图中,自动编程也仅是刚刚开始。

当然,首选编程赛道是一个明智的选择。据 Polaris Research 估计,到 2032 年,Magic 瞄准的市场价值可能达到 271.7 亿美元,投资者认为这是一项值得的、而且可能非常有利可图的尝试。

尽管人们对人工智能辅助编码工具的安全性、版权和可靠性存在担忧,但开发人员对它们表现出了热情, GitHub 最新民意调查中的绝大多数受访者表示,他们已经以某种形式采用了人工智能工具。微软 4 月份报告称,Copilot 拥有 超过 130 万付费用户和超过 50,000 个商业客户。

然而,Magic 的野心远不止于实现常规软件开发任务的自动化。该公司在网站上谈到了通往 AGI 的道路——即比人类更可靠地解决对齐等问题的人工智能。

顶穿天花板!AI编程初创公司挑战1亿上下文窗口,编码能力超级加倍!-AI.x社区图片

他们不只是说说而已,而是有了自己坚信的实现路径,他们希望结合前沿的预训练、特定领域的强化学习、超长上下文、测试时间计算这些技术来实现这一目标。

为了实现此类人工智能,总部位于旧金山的 Magic 最近聘请了 OpenAI 超级计算团队前负责人 Ben Chess,并计划扩大其网络安全、工程、研究和系统工程团队。

3.狂揽近5亿美金

Magic是一家人工智能初创公司,致力于创建模型来生成代码并自动执行一系列软件开发任务,该公司已从包括前谷歌首席执行官Eric Schmidt在内的投资者那里顺利筹集了巨额资金。

周四,Magic在一篇博客文章中表示,它完成了一轮 3.2 亿美元的融资,投资者包括施密特、Alphabet 的 CapitalG、Atlassian、Elad Gil、Jane Street、Nat Friedman 和 Daniel Gross、Sequoia 等。这笔融资使该公司的总融资额达到近 5 亿美元(4.65 亿美元),使其跻身资金雄厚的 AI 编码初创公司行列,其成员包括Codeium、Cognition、Poolside、Anysphere和Augment。(有趣的是,施密特也支持 Augment。)

7 月份,路透社报道称,Magic 正寻求以 15 亿美元的估值筹集超过 2 亿美元。显然,这轮融资超出了预期,尽管这家初创公司目前的估值无法确定;Magic 在 2 月份的估值为 5 亿美元。

4.牵手巨头,与谷歌、英伟达进行合作

Magic 本周四还宣布与 Google Cloud合作,在 Google Cloud Platform 上构建两台“超级计算机”。Magic-G4 将由 Nvidia H100 GPU 组成,而 Magic G5 将使用 Nvidia 计划于明年上线的下一代 Blackwell 芯片 Nvidia GB200。

Magic 表示,其目标是将后者集群扩展到“数万个” GPU,并且这些集群一起将能够实现 160 百亿亿次浮点运算,其中 1 百亿亿次浮点运算相当于每秒一千万亿次计算机运算。

Magic 联合创始人兼首席执行官 Eric Steinberger 在一份声明中表示:“我们很高兴与谷歌和 Nvidia 合作,在谷歌云上打造我们的下一代人工智能超级计算机。Nvidia 的 [Blackwell] 系统将大大提高我们模型的推理和训练效率,而谷歌云为我们提供了最快的扩展时间表和丰富的云服务生态系统。”

5.创始人:从高中开始的极客生涯

Eric Steinberger和Sebastian De Ro于 2022 年共同创立了 Magic。在此前的采访中,Steinberger告诉 TechCrunch,他从小就被人工智能的潜力所启发;高中时,他和朋友们把学校的电脑连接起来,进行机器学习算法训练。

这段经历为Steinberger进入剑桥大学攻读计算机科学学士学位埋下了伏笔(一年后他退学了),后来他进入 Meta 担任人工智能研究员。De Ro来自德国业务流程管理公司 FireStart,在那里他一路晋升为首席技术官。Steinberger和De Ro在前者共同创建的环境志愿者组织 ClimateScience.org 相识,一拍即合创办了Magic。

Magic 开发了AI驱动的软件开发工具,旨在帮助软件工程师编写、审查、调试和规划代码更改。这些工具的运作方式类似于自动配对程序员,试图理解并不断学习各种编码项目的背景。

目前这些工具并不收费,但使用需要填写waitlist:

​https://magic.dev/waitlist​

顶穿天花板!AI编程初创公司挑战1亿上下文窗口,编码能力超级加倍!-AI.x社区图片

6.写在最后:“小团队,高融资”屡见不鲜

AI时代的创业,似乎有一个“小团队,高融资”的现象:一个几人、十几人的小团队就可以融到上亿美元的融资(OpenAI掌舵人Altman的观点)。

同样Magic也是如此,目前该公司一共23名员工。不过硬实例也没得说:Infra方面,非常豪横,8000台H100;Magic团队此轮更是拿到了3.2亿美融资的融资,谷歌和和英伟达的支持;人才密度上,前OpenAI成员的加入更是如虎添翼。

回到AI产品领域,我们看到大模型的研究前沿,正在悄然发生变化,之前发展得重点是在训练层面的参数规模、数据多模态,而现在我们看到的是推理能力的进化:超长文本、推理时间计算、强化学习、对齐等。

可以看到,AI辅助赛道的角逐,已经成为了这波AI创业浪潮中的一个风向标。

本文转载自​​51CTO技术栈​​,作者:言征

©著作权归作者所有,如需转载,请注明出处,否则将追究法律责任
收藏
回复
举报
回复
相关推荐