一次性支持 200 万字无损上下文！Kimi智能助手玩了个大的——月之暗面「登月」最新进展!

让大模型一次性无损地「吃下」一本书已经不是什么稀奇的事了，但如果我告诉你是下面👇🏻这样一本近百万字的书呢？

没错，这么疯狂的事竟然真的发生了——就在昨天月之暗面（Moonshot AI）召集了一次媒体沟通会，宣布在大模型长上下文窗口技术上取得新的突破：不到半年，Kimi 智能助手升级十倍——从支持20万字直接到支持 200 万字超长无损上下文。

ps：Kimi Chat已改名为Kimi智能助手，并已在官网（kimi.ai）开启“内测”。

超长上下文解锁超多可能

月之暗面现场展示了一些超长无损上下文的使用场景示例。最令人印象深刻的自然是开头提到的近百万字的《中医内科学》一书。当月之暗面工程副总裁许欣然抱出这本书时，引起了现场所有人的惊叹，好家伙，Kimi还真能一下“消化掉”并给出准确的诊疗建议，这背后的技术就像这本书一样“沉甸甸”。

支持超长上下文之后，Kimi在处理超多文件的业务场景时自然解锁了更多可能。例如，公司 HR 可以快速从500 份简历中让 Kimi 快速找出有某个行业从业经历，同时从计算机类专业毕业的求职者：

图片

Kimi十分钟速成专家

大家肯定都听过一万小时专家定律，月之暗面在现场提出了「Kimi十分钟速成专家定律」——在 200 万字无损上下文的支持下，只需 10 分钟，Kimi 就能接近任何一个新领域的初级专家水平。比如上传英伟达过去几年的完整财报，马上就能让 Kimi 成为英伟达财务研究专家，帮用户分析总结英伟达历史上的重要发展节点。

而如果将甄嬛传全集几十万字的剧本传给 Kimi，你就能成为堪比一个看了好几十遍电视剧的“甄”学家，无论是甄嬛、果郡王的情感线以及和他们孩子的真相，借助Kimi都能秒答出来：

除了快速成为专家之外，Kimi还能让你扮演跑团游戏主持人，体验各种数字分身……

月之暗面「持续登月」

实现通用人工智能就像是登月，在通往AGI的路上，无损的长上下文将会是一个很关键的基础技术。从 word2vec 到 RNN、LSTM，再到 Transformer，历史上所有的模型架构演进，本质上都是在提升有效的、无损的上下文长度。”

月之暗面创始人&CEO杨植麟前不久在接受腾讯科技采访时表示：“长文本是登月第一步，它很本质。它是新的计算机内存，它能解决很多现在的问题。比如，现在多模态架构还需要tokenizer，但当你有一个无损压缩的long context就不需要了，可以把原始的放进去。进一步讲，它是把新计算范式变成更通用的基础……”

事实证明，月之暗面在登月的第一步上成绩斐然，月之暗面将 Kimi 智能助手的无损上下文长度从20 万字提升到200 万字只用了不到半年时间。而在这半年时间里，由于没有采用常规的渐进式提升路线，月之暗面团队遇到的技术难度也是指数级增加的。为了达到更好的长窗口无损压缩性能，月之暗面的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发，不走“滑动窗口”、“降采样”等技术捷径，攻克了很多底层技术难点，才取得了新的突破。

月之暗面工程副总裁许欣然在媒体沟通会上表示，“无论是内存、算力还是网络带宽，历史上每一次基础技术的升级，都会解锁新的产品形态和应用场景。我们对 200 万无损上下文的 Kimi 可以带来哪些超出想象力的创新机遇充满期待。”

杨植麟此前在接受采访时明确表示，登月的第一步是长文本，第二步则会有两个大的milestone。其中之一就是真正的统一各种不同模态的世界模型，即一个真正的scalable和general的architecture（可扩展、通用的系统结构）。关于影响下一步“登月”计划的多模态模型，月之暗面在现场透露，他们早在Sora发布之前就在研发多模态大模型，预计今年就会亮相。

最后，就让我们小小地期待下，月之暗面会不会在视频生成时长上也在国内带来类似长文本一样“一骑绝尘”的突破吧。

本文转载自夕小瑶科技说，作者：王二狗

原文链接：​​https://mp.weixin.qq.com/s/riq8xlZNNt0m-vZtRMpeAw​​