字节要亲手打造AGI了!神秘“Seed Edge”项目被曝光,已设置5大研究方向,探索下一代AI技术,算力不用愁! 原创

发布于 2025-1-23 15:02
浏览
0收藏

编辑 | 伊风

出品 | 51CTO技术栈(微信号:blog51cto)

中国大厂开始发力AGI了!

据媒体报道,字节跳动 AGI 研究团队浮出水面,揭开了字节AGI的秘密布局!

报道称:1 月下旬,字节正式设立代号为“Seed Edge”的研究项目,核心目标是做比预训练和大模型迭代更长期、更基础的 AGI 前沿研究。

好家伙,感觉中国的几家大厂,字节是最先明牌要搞AGI的,有钱有资源的“宇宙厂”这下又走在最前列了。

接近字节的知情人士透露,Seed Edge的目标是探索AGI的新方法,代号名中Seed是豆包大模型团队名称,Edge代表最前沿的AGI探索。

Seed Edge鼓励跨模态、跨团队合作,为项目成员提供宽松的研究环境,实行采用更长周期的考核方式,以保障挑战真正颠覆性的AGI课题。同时,Seed Edge也将得到单独的算力资源保障。

此外,字节或将在AI基础设施方面有所动作。今天早上,外媒爆料“字节2025年斥120亿美元开发AI芯片”的消息,很快就登上了脉脉热搜。

字节要亲手打造AGI了!神秘“Seed Edge”项目被曝光,已设置5大研究方向,探索下一代AI技术,算力不用愁!-AI.x社区图片

字节的相关人士进行了辟谣,称虽然公司确实重视人工智能领域的发展与投入,但具体的预算和规划传闻并不正确。

1.持续的AGI探索:Seed Edge 已拟定 5 大研究方向

据报道,Seed Edge 拟定的 5 大研究方向都相对长期,不会像迭代模型那样追求快速出成果:

  • 下一代推理:探索更高效且更通用、提升模型推理能力的方法。
  • 下一代感知:找到统一生成和理解表示的方法,表示和压缩真实世界,构建 “世界模型”。
  • 软硬一体的模型设计:从软硬一体出发,探索 Transformer+GPU 之外的模型设计,发挥下一代硬件的能力。
  • 下一代范式:在反向传播、Transformer 架构、预训练 + 对齐的模式之外,探索更高效的模型结构和学习方法。
  • 下一代 Scaling 方向:在预训练和推理阶段的 Scaling Laws 之外,探索 Multi-Agent(多智能体)和 Test-Time Training(测试时间训练,动态调整模型参数)等方向。

2.字节身处AI变革:中国大企业中最敢于调整的、速度极快

据报道,一位接近字节的人士称,面对 AI 变革:“字节是中国大公司中最敢于调整的,行动速度极快。”

从字节给人感觉在AI上慢了一拍,到现在产品和模型技术的迎头赶上,字节跳动似乎只用了不到1年的时间。

回到2024年1月份,字节CEO梁汝波在年度全员会上反思:字节直到2023年才开始讨论GPT,而业内做得比较好的大模型创业公司都是在2018年至2021年创立。

在字节做团队调整之前,字节的AI人才是分散的,跟随AI Lab的重组被拆分到了不同的业务线中。但字节在23年重整了AI核心,先是搭建了顶尖AI人才的Seed团队,该团队主要班底来自搜索、AML、AI Lab等部门中的大模型相关人才;然后又组建了Flow团队,负责基于大模型的AI原生应用的研发,月活量在国产AI中断层的豆包就是这个团队的成果。

字节激进的“抢人”策略,为这种超越打下了坚实的基础。

一位从事猎头工作的人透露:字节对于基础模型研发相关人才的招聘是没有名额上限的,对于目标团队的候选人在薪资上开出的数字非常可观,经常可以看到基于原薪资双倍的涨薪幅度。

去年5月,为储备最具潜力的研究人才,豆包大模型团队启动了“Top Seed人才计划”,以极具竞争力的待遇在全球招募顶尖博士毕业生加入。成立短短数月内,豆包大模型团队57篇论文中选ICLR、CVPR、NeurIPS等顶会,研究成果包括下载量超百万的开源工作及GitHub万星项目。同时,团队与近20所高校展开合作,包括与清华AIR、北大分别成立AI方向联合实验室。

3.豆包1.5,坚持做0蒸馏的大模型

昨天,豆包大模型1.5 Pro版本正式发布。

目前,该大模型已在豆包APP灰度上线,开发者也可在火山引擎直接调用API。

值得注意的是,在技术报告中,字节画了个重点:“扎实数据标注,坚持不走捷径”。

“在 PostTraining 阶段,我们精心构建了一套高度自主的数据生产体系,该体系通过高效标注团队与模型自提升技术的深度融合,持续且精准地优化数据质量,严格遵循内部标准,坚持不走捷径,不使用任何其他模型的数据,确保数据来源的独立性和可靠性。”

字节要亲手打造AGI了!神秘“Seed Edge”项目被曝光,已设置5大研究方向,探索下一代AI技术,算力不用愁!-AI.x社区图片

最近,蒸馏模型已成为AI领域的“心照不宣”事实,也引发了不少争议。

通过对开源模型(如o1等)的整理优化,可以快速对齐顶尖模型的性能。就连奥特曼也曾对这个策略吐槽(OpenAI规定不许将结果用于其他模型的训练)。

高效的蒸馏也有短板,因削弱了部分原始模型的深度学习能力,甚至导致“报错家门”的尴尬局面,削弱了AI的独创性和安全性。

相比之下,豆包坚持不依赖蒸馏路线,选择将核心技术和数据安全牢牢掌控在自己手中。

期待他们的“Seed Edge”能顺利抵达边缘,把更多AGI的未知点亮在我们的面前。

参考链接:

1.​​https://www.163.com/dy/article/JMIVEUE10531M1CO.html​

2.​​https://www.jiqizhixin.com/articles/2025-01-23​

3.​​https://www.huxiu.com/article/3756050.html​

本文转载自​​51CTO技术栈​​,作者:伊风

©著作权归作者所有,如需转载,请注明出处,否则将追究法律责任
收藏
回复
举报
回复
相关推荐