量化成为时代标准!AI大神贾扬清锐评Llama3.1:很难盈利、成本巨高、速度却马马虎虎 原创
编辑 | 言征
出品 | 51CTO技术栈(微信号:blog51cto)
不管开源还是闭源模型,最近量化小模型的风头正在盖过大模型!
就在Llama3.1昨天正式发布以后,市面上一片兴奋:开源模型可以比肩GPT-4o,国内几乎所有供应商纷纷宣布接入Llama3.1的同时,我们也看到了圈内人士另一种声音:
“405B模型太大了”、“难以盈利、成本很高、速度一般。”
紧接着,素以小模型著称的Mistral AI也再一次用实力证明:Llama3.1真没必要那么“参数浪费”!
其今天刚刚发布的最新模型Mistral Large 2,参数只有123B,用不到三分之一的参数量性能就可以媲美Llama 3.1 405B,也不逊于GPT-4o、Claude 3 Opus等闭源模型。
这让“大模型顶流er”们哪里说理去!
图片
1.AI大神、博主:模型太大不会被采用!量化才是正解!
事实真相就是这样。
AI大神贾扬清今天发推文表示:Llama 3.1 405B 确实是一款难以盈利的机型。
如果你用一台或半台机器去运行Llama3.1 405B,就会发现成本significant(巨高),速度却so-so(马马虎虎)。
那好,既然自己运行太高,我调用云厂商的接口还不行吗?
图片
贾扬清又帮各位大模型爱好者们算了一笔账,目前大多数供应商调用405B的定价保持在30个tokens/s左右,才能覆盖住商业价值。对比来看,70B模型则更实惠多了,能达到150tokens/s以上。
图片
不过贾扬清,表示即便405B的性价比不高,“但依然可以收支平衡,这取决于良好的优化和良好的工作量饱和度”,并同时提醒VC朋友们:“对于这个价格的纯API服务,不要期望像传统SaaS那样获得80%的利润率。”
这还没完,大神贾扬清最后下结论了:量化(模型)将成为标准! 忘掉FP16吧,Int8/FP8才是出路!PS:Int8/FP8是指更小的神经张量的数值类型,代表着大模型所需的空间资源和算力资源。
并给出了一定的量化建议:量化需要谨慎。一个尺度足以处理整个张量的时代一去不复返了,而是需要进行channel/group的量化,以保证质量不会下降。
同时,贾扬清还预测405B会因为速度和价格的原因,采用和接受度会受到持续的影响。当然也Cue到了Mistral Large 2(123B),非常期待业内的测试效果。
NLP博主“刘聪NLP”也表示对于Llama3.1的成本有一种无力感:对于绝大多数开发者,Llama3.1的8B和70B版本的能力的提高才更有意义。
图片
刘聪指出:405B即使效果很棒,但是有多少企业有资格玩一把呢?个人玩家就更不用说了,光模型大小就820G,别说有没有显卡,也许都没有820G磁盘空间下载都没资格,太难了!
2.OpenAI也发现了这一点奥特曼不禁夸赞GPT-4o mini登顶
奥特曼也开始注意到mini模型更受开发者欢迎!
24日,就在Llama3.1让市场兴奋的同时,奥特曼一条推特让mini掰回了一局。
“我们尽量不对任何一次评估感到太过兴奋,但很高兴看到GPT-4o mini 在 lmsys 上的性能如此接近GPT-4o,而价格仅为其二十分之一。”
图片
开放研究组织lmsys,昨天放出了一个Chatbot竞技场榜单更新,结果显示:GPT-4o mini一跃排行榜榜首,与GPT-4o并列第一,但价格更便宜,只有后者的1/20!而且各项性能都要由于早期版本。
这个榜单通过4000+用户的投票得到的,其中值得注意的是,在Hard Prompts和Coding Arena项中,GPT-4o mini依旧强悍。在数学任务上,GPT-4o mini也也跟turbo持平。
OpenAI创始成员 Karpathy在7月19日就曾发出一条推文表示:未来大模型的竞争态势是:先变小之后才能变大!
图片
总结一下,量化模型的时代已经来了!至于原因,小编认为有两点:一、大模型侧训练所需的数据和算力已经出现了增长瓶颈,二、在盈利之前,绝大多数开发者难以负担大参数规模的成本。
最后,为各位奉上更小参数的Mistral Large 2下载链接,诸位不妨体验一把:
https://huggingface.co/mistralai/Mistral-Large-Instruct-2407
本文转载自51CTO技术栈,作者:言征