低比特量化的LLAMA3模型有多好? | 香港大学&北航最新研究发布
论文链接:https:arxiv.orgpdf2404.14047.pdf项目链接:https:github.comMacaronlinLLaMA3Quantization模型链接:https:huggingface.coLLMQMeta的LLAMA系列已成为最强大的开源大语言模型(LLM)系列之一。值得注意的是,LLAMA3模型最近发布,并在超大规模的预训练数据(超过15Ttokens)上取得了令人印象深刻的性能。鉴于在资源有限的情况下低比特量化在LLMs中的广泛应用,本文探索了LLAMA3在量化到低比特宽度时的能力。这一探索...