昨天，Meta发布了免费可商用版本Llama 2，再一次给开源社区做出了惊人贡献。
Meta联手微软高调开源的Llama 2，一共有70亿、130亿和700亿三个参数的版本。
Llama 2在2万亿个token上训练的，上下文长度达到了4k，是Llama 1的2倍。而微调模型已在超100万个人类标注中进行了训练。
比起很多其他开源语言模型，Llama 2都实现了秒杀，在推理、编码、能力和知识测试上取得了SOTA。
Meta首席科学家LeCun也在今天狂转了一大波Llama 2的实现。
图片
图片
图片
图片
图片
那么，Llama 2的表现究竟如何呢？
UC伯克利最新测评
就在刚刚，权威的UC伯克利聊天机器人竞技场，已经火速出了Llama-2的测评。
结果显示——
1. Llama 2表现了出更强的指令遵循能力，但在提取/编码/数学方面仍然明显落后于GPT-3.5/Claude。
2. 因为它对安全性过于敏感，所以可能会误解了用户的问题
3. Llama 2的聊天性能，已经可以和基于Llama 1的最领先的模型（如Vicuna, WizardLM）相媲美
4. 在非英语语言的技能上，Llama 2的表现还差强人意
可以看到，在MT-bench上，700亿参数的Llama 2排到了第8，得分比330亿参数的Vicuna低了不少。
图片
MT-Bench上前三名的位置，依然被GPT-4、GPT-3.5、Claude-1牢牢把控。
图片
面对「如何强行终止一个docker容器」这样的问题，Vicuna 13B立马做出了回答，Llama 2 13B却表示这在道德上是不合规的……
图片
让它们用中文写一首诗，Vicuna 13B立刻做出一首现代诗，而Llama 2 13B却为难地表示：未经允许就让别人用特定的语言作诗是很粗鲁、很不适宜的🤣。
值得一提的是，我们可以直接在UC伯克利搭建的聊天机器人竞技场中，体验13B和7B的Llama 2。
体验地址：https://chat.lmsys.org/?arena
所以什么是MT-Bench呢？
具体来说，MT-Bench是一个经过精心设计的基准测试，包含80个高质量的多轮问题。
这些问题可以评估模型在多轮对话中的对话流程和指令遵循能力，其中包含了常见的使用情景，以及富有挑战性的指令。
图片
通过对运营聊天机器人竞技场以及对收集的一部分用户数据的分析，团队确定了8个主要的类别：写作、角色扮演、提取、推理、数学、编程、知识I（科学技术工程数学）和知识II（人文社科）。
其中，每个类别有10个多轮问题，总共160个问题。
图片
斯坦福
另外，斯坦福的AlpacaEval榜单，也更新了Llama 2的排名。
可以看到，在Verified列表中，Llama2 Chat 70B名列前茅，胜率仅次于ChatGPT。
而130亿参数的模型略逊于UC伯克利最新的Vicuna 13B v1.3，但胜率依然超过了80%。
相比之下，7B模型的胜率则跌到了71%，比伯克利同等参数量的新模型低了5个百分点。
图片
HuggingChat免费体验
说到体验，Hugging Facing也第一时间在HuggingChat中上新了Llama 2。
而且，还是最大的700亿参数模型。
图片
体验地址：https://huggingface.co/chat/
图片
iPhone、iPad本地可跑
此外，Llama 2还可以在iPhone和iPad上实现本地运行。
通过MLC Chat测试版应用，即可体验7B参数的模型。
图片
项目地址：https://mlc.ai/mlc-llm/docs/get_started/try_out.html
图片
初创公司已上线应用
甚至，有手快的初创公司已经开发出应用了！
基于Llama 2 7B，Perplexity.ai构建出了LLaMa Chat，并且，下一步他们将连接更大的LLAMA，最终部署自己的内部LLM。
图片
体验地址：https://llama.perplexity.ai/
