实测腾讯开源的Hunyuan-Large大模型，感觉......

今天突然发现腾讯开源混元大模型，十分震惊，腾讯也来挤开源赛道了，只能说大模型开源越来越繁华了。

这次开源的主要是MoE模型，有Base模型和Instruct模型，总参数量389B，激活参数52B，支持最大上下文256K。

Github: https://github.com/Tencent/Tencent-Hunyuan-Large
Paper: https://arxiv.org/pdf/2411.02265
HF: https://huggingface.co/tencent/Tencent-Hunyuan-Large

由于时间关系，还没仔细的阅读paper，扫了一眼指标，不知道为啥没跟Qwen2.5-72B比较，但是我单独看了几个榜单，是要好一些的。

Base模型

Instruct模型

由于本人没有16张H800，但又像测试一下腾讯新开源的Hunyuan-Large，因此在官方提供huggingface spaces上进行的测试。

https://huggingface.co/spaces/tencent/Hunyuan-Large

• 将“I love Hunyuan-Large”的所有字母反过来写

说明：理解了意图，但是输出结果不正确，没有将所有字母反过来。

• 9.9和9.11谁大

说明：结果正确。

• strawberry有几个r

说明：结果错误，感觉还是tokenizer的问题，但很奇怪为啥没单独优化一下。

• 监狱里的都是犯人，为什么警察不去监狱里抓坏人

说明：结果正确

• 生蚝煮熟了叫什么？

说明：熟蚝。。。。。。。

• 用水来兑水，得到的是浓水还是稀水

说明：稀水。。。。。。。。

• 小红有2个兄弟，3个姐妹，那么小红的兄弟有几个姐妹

说明：没理解，小红是女生，字母说呢，合理也不合理，反正我觉得小红是女生。

• 小红（女）有2个兄弟，3个姐妹，那么小红的兄弟有几个姐妹

说明：结果正确

• 未来的某天，李同学在实验室制作超导磁悬浮材料时，意外发现实验室的老鼠在空中飞，分析发现，是因为老鼠不小心吃了磁悬浮材料。第二天，李同学又发现实验室的蛇也在空中飞，分析发现，是因为蛇吃了老鼠。第三天，李同学又发现实验室的老鹰也在空中飞，你认为其原因是

说明：按照我的推理是对的，但是不应该按照事实知识回答嘛。

就是测试了一下，感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。

本文转载自 ​​NLP工作站​​，作者： 刘聪NLP