虎博TigerBot-13B中文能力超Llama-2 49% 领先国内外主流开源模型

业界
近日,虎博科技发布开源大模型TigerBot-13B,此模型在Llama-2的基础上以虎博积累的技术和数据继续训练,不但保持了Llama-2出色的英文能力,更是在中文能力填补了Llama-2的不足,各项主流中文任务中超过Llama-2 的49%,在开源同类模型中具有竞争力。

近日,虎博科技发布开源大模型TigerBot-13B,此模型在Llama-2的基础上以虎博积累的技术和数据继续训练,不但保持了Llama-2出色的英文能力,更是在中文能力填补了Llama-2的不足,各项主流中文任务中超过Llama-2 的49%,在开源同类模型中具有竞争力。虎博的理论和实验探索表明,TigerBot的训练方法,计算效率和数据达到世界上SOTA水平,本着open innovation的精神,虎博科技将这些成果分享给大模型社区,继续开源和免费商用TigerBot-13B大模型。

本次发布包括以下三点:

TigerBot-13B-base: 基于Llama-2-13B继续预训练300B tokens,扩充了中文词表到60K vocabulary, 并采用holistic training在预训练中直接使模型具有9成的指令完成能力。在主流英文基准测试中超过Llama-2-13B-base的7%,在中文测试中综合能力超过Llama-2-13B-base的49%,在国内主流开源基座模型中处于领先位置。

TigerBot-13B-chat: 基于TigerBot-13B-base用5M指令数据微调,并采用rejection sampling fine-tune对齐人类需求。在主流英文基准测试中达到Llama-2-13B-chat的 101%,在中文测试中综合能力超过Llama-2-13B-chat的47%,在国内主流开源模型中亦处于领先位置。

TigerBot-API: chat和summarization api 将自动升级到TigerBot-13B-chat,对科研教育用户免费,对商用开发者保持价格不变。

责任编辑:金色财经 来源: 中华网
相关推荐

2023-07-25 10:14:26

评测AI

2023-09-25 12:14:00

AI开源

2017-04-25 15:00:29

2011-09-30 10:11:51

2013-07-29 10:45:51

BaaS后端即服务云存储

2016-08-16 08:44:18

VRUnrealCryENGINE

2009-06-15 09:11:12

Java论坛Java

2023-09-14 13:23:42

Llama-2模型参数

2023-08-28 13:37:00

前端技术前端技术大会

2015-01-14 19:50:29

中小企业CRMCRM选型

2023-06-09 16:50:21

Tigerbo

2023-10-13 19:58:33

Mistral7B模型

2023-06-09 16:51:34

Tigerbo

2024-01-30 13:02:05

AI训练

2009-01-06 11:10:44

2012-09-07 09:43:23

云计算

2020-05-03 12:42:23

数据泄露漏洞信息安全

2024-02-22 10:09:00

开源模型

2013-12-11 10:54:35

硬件创业创业环境创业
点赞
收藏

51CTO技术栈公众号