一口气发布1008种机器翻译模型,GitHub最火NLP项目大更新:涵盖140种语言组合

新闻 机器学习
现在,你可以用 GitHub 上最火的 NLP 项目做机器翻译了。没错,就是 Hugging Face (抱抱脸)标星 26.9k 的 Transformer 项目。

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

现在,你可以用 GitHub 上最火的 NLP 项目做机器翻译了。

没错,就是 Hugging Face (抱抱脸)标星 26.9k 的 Transformer 项目。在最新更新的版本里,抱抱脸发布了 1008 种模型,正式涉足机器翻译领域。

一口气发布1008种机器翻译模型,GitHub最火NLP项目大更新

模型涵盖 140 种不同语言组合,中文翻英文,英文译法语,法语翻阿拉伯语……还能一对多翻译。

就像这样:

一口气发布1008种机器翻译模型,GitHub最火NLP项目大更新

抱抱脸创始人 Clement Delangue 表示:

全世界有那么多人在使用我们的开源项目,越来越多使用不同语言的人聚集在NLP社区。

这让我们意识到,应该在模型中提供更多其他语言的接入,同时也提供翻译。

1008种机器翻译模型

据抱抱脸介绍,这1000+模型,是研究人员使用无监督学习和 OPUS 数据集训练的。

OPUS 项目来自赫尔辛基大学及其全球合作伙伴,旨在收集和开源各种语言数据集,尤其是低资源(小语种)语言数据集。

部分模型

并且,抱抱脸也在 Transformer 项目中增加了喜闻乐见的 Seq2Seq 模型。

比如谷歌 AI 的 T5,Facebook 的 BART

使用方法,一如既往的简单。

比如用 opus-mt-en-ROMANCE 这个模型同时进行英语翻法语、英语翻葡萄牙语和英语翻西班牙语,一个 API 就搞定了。

一口气发布1008种机器翻译模型,GitHub最火NLP项目大更新

就有网友评价道:节约时间的利器。

一口气发布1008种机器翻译模型,GitHub最火NLP项目大更新

关于 Hugging Face Transformer

抱抱脸的 Transformer Python 库目前已有超过 50 万 pip 安装量,SQuAD排行榜上的最佳语言模型们通通被收编其中。

比如谷歌 AI 的 BERT、XLNet,Facebook AI 的 RoBERTa,OpenAI 的 GPT-2。

使用简单,只需一个 import。

一口气发布1008种机器翻译模型,GitHub最火NLP项目大更新

支持 TensorFlow 2.0 和 PyTorch 之间的深度互操作。

还有在线 Demo 供你实时调戏。

一口气发布1008种机器翻译模型,GitHub最火NLP项目大更新

这样的万星项目,NLPer 用了都说好。

一口气发布1008种机器翻译模型,GitHub最火NLP项目大更新

这就用起来?

传送门

GitHub 项目:https://github.com/huggingface/transformers

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2020-04-14 13:32:56

@Transacti失效场景

2021-03-29 12:22:25

微信iOS苹果

2022-05-24 11:50:46

延时消息分布式

2024-03-26 09:42:27

分片算法应用

2020-07-08 07:45:44

OAuth2.0授权

2021-06-08 22:43:07

IPC方式Qt

2020-03-31 08:12:25

Kafka架构数据库

2020-08-12 09:55:07

附近的人数据库MySQL

2020-04-16 12:42:42

附近的人共享单车App

2021-12-06 08:30:49

SpringSpring Bean面试题

2020-09-24 09:08:04

分布式系统架构

2020-10-22 12:30:33

MySQL

2023-12-18 23:09:25

开源优化引擎

2024-03-28 12:52:00

AI模型

2024-04-26 09:40:10

项目精度丢失javascrip

2020-12-21 06:07:35

Mybatis设计模式

2020-05-08 10:08:21

延时队列APIDelayQueue

2020-10-21 06:39:21

CPU寄存器架构

2021-05-18 09:03:16

Gomapslice

2020-11-04 14:20:58

分布式数据库MySQL
点赞
收藏

51CTO技术栈公众号