阿里国际发布首个大规模商用翻译大模型Marco,效果超Google、DeepL等,全球开放! 原创
编辑 | 星璇
出品 | 51CTO技术栈(微信号:blog51cto)
在AI调用量最高的场景之一——机器翻译,阿里国际的AI团队有了新进展。
10月16日,阿里国际副总裁、AI负责人张凯夫在接受彭博社专访时表示,阿里国际最新研发的Marco翻译大模型,支持中、英、日、韩、西、法等15种全球主流语种。目前已在阿里国际AI官网Aidge上发布,面向全球用户开放使用。
基于目前广泛使用的开源评测数据集Flores,Marco翻译大模型在BLEU自动评测指标上,领先于市面上的标杆翻译产品,如Google翻译、DeepL、GPT-4等。这意味着,Marco的AI翻译能力总体已经超越全球竞争对手,成为行业第一。
Marco的主要优势就是由大语言模型驱动,能够基于语境进行精准翻译,而不是根据字面意思,造成哭笑不得的歧义。“你的宝贝正在路上”,不会再被翻译成“Your baby is on the way”。以“尊嘟喜欢”这一网络用语为例,一些AI翻译产品会将这句话翻译为“Zundu likes it”,而在Marco大模型中,这句话非常地道地翻译为“I really like it”。
如何实现这一效果呢?据介绍,Marco翻译大模型通过面向多语言的数据筛选技术,如多语种混合语料甄别、多维度数据质量评估,获得高质量、大规模的多语言数据,再结合多语言的混合专家、参数扩张方法,从而保证主导语言(如中、英)性能不下降的情况下,提升其他语种的质量。同时,通过模型量化和加速、多模型规约等优化策略,大幅降低大模型的服务成本,甚至与传统小模型相比,成本也具有优势。
这自然与阿里在该领域的多年积累密不可分:
其一,数十亿规模的高质量电商预料数据,让团队在跨境电商领域很快就建起了起极为显著的数据优势;
其二,作为服务于全球市场的电商平台,让团队对不同国家和地区的文化、语言以及商业法规有了深入的了解
因此一经发布,Marco翻译大模型就在BLEU、COMET,以及人工评测指标上上,一举超越市场上的头部翻译产品。
图片
基于Flores公开榜单数据的评测结果
将其它语言译为英语的测试中,它的所有结果均已超越行业标杆企业的产品,比如谷歌、ChatGPT、DeepL。
而将英语译成其他语言方面,也有一半语言的测试结果超过了谷歌、ChatGPT。
目前,Marco翻译大模型已实现大规模商用,收费价格也诚意满满,100万个字符仅需12美元。
得益于阿里国际在跨境电商领域多年的积累,Marco在跨境电商领域的表现尤为亮眼。对于个人用户来说,Marco能够根据上下文提供高质量的翻译和良好的可读性,甚至支持不同的翻译风格,满足多样化的翻译需求。
根据公开报道,阿里国际在去年成立了AI团队,过去一年在40多个场景里测试了AI能力,帮助50万中小商家、对1亿款商品进行优化。商家的AI需求也不断增长,近半年的数据显示,平均每两个月,商家对于AI的调用量就翻1倍,AI的调用量已经突破日均1亿次。
本文转载自51CTO技术栈,作者:星璇