大模型在无损压缩方面超越 PNG 和 FLAC

开发 前端
据介绍,Chinchilla 70B 主要是训练用于处理文本,但它在压缩其它类型的数据集上的效果也表现优异,甚至优于专门的算法。

Google DeepMind 和 Meta 的研究人员发表论文《Language Modeling Is Compression》,他们发现 DeepMind 的大语言模型 Chinchilla 70B 在图像和音频的无损压缩上超过了 PNG 和 FLAC。

论文提到,Chinchilla 70B 能将 ImageNet 图像数据库中的图像无损压缩到原始大小 43.4%,超过了 PNG 算法的 58.5%。

Chinchilla 能将 LibriSpeech 音频数据集中的样本无损压缩到原始大小 16.4%,超过 FLAC 算法的 30.3%。

据介绍,Chinchilla 70B 主要是训练用于处理文本,但它在压缩其它类型的数据集上的效果也表现优异,甚至优于专门的算法。

下面的例子比较了 gzip 和 Chinchilla 在示例文本上的生成效果。可以看到,gzip 的输出没有可读性。

责任编辑:武晓燕 来源: OSCHINA
相关推荐

2022-06-30 10:38:53

Lepton无损压缩图片图片质量

2023-02-09 09:38:32

算法压缩

2022-06-08 16:29:45

无损压缩方案分布式

2015-08-31 10:10:48

Dropbox无损压缩算法云存储

2022-06-15 16:06:29

LZ4 算法硬件加速

2022-06-15 15:44:21

无损数据压缩鸿蒙

2011-03-09 09:24:18

2024-07-10 10:19:26

2023-10-05 09:33:46

显示器接口带宽

2023-09-23 12:36:32

苹果模型

2024-03-11 09:27:00

框架模型AI

2013-11-12 15:40:40

图像压缩

2018-06-19 09:00:00

2019-09-10 13:48:12

NLP神经网络模型

2017-02-28 10:33:31

Python原理图解

2024-06-12 08:30:34

2022-10-18 16:14:28

2023-06-19 19:26:54

模型开源

2009-01-20 09:12:16

PHPJava数据库
点赞
收藏

51CTO技术栈公众号