两个小技巧提升Docker镜像构建性能,效率翻倍!

云计算
和大多数公司一样,我们为产品中使用的所有组件构建Docker镜像。随着时间的推移,其中一些镜像变得越来越大,同时持续集成(CI)构建也变得越来越长。我的目标是让CI构建时间不超过5分钟。

和大多数公司一样,我们为产品中使用的所有组件构建Docker镜像。随着时间的推移,其中一些镜像变得越来越大,同时持续集成(CI)构建也变得越来越长。我的目标是让CI构建时间不超过5分钟。

生产力下降的原因如下:

  • 开发人员需要等待构建完成,从而浪费时间。
  • 开发人员开始着手新任务,并需要稍后返回。这需要进行更多的上下文切换,通常也会导致效率低下。

在本文中,我们应用了两个小的改进,使得构建时间大幅度提高。在介绍两个改进之前,首先确保你已经遵循了编写Dockerfile的最佳实践,例如:

  • 尽量减少层数
  • 使用多阶段构建
  • 使用最小基础镜像
  • ……

Buildkit和Buildx

让我们解释一下Buildkit和Buildx,因为这两个术语经常被互换使用,但它们并不是完全相同的。在撰写本文之前,我也没有完全理解两者之间的区别。

Buildkit

Buildkit是改进后的后端,用于取代传统的Docker构建器。从2018年开始,它与Docker一起打包,并在docker引擎23.0中成为默认构建器。

Buildkit提供了许多实用的功能:

  • 缓存能力改进
  • 不同层并行构建
  • 延迟拉取基础镜像(≥ Buildkit 0.9)

使用Buildkit时,你应该会注意到docker build命令的输出看起来更干净、更有结构。

在Docker版本低于23.0的情况下,使用Buildkit的典型方法是按照以下方式设置Buildkit参数:

`--build-arg BUILDKIT_INLINE_CACHE=1`

这将启用内联缓存,可以显著加快构建过程。但是,这在Docker版本低于23.0的情况下不可用。

DOCKER_BUILDKIT=1 docker build --platform linux/amd64 . -t someImage:someVersion
DOCKER_BUILDKIT=1 docker push someImage:someVersion

Buildx

Buildx是Docker的一个插件,它让你能够充分利用Buildkit在Docker中的能力。它之所以被创建,是因为Buildkit支持许多新的配置选项,这些选项无法以向后兼容的方式全部集成到docker build命令中。

除了构建镜像之外,Buildx还支持管理多个构建器。这在持续集成中非常有用,可以定义范围明确且具有不同配置的环境,因为它们不会修改共享的Docker守护进程。

可以按照以下步骤开始使用Buildx:

docker buildx create --bootstrap --name builder
docker buildx use builder

一、从远程缓存中受益

加快构建速度的第一个方法是将镜像缓存在远程注册表中。这样,即使在不同的机器上执行构建时(例如CI中的常见情况),仍然可以从构建缓存中受益。大多数人在构建新版本的镜像之前会拉取最新版本的镜像。这样做的好处是可以缓存未更改的层,但代价是最初需要拉取完整的镜像。拉取完整镜像可能需要一些时间,而且也不能保证可以重用这些层。使用以下命令进行说明:

docker pull someImage:latest || true
docker build --platform linux/amd64 . \
-t someImage:someVersion \
-f Dockerfile \
--cache-from someImage:latest

使用 Buildx,可以将缓存信息存储在远程位置(例如容器注册表、blob 存储等)。构建器会检查给定的层是否已经存在,如果存在,它将重用该层而不是重新创建它。甚至无需将层拉取到本地即可实现此功能。如下所示:

docker buildx build --platform linux/amd64 . \
-t someImage:someVersion - push \
--cache-to type=registry,ref=someCachedImage:someVersion,mode=max
--cache-from type=registry,ref=someCachedImage:someVersion

模式“max”表示我们将为每个层存储构建信息,即使这些层在最终的镜像中未被使用(例如在使用多阶段构建时)。默认情况下,使用模式“min”,它仅存储关于最终镜像中存在的层的构建信息。

缓存存在一个特殊情况是将缓存数据“内联”存储,这意味着它将与镜像一起缓存。在使用Buildkit没有使用Buildx时也支持此选项。但在使用多阶段构建时会更具挑战性,并且它无法清晰地区分构建产物的输出和缓存。缓存数据“内联”存储的命令如下所示:

docker buildx build - platform linux/amd64 . \
-t someImage:someVersion --push \
--cache-to type=inline,mode=max \
--cache-from someImage:somePreviousVersion

二、添加文件到镜像的新方法

Docker推出了新版本的Dockerfile语法,即#syntax=docker/dockerfile:1.4。它支持COPY和ADD命令的额外链接选项。

以前,当使用COPY或ADD命令时,构建器会创建一个新的快照,将新文件与已存在的文件系统合并。结果是,在执行此操作之前,父层都需要存在,不然的话目标目录可能还不存在。最终的镜像(构建命令的结果)将由每个层的tarball组成,其中包含相应快照之间的差异。

FROM baseImage:version
COPY binary /opt/

使用链接选项时,新文件将放入自己的快照中,而不会依赖于先前的层。链接的文件存储在自己的tarball中,并且不同的tarball相互链接在一起,而不会依赖于现有的文件系统,如下图所示。

# syntax=docker/dockerfile:1.4
FROM baseImage:version
COPY [--chown=<user>:<group>] [--chmod=<perms>] --link binary /opt/

主要的优势是文件不再依赖于先前的层。只要文件没有改变,即使父层发生了更改,该层也可以重复使用。

并且还可以提高构建速度,因为现在可以并行执行多个层复制数据的操作。

结论

通过上述两种方式,我们将镜像构建速度提升了 1 倍。

责任编辑:华轩 来源: 今日头条
相关推荐

2024-06-11 00:09:00

JavaScript模式变量

2023-10-10 18:24:46

PostgreSQL性能RDBMS

2010-11-22 15:48:40

MySQL修复表

2019-08-16 02:00:46

AndroidGoogle 移动系统

2013-12-18 10:34:42

OpenMP线程

2022-07-15 14:54:00

DockerLinux技巧

2023-09-25 13:15:50

SQL数据库

2018-02-24 12:08:52

Python开发技巧

2022-04-29 08:15:40

Python技巧Max

2019-07-25 16:28:22

SQL数据库索引

2019-08-13 19:38:24

SQL数据索引

2012-06-13 11:25:23

Windows 8系统技巧

2019-09-12 18:40:51

PHP编程语言

2020-07-08 17:06:00

Python开发工具

2021-05-11 12:30:21

PyTorch代码Python

2019-05-16 14:09:03

容器技巧开发

2019-11-05 14:37:24

Java性能优化编程语言

2018-06-11 10:38:56

Vim使用技巧

2021-06-25 10:20:07

Linux技巧命令

2019-08-23 19:22:31

SQL语句效率提升数据库
点赞
收藏

51CTO技术栈公众号