告别缓慢下载,Cloudflare带你体验极速Docker镜像加速

云计算 云原生
通过利用Cloudflare的CDN服务,我们可以显著提升Docker镜像的下载速度。这种方法不仅简单易行,而且免费,是开发者加速Docker镜像拉取的一个有效方案。

背景

国内的Docker镜像服务似乎突然进入了寒冬,不仅Docker镜像服务受到了影响,连NPM镜像也可能面临下架的风险。这对依赖这些服务的开发者们来说,无疑是一个不小的困扰。

近日,SJTUG(上海交通大学Linux用户组)发布了一则令人震惊的公告,宣布“即时起中止对Docker Hub仓库的镜像服务”。公告中建议,如果开发者们在访问官方源时遇到困难,可以尝试使用其他仍在服务的镜像源。

在中科大镜像网站,也有这条一条消息:

在国内Docker镜像服务面临寒冬、官方源访问困难的情况下,开发者们急需稳定且快速的解决方案。自建Docker镜像加速器不仅能确保开发工作的连续性,还能提升镜像下载速度,避免因镜像源问题导致的项目延误和开发困扰。

前提条件

  • 一个已经注册的Cloudflare账户。
  • 一个域名,并已经添加到Cloudflare中进行管理。
  • 一台可以访问互联网的服务器。

步骤一:准备工作

登录Cloudflare[1]平台,点击Worker和Pages,然后点击创建,如下图所示:

填写自定义的 Worker名称,点击部署,如下图所示:

步骤二:部署Docker加速器

进入到部署成功页面后,再点击编辑代码,如下图所示:

将下面代码复制粘贴到初始化代码中,进行替换。

// Docker镜像仓库主机地址
let hub_host = 'registry-1.docker.io'
// Docker认证服务器地址
const auth_url = 'https://auth.docker.io'
// 自定义的工作服务器地址
let workers_url = 'https://你的域名'

let 屏蔽爬虫UA = ['netcraft'];

// 根据主机名选择对应的上游地址
function routeByHosts(host) {
    // 定义路由表
  const routes = {
    // 生产环境
    "quay": "quay.io",
    "gcr": "gcr.io",
    "k8s-gcr": "k8s.gcr.io",
    "k8s": "registry.k8s.io",
    "ghcr": "ghcr.io",
    "cloudsmith": "docker.cloudsmith.io",

    // 测试环境
    "test": "registry-1.docker.io",
  };

  if (host in routes) return [ routes[host], false ];
  else return [ hub_host, true ];
}

/** @type {RequestInit} */
const PREFLIGHT_INIT = {
  // 预检请求配置
  headers: new Headers({
    'access-control-allow-origin': '*', // 允许所有来源
    'access-control-allow-methods': 'GET,POST,PUT,PATCH,TRACE,DELETE,HEAD,OPTIONS', // 允许的HTTP方法
    'access-control-max-age': '1728000', // 预检请求的缓存时间
  }),
}

/**
 * 构造响应
 * @param {any} body 响应体
 * @param {number} status 响应状态码
 * @param {Object<string, string>} headers 响应头
 */
function makeRes(body, status = 200, headers = {}) {
  headers['access-control-allow-origin'] = '*' // 允许所有来源
  return new Response(body, { status, headers }) // 返回新构造的响应
}

/**
 * 构造新的URL对象
 * @param {string} urlStr URL字符串
 */
function newUrl(urlStr) {
  try {
    return new URL(urlStr) // 尝试构造新的URL对象
  } catch (err) {
    return null // 构造失败返回null
  }
}

function isUUID(uuid) {
  // 定义一个正则表达式来匹配 UUID 格式
  const uuidRegex = /^[0-9a-f]{8}-[0-9a-f]{4}-[4][0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$/i;

  // 使用正则表达式测试 UUID 字符串
  return uuidRegex.test(uuid);
}

async function nginx() {
  const text = `
  <!DOCTYPE html>
  <html>
  <head>
  <title>Welcome to nginx!</title>
  <style>
    body {
      width: 35em;
      margin: 0 auto;
      font-family: Tahoma, Verdana, Arial, sans-serif;
    }
  </style>
  </head>
  <body>
  <h1>Welcome to nginx!</h1>
  <p>If you see this page, the nginx web server is successfully installed and
  working. Further configuration is required.</p>

  <p>For online documentation and support please refer to
  <a href="http://nginx.org/">nginx.org</a>.<br/>
  Commercial support is available at
  <a href="http://nginx.com/">nginx.com</a>.</p>

  <p><em>Thank you for using nginx.</em></p>
  </body>
  </html>
  `
  return text ;
}

export default {
  async fetch(request, env, ctx) {
    const getReqHeader = (key) => request.headers.get(key); // 获取请求头

    let url = new URL(request.url); // 解析请求URL
    const userAgentHeader = request.headers.get('User-Agent');
    const userAgent = userAgentHeader ? userAgentHeader.toLowerCase() : "null";
    if (env.UA) 屏蔽爬虫UA = 屏蔽爬虫UA.concat(await ADD(env.UA));
    workers_url = `https://${url.hostname}`;
    const pathname = url.pathname;
    const hostname = url.searchParams.get('hubhost') || url.hostname; 
    const hostTop = hostname.split('.')[0];// 获取主机名的第一部分
    const checkHost = routeByHosts(hostTop);
    hub_host = checkHost[0]; // 获取上游地址
    const fakePage = checkHost[1];
    console.log(`域名头部: ${hostTop}\n反代地址: ${hub_host}\n伪装首页: ${fakePage}`);
    const isUuid = isUUID(pathname.split('/')[1].split('/')[0]);

    if (屏蔽爬虫UA.some(fxxk => userAgent.includes(fxxk)) && 屏蔽爬虫UA.length > 0){
      //首页改成一个nginx伪装页
      return new Response(await nginx(), {
        headers: {
          'Content-Type': 'text/html; charset=UTF-8',
        },
      });
    }

    const conditions = [
      isUuid,
      pathname.includes('/_'),
      pathname.includes('/r'),
      pathname.includes('/v2/user'),
      pathname.includes('/v2/orgs'),
      pathname.includes('/v2/_catalog'),
      pathname.includes('/v2/categories'),
      pathname.includes('/v2/feature-flags'),
      pathname.includes('search'),
      pathname.includes('source'),
      pathname === '/',
      pathname === '/favicon.ico',
      pathname === '/auth/profile',
    ];

    if (conditions.some(condition => condition) && (fakePage === true || hostTop == 'docker')) {
      if (env.URL302){
        return Response.redirect(env.URL302, 302);
      } else if (env.URL){
        if (env.URL.toLowerCase() == 'nginx'){
          //首页改成一个nginx伪装页
          return new Response(await nginx(), {
            headers: {
              'Content-Type': 'text/html; charset=UTF-8',
            },
          });
        } else return fetch(new Request(env.URL, request));
      }

      const newUrl = new URL("https://registry.hub.docker.com" + pathname + url.search);

      // 复制原始请求的标头
      const headers = new Headers(request.headers);

      // 确保 Host 头部被替换为 hub.docker.com
      headers.set('Host', 'registry.hub.docker.com');

      const newRequest = new Request(newUrl, {
          method: request.method,
          headers: headers,
          body: request.method !== 'GET' && request.method !== 'HEAD' ? await request.blob() : null,
          redirect: 'follow'
      });

      return fetch(newRequest);
    }

    // 修改包含 %2F 和 %3A 的请求
    if (!/%2F/.test(url.search) && /%3A/.test(url.toString())) {
      let modifiedUrl = url.toString().replace(/%3A(?=.*?&)/, '%3Alibrary%2F');
      url = new URL(modifiedUrl);
      console.log(`handle_url: ${url}`)
    }

    // 处理token请求
    if (url.pathname.includes('/token')) {
      let token_parameter = {
        headers: {
          'Host': 'auth.docker.io',
          'User-Agent': getReqHeader("User-Agent"),
          'Accept': getReqHeader("Accept"),
          'Accept-Language': getReqHeader("Accept-Language"),
          'Accept-Encoding': getReqHeader("Accept-Encoding"),
          'Connection': 'keep-alive',
          'Cache-Control': 'max-age=0'
        }
      };
      let token_url = auth_url + url.pathname + url.search
      return fetch(new Request(token_url, request), token_parameter)
    }

    // 修改 /v2/ 请求路径
    if (/^\/v2\/[^/]+\/[^/]+\/[^/]+$/.test(url.pathname) && !/^\/v2\/library/.test(url.pathname)) {
      url.pathname = url.pathname.replace(/\/v2\//, '/v2/library/');
      console.log(`modified_url: ${url.pathname}`)
    }

    // 更改请求的主机名
    url.hostname = hub_host;

    // 构造请求参数
    let parameter = {
      headers: {
        'Host': hub_host,
        'User-Agent': getReqHeader("User-Agent"),
        'Accept': getReqHeader("Accept"),
        'Accept-Language': getReqHeader("Accept-Language"),
        'Accept-Encoding': getReqHeader("Accept-Encoding"),
        'Connection': 'keep-alive',
        'Cache-Control': 'max-age=0'
      },
      cacheTtl: 3600 // 缓存时间
    };

    // 添加Authorization头
    if (request.headers.has("Authorization")) {
      parameter.headers.Authorization = getReqHeader("Authorization");
    }

    // 发起请求并处理响应
    let original_response = await fetch(new Request(url, request), parameter)
    let original_response_clone = original_response.clone();
    let original_text = original_response_clone.body;
    let response_headers = original_response.headers;
    let new_response_headers = new Headers(response_headers);
    let status = original_response.status;

    // 修改 Www-Authenticate 头
    if (new_response_headers.get("Www-Authenticate")) {
      let auth = new_response_headers.get("Www-Authenticate");
      let re = new RegExp(auth_url, 'g');
      new_response_headers.set("Www-Authenticate", response_headers.get("Www-Authenticate").replace(re, workers_url));
    }

    // 处理重定向
    if (new_response_headers.get("Location")) {
      return httpHandler(request, new_response_headers.get("Location"))
    }

    // 返回修改后的响应
    let response = new Response(original_text, {
      status,
      headers: new_response_headers
    })
    return response;
  }
};

/**
 * 处理HTTP请求
 * @param {Request} req 请求对象
 * @param {string} pathname 请求路径
 */
function httpHandler(req, pathname) {
  const reqHdrRaw = req.headers

  // 处理预检请求
  if (req.method === 'OPTIONS' &&
    reqHdrRaw.has('access-control-request-headers')
  ) {
    return new Response(null, PREFLIGHT_INIT)
  }

  let rawLen = ''

  const reqHdrNew = new Headers(reqHdrRaw)

  const refer = reqHdrNew.get('referer')

  let urlStr = pathname

  const urlObj = newUrl(urlStr)

  /** @type {RequestInit} */
  const reqInit = {
    method: req.method,
    headers: reqHdrNew,
    redirect: 'follow',
    body: req.body
  }
  return proxy(urlObj, reqInit, rawLen)
}

/**
 * 代理请求
 * @param {URL} urlObj URL对象
 * @param {RequestInit} reqInit 请求初始化对象
 * @param {string} rawLen 原始长度
 */
async function proxy(urlObj, reqInit, rawLen) {
  const res = await fetch(urlObj.href, reqInit)
  const resHdrOld = res.headers
  const resHdrNew = new Headers(resHdrOld)

  // 验证长度
  if (rawLen) {
    const newLen = resHdrOld.get('content-length') || ''
    const badLen = (rawLen !== newLen)

    if (badLen) {
      return makeRes(res.body, 400, {
        '--error': `bad len: ${newLen}, except: ${rawLen}`,
        'access-control-expose-headers': '--error',
      })
    }
  }
  const status = res.status
  resHdrNew.set('access-control-expose-headers', '*')
  resHdrNew.set('access-control-allow-origin', '*')
  resHdrNew.set('Cache-Control', 'max-age=1500')

  // 删除不必要的头
  resHdrNew.delete('content-security-policy')
  resHdrNew.delete('content-security-policy-report-only')
  resHdrNew.delete('clear-site-data')

  return new Response(res.body, {
    status,
    headers: resHdrNew
  })
}

async function ADD(envadd) {
  var addtext = envadd.replace(/[   |"'\r\n]+/g, ',').replace(/,+/g, ',');  // 将空格、双引号、单引号和换行符替换为逗号
  //console.log(addtext);
  if (addtext.charAt(0) == ',') addtext = addtext.slice(1);
  if (addtext.charAt(addtext.length -1) == ',') addtext = addtext.slice(0, addtext.length - 1);
  const add = addtext.split(',');
  //console.log(add);
  return add ;
}

替换自己的域名后,点击右上角的部署,然后保持并部署,提示部署成功。

接下来,部署成功后,通过点击如下图的workers.dev,打开如下图的界面:

步骤三:绑定域名

返回到Workers 和 Pages 页面,点击 设置 → 触发器 → 添加自定义域,如下图所示:

再次返回到** Workers 和 Pages** 页面,点击 设置 → 触发器 ,看到显示 “有效”,点击访问 URL 即可。

再次利用自定义域名访问,如下图所示:

步骤四:配置Docker客户端

最后,在需要加速Docker镜像下载的客户端机器上,配置Docker以使用你的私有Registry。编辑或创建/etc/docker/daemon.json文件,添加以下内容:

{
  "registry-mirrors": ["https://docker.xxxx.top"],
  "insecure-registries": ["docker.xxxx.top"],
}

然后重启Docker服务:

sudo systemctl restart docker

测试加速效果

现在,你可以通过nginx来拉取镜像,命令如下:

docker pull nginx

如果配置正确,你会发现镜像拉取速度显著提升。

总结

通过利用Cloudflare的CDN服务,我们可以显著提升Docker镜像的下载速度。这种方法不仅简单易行,而且免费,是开发者加速Docker镜像拉取的一个有效方案。希望本文对你有所帮助。

Reference:

[1]Cloudflare: https://www.cloudflare.com/zh-cn/

责任编辑:赵宁宁 来源: 攻城狮成长日记
相关推荐

2012-06-18 15:17:51

2015-01-09 10:17:19

DaocloudDocker HubDocker

2024-06-12 12:08:03

镜像仓库Cloudflare域名

2015-01-27 11:35:02

App崩溃iOS升级云测试

2021-09-02 07:04:45

Docker镜像语言

2011-05-05 14:32:10

微软Exchange

2011-08-15 10:37:21

视频极速流量

2011-05-05 13:03:08

深信服广域网加速

2012-08-20 14:20:44

智汇云Mobile Web 华为

2023-10-09 14:32:48

2011-04-29 09:07:43

Ubuntu 11.0下载体验

2015-07-28 10:14:40

Linux on PoPower极速

2021-10-15 07:57:04

Docker 日志容器

2015-07-27 12:46:14

Linux on PoPower8POWER8芯片

2021-10-06 10:12:04

微软Windows 11Windows

2020-11-16 09:05:08

Docker架构容器

2009-09-14 09:09:07

Delphi 2010

2015-07-28 10:18:52

Linux on Po极速Power

2014-04-17 15:02:10

联想“乐安全”智能手机

2019-07-24 08:49:36

Docker容器镜像
点赞
收藏

51CTO技术栈公众号