大幅减小OH代码占用磁盘空间的几个小技巧

系统 OpenHarmony
随着版本的演进和更新,OpenHarmony的代码量越来越大,非常消耗磁盘空间。下面我们组合使用repo和git命令的一些参数,可以大幅减小OpenHarmony代码的磁盘占用空间。

想了解更多关于开源的内容,请访问:

51CTO 鸿蒙开发者社区

https://ost.51cto.com

前言

随着版本的演进和更新,OpenHarmony的代码量越来越大,非常消耗磁盘空间。以 v4.1-Release 版本为例,参考官方文档提供的以下四条命令获取的OpenHarmony代码已经接近50G(包含//.repo/、//prebuilts/、checkout到工作区的代码和通过git lfs pull下载的大文件):

$ repo init -u git@gitee.com:openharmony/manifest.git -b 
refs/tags/OpenHarmony-v4.1-Release --no-repo-verify
$ repo sync -c
$ repo forall -c 'git lfs pull'
$ ./build/prebuilts_download.sh
1.
2.
3.
4.

如果完成了三类系统(轻量、小型、标准)的全编译,则会产生几十个G的 .ccache 和几十个G的 //out/ ,整体已经占用超过150G的磁盘空间了。

下面我们组合使用repo和git命令的一些参数,可以大幅减小OpenHarmony代码的磁盘占用空间。

repo sync -m 参数

在repo sync 命令增加 -m 参数,指定只同步(下载或clone)manifest仓库中的某个manifest文件。

例如,不使用 -m 参数的官方命令:

$ repo init -u git@gitee.com:openharmony/manifest.git -b 
refs/tags/OpenHarmony-v4.1-Release --no-repo-verify
1.

会在 //.repo/manifest.xml 中指定同步 //.repo/manifests/default.xml 文件,该文件中

<include name="ohos/ohos.xml" />
  <include name="chipsets/all.xml" />

会指定下载全量的OpenHarmony代码,包括了开源出来的所有chipsets仓库代码,这样会包含我们并不需要的非常多的仓库。

而通过增加 -m 参数则可以只下载我们需要的chipsets仓库代码,例如:

$ repo init -u git@gitee.com:openharmony/manifest.git -b 
refs/tags/OpenHarmony-v4.1-Release -m chipsets/hispark_taurus.xml 
--no-repo-verify
1.

上述命令增加 “-m chipsets/hispark_taurus.xml” 后,//.repo/manifest.xml 的描述则会指定同步 //.repo/manifests/chipsets/hispark_taurus.xml 文件:

<include name="ohos/ohos.xml" />
  <include name="chipsets/hispark/hispark.xml" />

这样可以节省不少磁盘空间。

如果我们还需要其它的chipsets的manifest,那我们可以直接手动修改 //.repo/manifest.xml 的描述,按规则增加对应的chipsets的manifest即可。

或者,不加 -m 参数,也可以直接修改 //.repo/manifests/default.xml 文件的描述,再去repo sync,也可以达到同样的效果:

<include name="ohos/ohos.xml" />
  <!-- include name="chipsets/all.xml" / -->
  <include name="chipsets/hispark/hispark.xml" />
  <include name="chipsets/dayu200/dayu200.xml" />

repo sync -g 参数

在repo sync 命令增加 -g 参数,可以对各仓库的groups字段进行过滤,匹配 -g 参数的仓库才会同步(下载或clone)到本地。例如:

$ repo init -u git@gitee.com:openharmony/manifest.git -b 
refs/tags/OpenHarmony-v4.1-Release -m chipsets/hispark_taurus.xml -g 
ohos:mini,ohos:small --no-repo-verify
$ repo init -u git@gitee.com:openharmony/manifest.git -b 
refs/tags/OpenHarmony-v4.1-Release -m chipsets/dayu200.xml -g ohos:standard 
--no-repo-verify

但是需要注意,这个 groups 标签,看上去维护得并不好,甚至有些混乱。

有些仓库只适用于标准系统,也添加了ohos:mini,ohos:small标签;有些仓库虽然没有ohos:mini,ohos:small标签,但是在执行 ./build/prebuilts_download.sh 时,则是需要依赖到的;有些仓库则没有ohos:mini,ohos:small标签,但会在编译过程中或者镜像打包阶段依赖到而导致编译错误;这些都需要根据实际情况自行修改 ohos.xml 中对应仓库的 groups 标签然后再同步和编译代码。

repo sync --depth 参数

ohos.xml 中对Linux内核仓库的描述:

<project name="kernel_linux_5.10" path="kernel/linux/linux-5.10" clone-depth="1" groups="..."/>

有一个 clone-depth=“1” 的字段,该字段表示在同步(下载或clone)远程仓库到本地时,只下载远程仓库默认分支的最新一次提交记录到本地,而不是将所有的历史记录都同步到本地,这样可以大幅减少仓库代码的磁盘占用空间。

如果只想对某些仓库(特别是历史记录特别长的仓库)做 clone-depth="num"的操作,可以像上面一样,在对应仓库的描述信息增加 clone-depth=“num” 字段就行了;如果想对所有仓库进行一次性的操作,那就给 repo sync 命令增加一个 --depth 参数。例如:

$ repo init -u git@gitee.com:openharmony/manifest.git -b 
refs/tags/OpenHarmony-v4.1-Release -m chipsets/hispark_taurus.xml -g 
ohos:mini,ohos:small --no-repo-verify --depth=1
$ repo init -u git@gitee.com:openharmony/manifest.git -b 
refs/tags/OpenHarmony-v4.1-Release -m chipsets/dayu200.xml -g ohos:standard 
--no-repo-verify --depth=1

git --depth 参数

通过 repo sync --depth=1 参数拉取的OpenHarmony代码,默认只获取远程仓库默认分支的最新一次提交记录到本地,并不包含更多的历史提交记录和其他费默认分支的记录。

对某个具体仓库,可以通过git命令和参数进行一些操作,获取更多的历史提交记录和其他费默认分支的记录到本地。

git 的 --depth参数:

--depth 
Create a shallow clone【浅克隆】 with a history truncated to the specified 
number【depth】 of commits.
Implies【隐含参数是】--single-branch【仅获取远程仓库默认分支的最新一次提交记录】unless【除非显式指定参数】--no-single-branch【通过这个参数指明获取远程仓库所有分支的最新一次提交记录】is 
given to fetch the histories near the tips of all branches.
If you want to clone submodules shallowly, also pass 
--shallow-submodules.

即在默认的 --single-branch 情况下,只获取默认分支到本地;如果要查看其他分支的代码和提交记录,可以按如下一些操作进行处理。

# 例如本地只有OpenHarmony-v4.1-Release的记录,想要使用远程的OpenHarmony-v3.2-Release分支,
# 这样操作就可以把远程的OpenHarmony-v3.2-Release分支拉取到本地进行切换和使用
$ git remote set-branches origin OpenHarmony-v3.2-Release
$ git fetch --depth=1 origin 
OpenHarmony-v3.2-Release:OpenHarmony-v3.2-Release
$ git checkout OpenHarmony-v3.2-Release

git-sparse-checkout 参数

对于特定的仓库,git 还有一个稀疏检出的操作可以稍微减少checkout的代码量,更重要的是这个参数可以让工作区的代码目录更清爽。

例如,对于 //vendor/hisilicon/ 仓库,默认是:

ohos@ohos:~/Lite/A41Rel/vendor/hisilicon$ ls -l
drwxrwxr-x 13 ohos ohos 4096 5月 30 15:26 ./
drwxrwxr-x 7 ohos ohos 4096 4月 29 17:48 ../
drwxrwxr-x 3 ohos ohos 4096 5月 30 15:26 .git/
drwxrwxr-x 2 ohos ohos 4096 5月 30 15:26 .gitee/
-rw-rw-r-- 1 ohos ohos 84 5月 30 15:26 .gitignore
drwxrwxr-x 6 ohos ohos 4096 5月 30 15:26 hispark_aries/
drwxrwxr-x 4 ohos ohos 4096 4月 14 11:50 hispark_pegasus/
drwxrwxr-x 3 ohos ohos 4096 5月 30 15:26 hispark_pegasus_mini_system/
drwxrwxr-x 7 ohos ohos 4096 5月 30 15:26 hispark_phoenix/
drwxrwxr-x 6 ohos ohos 4096 4月 14 00:21 hispark_taurus/
drwxrwxr-x 5 ohos ohos 4096 5月 10 09:18 hispark_taurus_linux/
drwxrwxr-x 6 ohos ohos 4096 5月 30 15:26 hispark_taurus_mini_system/
drwxrwxr-x 7 ohos ohos 4096 5月 30 15:26 hispark_taurus_standard/
-rw-rw-r-- 1 ohos ohos 10347 5月 30 15:26 LICENSE
-rw-rw-r-- 1 ohos ohos 6854 5月 30 15:26 OAT.xml
-rw-rw-r-- 1 ohos ohos 1345 5月 30 15:26 README_zh.md
drwxrwxr-x 6 ohos ohos 4096 5月 30 15:26 watchos/

这里面有很多项目是我们平常基本上用不到也改不到的,放在这里很碍眼,通过hb set选择项目时,也会出现太多的选项,因此,可以使用git-sparse-checkout的配置来只checkout我们想要的文件夹(项目)。

可以在这个仓库目录下执行:

git config core.sparsecheckout true
# true 或 1,enable sparsecheckout
# false 或 0,disable sparsecheckout

该命令会在 //vendor/hisilicon/.git/config 文件的 [core] 段新增一个 sparsecheckout = true 的配置,enable 了sparsecheckout 功能,然后再执行:

git sparse-checkout set hispark_pegasus hispark_taurus 
hispark_taurus_linux
或者
echo "hispark_pegasus hispark_taurus hispark_taurus_linux" > 
.git/info/sparse-checkout

作用都是将需要checkout的目录和文件列表写入到 //vendor/hisilicon/.git/info/sparse-checkout 文件中去,而不在该文件中的目录和文件则不会checkout出来(但这些文件的objects对象,还是在本地仓库中的,只是没有解压到工作区而已),而我们的修改和提交,也不会影响到未checkout的目录和文件。

ohos@ohos:~/Lite/A41Rel/vendor/hisilicon$ ll
drwxrwxr-x 6 ohos ohos 4096 5月 30 15:46 ./
drwxrwxr-x 7 ohos ohos 4096 4月 29 17:48 ../
drwxrwxr-x 3 ohos ohos 4096 5月 30 15:46 .git/
drwxrwxr-x 4 ohos ohos 4096 4月 14 11:50 hispark_pegasus/
drwxrwxr-x 6 ohos ohos 4096 4月 14 00:21 hispark_taurus/
drwxrwxr-x 5 ohos ohos 4096 5月 10 09:18 hispark_taurus_linux/

当我们需要把全部的目录和文件列表全部checkout出来的时候,可以直接执行:

git sparse-checkout set *
或者
echo "*" > .git/info/sparse-checkout

然后重新checkout一下当前的分支即可。

注意:

实测发现,是否执行 “git config core.sparsecheckout” 命令来enable或disable sparsecheckout都没关系(不知道是git版本问题还是bug),只要有 .git/info/sparse-checkout 文件,都可以通过改写该文件达到稀疏检出的目的。

补充

经过上述命令和参数的组合使用,可以大幅减少OpenHarmony仓库和代码所占用的磁盘空间,但是三大巨头(//prebuilts/、//out/、.ccache)仍然是占用着非常大的磁盘空间。

想了解更多关于开源的内容,请访问:

51CTO 鸿蒙开发者社区

https://ost.51cto.com

责任编辑:jianghua 来源: 51CTO 鸿蒙开发者社区
相关推荐

2015-11-25 13:37:52

磁盘空间LinuxUbuntu

2021-07-30 16:28:42

磁盘微信工具

2010-06-17 15:01:24

Linux查看磁盘空间

2020-05-12 09:02:29

Linux磁盘硬盘

2021-03-05 08:29:20

DeleteMysql数据结构

2010-04-08 15:24:36

Windows磁盘空间

2020-03-31 18:50:33

微软Windows操作系统

2020-02-03 13:50:17

Windows 10Windows技巧

2011-01-18 10:25:19

Linux磁盘分区

2010-05-27 17:51:55

Linux查看磁盘空间

2023-04-18 23:31:59

Linux磁盘系统

2011-08-19 14:34:03

iPhone开发

2024-10-31 16:46:36

2018-01-11 15:36:23

命令磁盘空间Docker

2021-02-11 08:11:50

Window10Docker容器

2024-11-28 13:16:47

Linux磁盘

2018-07-24 08:50:40

Linux磁盘空间磁盘利用率

2020-07-09 09:55:12

diskonautLinux导航器

2020-11-17 11:19:48

Linux磁盘空间

2021-08-06 20:22:27

Linuxdu命令
点赞
收藏

51CTO技术栈公众号