51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

Cluster API 检索从未如此简单

作者：蔡威
开发
如何快速部署一套 Cluster API And Clusterpedia 的示例环境？

​Clusterpedia 是一个 CNCF 沙箱项目，用于跨集群复杂的资源检索。

名字源于 Wikipedia，寓意是打造多集群的百科全书，可以与多个集群同步资源，并在与 Kubernetes OpenAPI 兼容的基础上，提供更强大的搜索功能，以帮助您快速、简便、有效地获取任何多集群资源。​

   项目地址：https://github.com/clusterpedia-io/clusterpedia

0.4.0 后，Clusterpedia 提供了更加友好的接入多云平台的方式，用户在多云平台创建或者纳管集群后，便可以直接使用 kubectl 来检索这些集群内的资源。

我们在Clusterpedia 仓库[1]中维护了各个多云平台的 ClusterImportPolicy[2]。非常欢迎大家提交用于对接其他多云平台的 ClusterImportPolicy。​

用户在安装 Clusterpedia 后，创建合适的 ClusterImportPolicy 即可，用户也可以根据自己的需求来创建新的 ClusterImportPolicy[3]。

Cluster API 的 ClusterImportPolicy 已经在 clusterpedia#288[4]中提交，在 Cluster API 中创建集群后，可以直接使用 Clusterpedia 来对这些集群内的资源进行复杂检索。

$ kubectl get cluster
NAME                PHASE         AGE    VERSION
capi-quickstart     Provisioned   10m    v1.24.2
capi-quickstart-2   Provisioned   118s   v1.24.2


$ kubectl get kubeadmcontrolplane
NAME                      CLUSTER             INITIALIZED   API SERVER AVAILABLE   REPLICAS   READY   UPDATED   UNAVAILABLE   AGE   VERSION
capi-quickstart-2-ctm9k   capi-quickstart-2   true                                 1                  1         1             10m   v1.24.2
capi-quickstart-2xcsz     capi-quickstart     true                                 1                  1         1             19m   v1.24.2


$ # pediacluster 会根据 cluster 资源自动创建，更新和删除
$ kubectl get pediacluster -o wide
NAME                        READY   VERSION   APISERVER   VALIDATED   SYNCHRORUNNING   CLUSTERHEALTHY
default-capi-quickstart     True    v1.24.2               Validated   Running          Healthy
default-capi-quickstart-2   True    v1.24.2               Validated   Running          Healthy


$ kubectl --cluster clusterpedia get no
CLUSTER                     NAME                                            STATUS     ROLES           AGE   VERSION
default-capi-quickstart-2   capi-quickstart-2-ctm9k-g2m87                   NotReady   control-plane   12m   v1.24.2
default-capi-quickstart-2   capi-quickstart-2-md-0-s8hbx-7bd44554b5-kzcb6   NotReady   <none>          11m   v1.24.2
default-capi-quickstart     capi-quickstart-2xcsz-fxrrk                     NotReady   control-plane   21m   v1.24.2
default-capi-quickstart     capi-quickstart-md-0-9tw2g-b8b4f46cf-gggvq      NotReady   <none>          20m   v1.24.2

01示例环境

如何快速部署一套 Cluster API And Clusterpedia 的示例环境？

预备条件

  • 安装 kubectl[5] 到本地环境
  • 安装 Kind[6] and Docker[7]
  • 安装 clusterctl[8]

   Minimum kind supported version: v0.14.0

创键管理集群并部署 Cluster API

   部署 Cluster API 也可以参考 https://cluster-api.sigs.k8s.io/user/quick-start.html

$ cat > kind-cluster-with-extramounts.yaml <<EOF
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  extraMounts:
    - hostPath: /var/run/docker.sock
      containerPath: /var/run/docker.sock
EOF


$ kind create cluster --name capi-sample --config kind-cluster-with-extramounts.yaml


$ export CLUSTER_TOPOLOGY=true
$ clusterctl init --infrastructure docker

部署 Clusterpedia

$ git clone https://github.com/clusterpedia-io/clusterpedia.git && cd clusterpedia/charts
$ helm install clusterpedia . \
  --namespace clusterpedia-system \
  --create-namespace \
  --set installCRDs=true \
  # --set persistenceMatchNode={{ LOCAL_PV_NODE }}
  --set persistenceMatchNode=capi-sample-control-plane

clusterpedia charts 提供了 Local PV，需要创建 LOCAL PV 绑定的节点。如果不需要 charts 来创建 LOCAL PV，可以使用 --set persistenceMatchNode=None.详见[9]

创建用于接入 Cluster API 的集群自动导入策略[10]

$ kubectl apply -f https://raw.githubusercontent.com/Iceber/clusterpedia/add_cluster_api_clusterimportpolicy/deploy/clusterimportpolicy/cluster_api.yaml

Clusterpedia 可以接入任何的多云管理平台，接入方式可以参考 Interfacing to Multi-Cloud Platforms[11]

生成 kubectl cluster shortcut[12]，如果使用 client-go 或者 OpenAPI 来访问，可以省略该步骤。

$ curl -sfL https://raw.githubusercontent.com/clusterpedia-io/clusterpedia/main/hack/gen-clusterconfigs.sh | sh -


$ # 使用 kubectl 检索多集群资源，当前 Cluster API 未创建集群，所以返回空
$ kubectl --cluster clusterpedia api-resources

02使用 Cluster API创建集群

使用示例环境的 Docker Provider 来创建集群时，需要添加 --flavor development。

$ clusterctl generate cluster capi-quickstart --flavor development \
  --kubernetes-version v1.24.2 \
  --control-plane-machine-count=1 \
  --worker-machine-count=1 \
  > capi-quickstart.yaml
$ kubectl apply -f ./capi-quickstart.yaml

观察集群创建情况

$ kubectl get cluster
NAME              PHASE         AGE   VERSION
capi-quickstart   Provisioned   8s    v1.24.2


$ kubectl get kubeadmcontrolplane -w
NAME                    CLUSTER           INITIALIZED   API SERVER AVAILABLE   REPLICAS   READY   UPDATED   UNAVAILABLE   AGE   VERSION
capi-quickstart-2xcsz   capi-quickstart   true

当 kubeadmcontrolplane 的 Initialized 为 True 后，clusterpedia 会自动同步该集群内的资源，可以使用 kubectl --cluster clusterpedia get po -A 来查看资源。

$ kubectl get pediacluster
NAME                      READY   VERSION   APISERVER
default-capi-quickstart   True    v1.24.2


$ kubectl --cluster clusterpedia get pod -A
NAMESPACE     CLUSTER                   NAME                                                  READY   STATUS    RESTARTS   AGE
kube-system   default-capi-quickstart   kube-apiserver-capi-quickstart-2xcsz-fxrrk            1/1     Running   0          2m32s
kube-system   default-capi-quickstart   kube-scheduler-capi-quickstart-2xcsz-fxrrk            1/1     Running   0          2m31s
kube-system   default-capi-quickstart   coredns-6d4b75cb6d-lrwj4                              0/1     Pending   0          2m20s
kube-system   default-capi-quickstart   kube-proxy-p8v9m                                      1/1     Running   0          2m20s
kube-system   default-capi-quickstart   kube-controller-manager-capi-quickstart-2xcsz-fxrrk   1/1     Running   0          2m32s
kube-system   default-capi-quickstart   etcd-capi-quickstart-2xcsz-fxrrk                      1/1     Running   0          2m32s
kube-system   default-capi-quickstart   kube-proxy-2ln2w                                      1/1     Running   0          105s
kube-system   default-capi-quickstart   coredns-6d4b75cb6d-2hcmz                              0/1     Pending   0          2m20s

自动创建的 pediacluster 默认的同步资源在 cluster-api clusterimportpolicy 中设置[13]，用户也可以手动修改 pediacluster 中同步的配置， Synchronize Cluster Resources[14]。

在 Cluster API 中删除集群时，Clusterpedia 也同步删除 PeidaCluster，不会继续同步该集群。

03对多个集群的资源检索

使用上述步骤创建多个集群。

$ kubectl get cluster
NAME                PHASE         AGE    VERSION
capi-quickstart     Provisioned   10m    v1.24.2
capi-quickstart-2   Provisioned   118s   v1.24.2


$ kubectl get kubeadmcontrolplane
NAME                      CLUSTER             INITIALIZED   API SERVER AVAILABLE   REPLICAS   READY   UPDATED   UNAVAILABLE   AGE   VERSION
capi-quickstart-2-ctm9k   capi-quickstart-2   true                                 1                  1         1             10m   v1.24.2
capi-quickstart-2xcsz     capi-quickstart     true                                 1                  1         1             19m   v1.24.2


$ # pediacluster 会根据 cluster 资源自动创建
$ kubectl get pediacluster -o wide
NAME                        READY   VERSION   APISERVER   VALIDATED   SYNCHRORUNNING   CLUSTERHEALTHY
default-capi-quickstart     True    v1.24.2               Validated   Running          Healthy
default-capi-quickstart-2   True    v1.24.2               Validated   Running          Healthy


$ kubectl --cluster clusterpedia get no
CLUSTER                     NAME                                            STATUS     ROLES           AGE   VERSION
default-capi-quickstart-2   capi-quickstart-2-ctm9k-g2m87                   NotReady   control-plane   12m   v1.24.2
default-capi-quickstart-2   capi-quickstart-2-md-0-s8hbx-7bd44554b5-kzcb6   NotReady   <none>          11m   v1.24.2
default-capi-quickstart     capi-quickstart-2xcsz-fxrrk                     NotReady   control-plane   21m   v1.24.2
default-capi-quickstart     capi-quickstart-md-0-9tw2g-b8b4f46cf-gggvq      NotReady   <none>          20m   v1.24.2

clusterpedia 提供了两种资源检索方式

兼容 Kubernetes OpenAPI 的资源检索[15]

$ kubectl --cluster clusterpedia get cm -A
NAMESPACE         CLUSTER                     NAME                                 DATA   AGE
kube-system       default-capi-quickstart     extension-apiserver-authentication   6      19m
kube-system       default-capi-quickstart     kubeadm-config                       1      19m
kube-public       default-capi-quickstart     cluster-info                         2      19m
kube-system       default-capi-quickstart     kube-proxy                           2      19m
kube-node-lease   default-capi-quickstart     kube-root-ca.crt                     1      19m
kube-system       default-capi-quickstart-2   extension-apiserver-authentication   6      10m
kube-system       default-capi-quickstart     kubelet-config                       1      19m
kube-system       default-capi-quickstart     coredns                              1      19m
kube-system       default-capi-quickstart     kube-root-ca.crt                     1      19m
kube-public       default-capi-quickstart     kube-root-ca.crt                     1      19m
kube-system       default-capi-quickstart-2   coredns                              1      10m
default           default-capi-quickstart     kube-root-ca.crt                     1      19m
kube-system       default-capi-quickstart-2   kube-proxy                           2      10m
kube-system       default-capi-quickstart-2   kubeadm-config                       1      10m
kube-system       default-capi-quickstart-2   kubelet-config                       1      10m
kube-system       default-capi-quickstart-2   kube-root-ca.crt                     1      10m
kube-node-lease   default-capi-quickstart-2   kube-root-ca.crt                     1      10m
kube-public       default-capi-quickstart-2   cluster-info                         3      10m
kube-public       default-capi-quickstart-2   kube-root-ca.crt                     1      10m
default           default-capi-quickstart-2   kube-root-ca.crt                     1      10m


$ # gen cluster shortcuts
$ curl -sfL https://raw.githubusercontent.com/clusterpedia-io/clusterpedia/main/hack/gen-clusterconfigs.sh | sh -
$ kubectl --cluster default-capi-quickstart get cm -n kube-system

Collection Resource​[16]

$ kubectl get collectionresources
NAME            RESOURCES
any             *
workloads       apps.deployments,apps.daemonsets,apps.statefulsets
kuberesources   .*,admission.k8s.io.*,admissionregistration.k8s.io.*,apiextensions.k8s.io.*,apps.*,authentication.k8s.io.*,authorization.k8s.io.*,autoscaling.*,batch.*,certificates.k8s.io.*,coordination.k8s.io.*,discovery.k8s.io.*,events.k8s.io.*,extensions.*,flowcontrol.apiserver.k8s.io.*,imagepolicy.k8s.io.*,internal.apiserver.k8s.io.*,networking.k8s.io.*,node.k8s.io.*,policy.*,rbac.authorization.k8s.io.*,scheduling.k8s.io.*,storage.k8s.io.*


$ kubectl get collectionresources workloads

检索条件

  • 元信息过滤 (资源名称，命名空间，集群，创建时间区间)[17]
$ kubectl --cluster clusterpedia get cm -A -l \
    "search.clusterpedia.io/clusters in (default-capi-quickstart,default-capi-quickstart-2),\
    search.clusterpedia.io/namespaces in (kube-system,default)"
NAMESPACE     CLUSTER                     NAME                                 DATA   AGE
kube-system   default-capi-quickstart     extension-apiserver-authentication   6      23m
kube-system   default-capi-quickstart     kubeadm-config                       1      23m
kube-system   default-capi-quickstart     kube-proxy                           2      23m
kube-system   default-capi-quickstart-2   extension-apiserver-authentication   6      14m
kube-system   default-capi-quickstart     kubelet-config                       1      23m
kube-system   default-capi-quickstart     coredns                              1      23m
kube-system   default-capi-quickstart     kube-root-ca.crt                     1      23m
kube-system   default-capi-quickstart-2   coredns                              1      14m
default       default-capi-quickstart     kube-root-ca.crt                     1      23m
kube-system   default-capi-quickstart-2   kube-proxy                           2      14m
kube-system   default-capi-quickstart-2   kubeadm-config                       1      14m
kube-system   default-capi-quickstart-2   kubelet-config                       1      14m
kube-system   default-capi-quickstart-2   kube-root-ca.crt                     1      14m
default       default-capi-quickstart-2   kube-root-ca.crt                     1      14m
  • 模糊搜索[18]
  • 增强的 Field Selector[19]
  • 根据父辈或者祖辈 Owner 检索[20]
  • 分页和排序[21]
  • 自定义条件搜索[22]​

资料链接

[1]    Clusterpedia 仓库: https://github.com/clusterpedia-io/clusterpedia/tree/main/deploy/clusterimportpolicy

[2]    ClusterImportPolicy: https://clusterpedia.io/zh-cn/docs/concepts/cluster-import-policy/

[3]    创建新的 ClusterImportPolicy: https://clusterpedia.io/docs/usage/interfacing-to-multi-cloud-platforms/#new-clusterimportpolicy

[4]    clusterpedia#288: https://github.com/clusterpedia-io/clusterpedia/pull/288

[5]    kubectl: https://kubernetes.io/docs/tasks/tools/install-kubectl/

[6]    Kind: https://kind.sigs.k8s.io/

[7]    Docker: https://www.docker.com/

[8]    clusterctl: https://cluster-api.sigs.k8s.io/user/quick-start.html#install-clusterctl

[9]    详见: https://github.com/clusterpedia-io/clusterpedia/tree/main/charts

[10]  集群自动导入策略: https://clusterpedia.io/docs/concepts/cluster-import-policy/

[11]  Interfacing to Multi-Cloud Platforms: https://clusterpedia.io/docs/usage/interfacing-to-multi-cloud-platforms/

[12]  生成 kubectl cluster shortcut: https://clusterpedia.io/docs/usage/access-clusterpedia/#configure-the-cluster-shortcut-for-kubectl

[13]  clusterimportpolicy 中设置: https://clusterpedia.io/docs/concepts/cluster-import-policy/#pediacluster-template

[14]  Synchronize Cluster Resources: https://clusterpedia.io/docs/usage/sync-resources/

[15]  兼容 Kubernetes OpenAPI 的资源检索: https://clusterpedia.io/zh-cn/docs/usage/access-clusterpedia/#%E8%AE%BF%E9%97%AE-clusterpedia-%E8%B5%84%E6%BA%90

[16]  Collection Resource: https://clusterpedia.io/zh-cn/docs/concepts/collection-resource/

[17]  元信息过滤 (资源名称，命名空间，集群，创建时间区间): https://clusterpedia.io/docs/usage/search/#search-by-metadata

[18]  模糊搜索: https://clusterpedia.io/docs/usage/search/multi-cluster/#fuzzy-search

[19]  增强的 Field Selector: https://clusterpedia.io/docs/usage/search/multi-cluster/#field-selector

[20]  根据父辈或者祖辈 Owner 检索: https://clusterpedia.io/docs/usage/search/multi-cluster/#search-by-parent-or-ancestor-owner

[21]  分页和排序: https://clusterpedia.io/docs/usage/search/multi-cluster/#paging-and-sorting

[22]  自定义条件搜索: https://clusterpedia.io/docs/us​age/search/#advanced-searchcustom-conditional-search

责任编辑：未丽燕 来源： 云原生社区动态
Cluster检索集群
相关推荐
开发交互式 Web 应用，从未如此简单
今天分享一个让开发交互式Webapp超级简单的工具。不会HTML，CSS，JAVASCRIPT也没事。

2021-10-18 13:31:28

Web应用交互式
从未如此惊艳！你好，SuperTextView
欢迎使用SuperTextView，这篇文档将会向你展示如何使用这个控件来提高你构建项目的效率。

2017-04-21 14:57:57

AndroidSuperTextViTextView
API接口限流竟然如此简单
我们已经成功实现了一个基于Redisson和SpringAOP的API接口限流功能。这个方案不仅简单易懂，而且非常灵活，可以通过注解轻松地应用到任意方法上，并且支持多种限流策略（如全局限流、IP限流、集群限流等）。

2024-12-03 08:43:49

从未如此简单：5分钟搞懂 HTTP 缓存机制
HTTP缓存可以说是HTTP性能优化中简单高效的一种优化方式了，缓存是一种保存资源副本并在下次请求时直接使用该副本的技术，当web缓存发现请求的资源已经被存储，它会拦截请求，返回该资源的拷贝，而不会去源服务器重新下载。

2020-03-03 15:40:51

开发技能代码
从未如此简单：10分钟带你逆袭Kafka！
ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点。

2020-03-17 07:41:50

ApacheKafka系统
开发一个浏览器插件从未如此简单 ...
基于这个框架去开发一个浏览器扩展，我们只需要去关注业务的核心逻辑，其他的环境、配置、部署、发布，Plasmo可以通通帮我们搞定。

2022-06-13 06:33:04

浏览器浏览器插件
Paul Cormier：未来从未如此开放
波士顿当地时间13日，作为最具有技术影响力的开源生态盛会——红帽2013峰会迎来了最重要的演讲者之一，红帽执行副总裁兼产品和技术部门总裁PaulCormier，他不仅分享了红帽开放混合云战略，还包括激动人心的红帽企业级Linux、首个商业版本Openstack、Cloudform等一系列新产品的发布。

2013-06-14 10:36:00

Istio，灰度发布从未如此轻松！！！
ServiceMesh本质是业务服务与底层技术体系的解耦，而Istio是ServiceMesh的产品化落地。今天我们聊聊Istio的流控，典型如灰度发布。

2019-05-23 10:55:22

Istio灰度发布ServiceMesh
shell高效编程：shell脚本从未如此美丽
平常工作中，你是否感觉shell脚本只是命令的堆砌;很多时候只是为了实现功能而没有好的组织结构;自己的脚本都不想再看一遍;哈哈，我这就教给shell的“葵花宝典“，自此让你的shell脚本有python一样的美感并且极易维护，真的是shell脚本写到停不下来。

2020-06-17 10:42:54

shellshell脚本Linux
BMC沙场练兵手记：ITIL从未如此容易
活动中的情景虽然是虚构的，但是与你每天面对的业务问题十分相似。可能你已经了解了BSM和ITIL的流程模型，但是从实践中你才可以真正体验他们。通过几轮的“角色扮演”，你会从不同的角度看到IT和业务部门之间的博弈。

2009-08-26 20:12:41

BMCBSMITIL
Android 4.4 ART模式体验 从未如此顺手
关于ART模式与Dalvik究竟有什么本质的不同，打个比方就明白了。Dalvik模式像是一台折叠自行车，每次骑之前都要组装后才能上路。而ART模式就是一个已经装好的自行车，直接就能上车走人。所以ART模式在效率上肯定是要好于Dalvik这已经基本毫无悬念，我们目前能做的就是耐心等待应用厂商对程序进行优化，以此适配ART模式，好有一种全新的体验。

2013-11-28 13:47:37

Android4.4ART模式
红帽总裁张先民：未来从未如此开放
2013云计算架构师峰会将于10月2526日在北京富力万丽酒店举行。本届峰会由51CTO传媒集团举办。此次峰会秉承“技术创新”和“技术落地”的原则，从实践出发，邀请了各个行业，包括新兴行业中的架构师，探讨云计算对企业基础设施带来的影响。

2013-10-25 13:35:02

云计算
迁移 Oracle 的 Merge into 语句，从未如此轻松！
在Oracle中我们可以使用MERGEINTO语句，有条件地插入、更新和删除一个表中的行。那么这种语句迁移到PostgreSQL，会不会有困难？

2024-06-04 10:45:07

OraclePostgreSQLMERGE
IntelliJ IDEA集成GitHub Copilot，开发从未如此高效
GitHubCopilot的目标是帮助实现编码过程自动化，为开发人员节省重复性工作的时间。它的方式是通过分析代码库并根据正在编写的代码的上下文生成代码建议。开发人员可以利用这些建议更高效地编写代码或探索新的编码模式。

2024-02-27 18:06:35

发布IT需求如此简单
移动互联网时代，每一个人的泛在连接使得我们碎片化需求和供给可以随时随地对接起来。拿着手机随时随地发布：我想要什么，我能提供什么。信息的实时对称将使资源进一步优化配置。

2020-02-20 16:07:45

IT需求
为什么保护您的物联网设备从未如此重要
IDC最近进行的一份报告显示，急于部署新的数字技术往往没有适当的安全措施。新物联网基础设施的安全性通常存在漏洞，并且在保护可能连接到更开放环境的遗留系统方面存在漏洞。

2021-11-09 13:59:47

物联网安全设备
十大AI应用领域：AI从未如此美好
从1956年达特茅斯会议提出AI开始，AI的研究经历几次沉浮。在一次次的高潮和低谷的交替中，不可否认的是，AI无论是在理论还是实践中都取得了长足的进步。

2021-02-06 17:49:49

人工智能智能医疗智慧安防
动态代理竟然如此简单！
动态代理在Java中有着广泛的应用，比如AOP的实现原理、RPC远程调用、Java注解对象获取、日志框架、全局性异常处理、事务处理等。

2020-12-28 07:47:35

动态代理AOP
HTML 转 Markdown 如此简单
HTML转markdown是如何实现其实有个包turndown可以直接将html转为markdown，并且可以在浏览器和nodejs中执行。

2022-02-23 20:42:40

HTMLmarkdownturndown
SQL优化从未如此简单，PawSQL Cloud实践指南（新增Oracle/人大金仓数据库语法支持）
相比较PawSQLAdvisorPawIndexAdvisor等基于IntelliJ的插件，PawSQLCloud免安装，不依赖其他工具，不仅适合应用开发人员，也适合数据库管理人员等非开发人员使用；PawSQLCloud同时能够记录您的优化历史，便于日后查看和跟踪，同时优化结果可以通过链接和同事共享。

2023-10-08 08:16:58

点赞
收藏

51CTO技术栈公众号

业务
速览
在线客服