一文读懂Thanos多集群监控

开发 架构
在本文中,我们将看到Prometheus监控技术栈的局限性,以及为什么移动到基于Thanos的技术栈可以提高指标留存率并降低总体基础设施成本。

[[416190]]

 介绍

在本文中,我们将看到Prometheus监控技术栈的局限性,以及为什么移动到基于Thanos的技术栈可以提高指标留存率并降低总体基础设施成本。

用于此演示的内容可以在下面链接中获取,并提交到他们各自的许可证。

Kubernetes普罗米修斯技术栈

在为我们的客户部署Kubernetes基础设施时,在每个集群上部署监控技术栈是标准做法。这个堆栈通常由几个组件组成:

  •  Prometheus:收集度量标准
  •  告警管理器:根据指标查询向各种提供者发送警报
  •  Grafana:可视化豪华仪表板

简化架构如下:

注意事项

这种架构有一些注意事项,当你想从其中获取指标的集群数量增加时,它的伸缩性以及可扩展性不太好。

多个Grafana

在这种设置中,每个集群都有自己的Grafana和自己的一组仪表板,维护起来很麻烦。

存储指标数据是昂贵的

Prometheus将指标数据存储在磁盘上,你必须在存储空间和指标保留时间之间做出选择。如果你想长时间存储数据并在云提供商上运行,那么如果存储TB的数据,块存储的成本可能会很高。同样,在生产环境中,Prometheus经常使用复制或分片或两者同时运行,这可能会使存储需求增加两倍甚至四倍。

解决方案

多个Grafana数据源

可以在外部网络上公开Prometheus的端点,并将它们作为数据源添加到单个Grafana中。你只需要在Prometheus外部端点上使用TLS或TLS和基本认证来实现安全性。此解决方案的缺点是不能基于不同的数据源进行计算。

Prometheus联邦

Prometheus联邦允许从Prometheus中抓取Prometheus,当你不抓取很多指标数据时,这个解决方案可以很好地工作。在规模上,如果你所有的Prometheus目标的抓取持续时间都比抓取间隔长,可能会遇到一些严重的问题。

Prometheus远程写

虽然远程写入是一种解决方案(也由Thanos receiver实现),但我们将不在本文中讨论“推送指标”部分。你可以在这里[1]阅读关于推送指标的利弊。建议在不信任多个集群或租户的情况下(例如在将Prometheus构建为服务提供时),将指标作为最后的手段。无论如何,这可能是以后文章的主题,但我们将在这里集中讨论抓取。

Thanos,它来了

Thanos是一个“开源的,高可用的Prometheus系统,具有长期存储能力”。很多知名公司都在使用Thanos,也是CNCF孵化项目的一部分。

Thanos的一个主要特点就是允许“无限”存储空间。通过使用对象存储(比如S3),几乎每个云提供商都提供对象存储。如果在前提环境下运行,对象存储可以通过rook或minio这样的解决方案提供。

它是如何工作的?

Thanos和Prometheus并肩作战,从Prometheus开始升级到Thanos是很常见的。

Thanos被分成几个组件,每个组件都有一个目标(每个服务都应该这样:)),组件之间通过gRPC进行通信。

Thanos Sidecar

Thanos和Prometheus一起运行(有一个边车),每2小时向一个对象存储库输出Prometheus指标。这使得Prometheus几乎是无状态的。Prometheus仍然在内存中保存着2个小时的度量值,所以在发生宕机的情况下,你可能仍然会丢失2个小时的度量值(这个问题应该由你的Prometheus设置来处理,使用HA/分片,而不是Thanos)。

Thanos sidecar与Prometheus运营者和Kube Prometheus栈一起,可以轻松部署。这个组件充当Thanos查询的存储。

Thanos存储

Thanos存储充当一个网关,将查询转换为远程对象存储。它还可以在本地存储上缓存一些信息。基本上,这个组件允许你查询对象存储以获取指标。这个组件充当Thanos查询的存储。

Thanos Compactor

Thanos Compactor是一个单例(它是不可扩展的),它负责压缩和降低存储在对象存储中的指标。下采样是随着时间的推移对指标粒度的宽松。例如,你可能想将你的指标保持2年或3年,但你不需要像昨天的指标那么多数据点。这就是压缩器的作用,它可以在对象存储上节省字节,从而节省成本。

Thanos Query

Thanos查询是Thanos的主要组件,它是向其发送PromQL查询的中心点。Thanos查询暴露了一个与Prometheus兼容的端点。然后它将查询分派给所有的“stores”。记住,Store可能是任何其他提供指标的Thanos组件。Thanos查询可以发送查询到另一个Thanos查询(他们可以堆叠)。

  •  Thanos Store
  •  Thanos Sidecar
  •  Thanos Query

还负责对来自不同Store或Prometheus的相同指标进行重复数据删除。例如,如果你有一个度量值在Prometheus中,同时也在对象存储中,Thanos Query可以对该指标值进行重复数据删除。在Prometheus HA设置的情况下,重复数据删除也基于Prometheus副本和分片。

Thanos Query Frontend

正如它的名字所暗示的,Thanos查询前端是Thanos查询的前端,它的目标是将大型查询拆分为多个较小的查询,并缓存查询结果(在内存或memcached中)。

还有其他组件,比如在远程写的情况下接收Thanos,但这仍然不是本文的主题。

多集群架构

有多种方法可以将这些组件部署到多个Kubernetes集群中,根据用例的不同,有些方法比其他方法更好,在这里我们不能给出详细的介绍。

我们的例子是在AWS上运行,使用tEKS[2]部署了2个集群,我们的all in one解决方案将生产就绪的EKS集群部署在AWS上:

  •   一个观察者集群[3]
  •     一个被观察集群[4]

我们的部署使用了官方的kube-prometheus-stack和bitnami thanos图表。

一切都是在我们的terraform-kubernetes-addons存储库中策划的。

Thanos demo文件夹中的目录结构如下:. 

  1. ├──  env_tags.yaml  
  2. ├──  eu-west-1  
  3. │  ├──  clusters  
  4. │  │  └──  observer 
  5. │  │     ├──  eks  
  6. │  │     │  ├──  kubeconfig  
  7. │  │     │  └──  terragrunt.hcl  
  8. │  │     ├──  eks-addons  
  9. │  │     │  └──  terragrunt.hcl  
  10. │  │     └──  vpc  
  11. │  │        └──  terragrunt.hcl  
  12. │  └──  region_values.yaml  
  13. └──  eu-west-3  
  14.    ├──  clusters  
  15.    │  └──  observee 
  16.    │     ├──  cluster_values.yaml  
  17.    │     ├──  eks  
  18.    │     │  ├──  kubeconfig  
  19.    │     │  └──  terragrunt.hcl  
  20.    │     ├──  eks-addons 
  21.    │     │  └──  terragrunt.hcl  
  22.    │     └──  vpc  
  23.    │        └──  terragrunt.hcl  
  24.    └──  region_values.yaml 

这允许DRY(Don 't Repeat Yourself)基础设施,并可以轻松地扩展AWS帐户、区域和集群的数量。

观察者集群

观察者集群是我们的主集群,我们将从它查询其他集群:

Prometheus正在运行:

  •  Grafana启用
  •  Thanos边车上传到特定的桶 
  1. kube-prometheus-stack = {  
  2.   enabled                     = true  
  3.   allowed_cidrs               = dependency.vpc.outputs.private_subnets_cidr_blocks  
  4.   thanos_sidecar_enabled      = true  
  5.   thanos_bucket_force_destroy = true  
  6.   extra_values                = <<-EXTRA_VALUES  
  7.     grafana:  
  8.       deploymentStrategy:  
  9.         type: Recreate  
  10.       ingress:  
  11.         enabled: true  
  12.         annotations:  
  13.           kubernetes.io/ingress.class: nginx  
  14.           cert-manager.io/cluster-issuer: "letsencrypt"  
  15.         hosts:  
  16.           - grafana.${local.default_domain_suffix}  
  17.         tls:  
  18.           - secretName: grafana.${local.default_domain_suffix}  
  19.             hosts:  
  20.               - grafana.${local.default_domain_suffix}  
  21.       persistence:  
  22.         enabled: true  
  23.         storageClassName: ebs-sc  
  24.         accessModes:  
  25.           - ReadWriteOnce  
  26.         size: 1Gi  
  27.     prometheus:  
  28.       prometheusSpec:  
  29.         replicas: 1 
  30.         retention: 2d  
  31.         retentionSize: "10GB"  
  32.         ruleSelectorNilUsesHelmValues: false  
  33.         serviceMonitorSelectorNilUsesHelmValues: false  
  34.         podMonitorSelectorNilUsesHelmValues: false  
  35.         storageSpec: 
  36.           volumeClaimTemplate:  
  37.             spec:  
  38.               storageClassName: ebs-sc  
  39.               accessModes: ["ReadWriteOnce"]  
  40.               resources:  
  41.                 requests:  
  42.                   storage: 10Gi  
  43.     EXTRA_VALUES 

为观察者集群生成一个CA证书:

  •  这个CA将被进入sidecar的被观察集群所信任
  •  为Thanos querier组件生成TLS证书,这些组件将查询被观察集群

Thanos组件部署:

  •  Thanos组件全部部署完成
  •  查询前端,作为Grafana的数据源端点
  •  存储网关用于查询观察者桶
  •  Query将对存储网关和其他查询器执行查询

部署的额外Thanos组件:

  •  配置了TLS的Thanos查询器对每个被观察集群进行查询 
  1. thanos-tls-querier = {  
  2.   "observee" = {  
  3.     enabled                 = true  
  4.     default_global_requests = true  
  5.     default_global_limits   = false  
  6.     stores = [  
  7.       "thanos-sidecar.${local.default_domain_suffix}:443"  
  8.     ]  
  9.   }  
  10.  
  11. thanos-storegateway = {  
  12.   "observee" = {  
  13.     enabled                 = true  
  14.     default_global_requests = true  
  15.     default_global_limits   = false  
  16.     bucket                  = "thanos-store-pio-thanos-observee"  
  17.     region                  = "eu-west-3"  
  18.   } 

被观测集群

被观测集群是Kubernetes集群,具有最小的Prometheus/Thanos安装,将被观测集群查询。

Prometheus operator正在运行:

  •  Thanos这边就是上传给观察者特定的桶
  •  Thanos边车与TLS客户端认证的入口对象一起发布,并信任观察者集群CA 
  1. kube-prometheus-stack = {  
  2.   enabled                     = true  
  3.   allowed_cidrs               = dependency.vpc.outputs.private_subnets_cidr_blocks  
  4.   thanos_sidecar_enabled      = true 
  5.   thanos_bucket_force_destroy = true  
  6.   extra_values                = <<-EXTRA_VALUES  
  7.     grafana:  
  8.       enabled: false  
  9.     prometheus:  
  10.       thanosIngress:  
  11.         enabled: true  
  12.         ingressClassName: nginx 
  13.         annotations:  
  14.           cert-manager.io/cluster-issuer: "letsencrypt"  
  15.           nginx.ingress.kubernetes.io/ssl-redirect: "true"  
  16.           nginx.ingress.kubernetes.io/backend-protocol: "GRPC"  
  17.           nginx.ingress.kubernetes.io/auth-tls-verify-client: "on"  
  18.           nginx.ingress.kubernetes.io/auth-tls-secret: "monitoring/thanos-ca"  
  19.         hosts:  
  20.         - thanos-sidecar.${local.default_domain_suffix}  
  21.         paths:  
  22.         - /  
  23.         tls:  
  24.         - secretName: thanos-sidecar.${local.default_domain_suffix}  
  25.           hosts: 
  26.            - thanos-sidecar.${local.default_domain_suffix}  
  27.       prometheusSpec:  
  28.         replicas: 1  
  29.         retention: 2d  
  30.         retentionSize: "6GB"  
  31.         ruleSelectorNilUsesHelmValues: false  
  32.         serviceMonitorSelectorNilUsesHelmValues: false  
  33.         podMonitorSelectorNilUsesHelmValues: false  
  34.         storageSpec:  
  35.           volumeClaimTemplate:  
  36.             spec:  
  37.               storageClassName: ebs-sc  
  38.               accessModes: ["ReadWriteOnce"]  
  39.               resources:  
  40.                 requests:  
  41.                   storage: 10Gi  
  42.     EXTRA_VALUES 

Thanos组件部署:

  •  Thanos压缩器来管理这个特定集群的下采样 
  1. thanos = {  
  2.   enabled = true  
  3.   bucket_force_destroy = true  
  4.   trusted_ca_content      = dependency.thanos-ca.outputs.thanos_ca  
  5.   extra_values = <<-EXTRA_VALUES  
  6.     compactor:  
  7.       retentionResolution5m: 90d  
  8.     query:  
  9.       enabled: false  
  10.     queryFrontend:  
  11.       enabled: false  
  12.     storegateway:  
  13.       enabled: false  
  14.     EXTRA_VALUES  

再深入一点

让我们检查一下集群上正在运行什么。关于观察员,我们有: 

  1. kubectl -n monitoring get pods  
  2. NAME                                                        READY   STATUS    RESTARTS   AGE  
  3. alertmanager-kube-prometheus-stack-alertmanager-0           2/2     Running   0          120m  
  4. kube-prometheus-stack-grafana-c8768466b-rd8wm               2/2     Running   0          120m  
  5. kube-prometheus-stack-kube-state-metrics-5cf575d8f8-x59rd   1/1     Running   0          120m  
  6. kube-prometheus-stack-operator-6856b9bb58-hdrb2             1/1     Running   0          119m  
  7. kube-prometheus-stack-prometheus-node-exporter-8hvmv        1/1     Running   0          117m  
  8. kube-prometheus-stack-prometheus-node-exporter-cwlfd        1/1     Running   0          120m  
  9. kube-prometheus-stack-prometheus-node-exporter-rsss5        1/1     Running   0          120m  
  10. kube-prometheus-stack-prometheus-node-exporter-rzgr9        1/1     Running   0          120m  
  11. prometheus-kube-prometheus-stack-prometheus-0               3/3     Running   1          120m 
  12. thanos-compactor-74784bd59d-vmvps                           1/1     Running   0          119m  
  13. thanos-query-7c74db546c-d7bp8                               1/1     Running   0          12m  
  14. thanos-query-7c74db546c-ndnx2                               1/1     Running   0          12m  
  15. thanos-query-frontend-5cbcb65b57-5sx8z                      1/1     Running   0          119m  
  16. thanos-query-frontend-5cbcb65b57-qjhxg                      1/1     Running   0          119m  
  17. thanos-storegateway-0                                       1/1     Running   0          119m  
  18. thanos-storegateway-1                                       1/1     Running   0          118m 
  19. thanos-storegateway-observee-storegateway-0                 1/1     Running   0          12m  
  20. thanos-storegateway-observee-storegateway-1                 1/1     Running   0          11m  
  21. thanos-tls-querier-observee-query-dfb9f79f9-4str8           1/1     Running   0          29m  
  22. thanos-tls-querier-observee-query-dfb9f79f9-xsq24           1/1     Running   0          29m  
  23. kubectl -n monitoring get ingress  
  24. NAME                            CLASS    HOSTS                                            ADDRESS                                                                     PORTS     AGE 
  25.  
  26. kube-prometheus-stack-grafana   <none>   grafana.thanos.teks-tg.clusterfrak-dynamics.io   k8s-ingressn-ingressn-afa0a48374-f507283b6cd101c5.elb.eu-west-1.amazonaws.com   80, 443   123m 

被观察者: 

  1. kubectl -n monitoring get pods  
  2. NAME                                                        READY   STATUS    RESTARTS   AGE  
  3. alertmanager-kube-prometheus-stack-alertmanager-0           2/2     Running   0          39m  
  4. kube-prometheus-stack-kube-state-metrics-5cf575d8f8-ct292   1/1     Running   0          39m 
  5. kube-prometheus-stack-operator-6856b9bb58-4cngc             1/1     Running   0          39m  
  6. kube-prometheus-stack-prometheus-node-exporter-bs4wp        1/1     Running   0          39m  
  7. kube-prometheus-stack-prometheus-node-exporter-c57ss        1/1     Running   0          39m  
  8. kube-prometheus-stack-prometheus-node-exporter-cp5ch        1/1     Running   0          39m  
  9. kube-prometheus-stack-prometheus-node-exporter-tnqvq        1/1     Running   0          39m  
  10. kube-prometheus-stack-prometheus-node-exporter-z2p49        1/1     Running   0          39m  
  11. kube-prometheus-stack-prometheus-node-exporter-zzqp7        1/1     Running   0          39m 
  12. prometheus-kube-prometheus-stack-prometheus-0               3/3     Running   1          39m  
  13. thanos-compactor-7576dcbcfc-6pd4v                           1/1     Running   0          38m 
  14. kubectl -n monitoring get ingress  
  15. NAME                                   CLASS   HOSTS                                                   ADDRESS                                                                      PORTS     AGE 
  16. kube-prometheus-stack-thanos-gateway   nginx   thanos-sidecar.thanos.teks-tg.clusterfrak-dynamics.io   k8s-ingressn-ingressn-95903f6102-d2ce9013ac068b9e.elb.eu-west-3.amazonaws.com   80, 443   40m 

我们的TLS查询器应该能够查询被观测集群的度量标准。让我们来看看它们的行为: 

  1. k -n monitoring logs -f thanos-tls-querier-observee-query-687dd88ff5-nzpdh  
  2. level=info ts=2021-02-23T15:37:35.692346206Z caller=storeset.go:387 component=storeset msg="adding new storeAPI to query storeset" address=thanos-sidecar.thanos.teks-tg.clusterfrak-dynamics.io:443 extLset="{cluster=\"pio-thanos-observee\", prometheus=\"monitoring/kube-prometheus-stack-prometheus\", prometheus_replica=\"prometheus-kube-prometheus-stack-prometheus-0\"}" 

所以这个查询器pods可以查询我的其他集群,如果我们检查Web,我们可以看到存储: 

  1. kubectl -n monitoring port-forward thanos-tls-querier-observee-query-687dd88ff5-nzpdh 10902 

太棒了,但是我只有一个存储,还记得我们说过查询器可以堆叠在一起吗?在我们的观察者集群中,我们有标准的http查询器,它可以查询架构图中的其他组件。 

  1. kubectl -n monitoring port-forward thanos-query-7c74db546c-d7bp8 10902 

这里我们可以看到所有的存储已经被添加到我们的中心查询器:

  •  观察者把本地Thanos聚集
  •  我们的存储网关(一个用于远程观测者集群,一个用于本地观测者集群)
  •  本地TLS查询器,它可以查询被观察的sidecar

在Grafana可视化

最后,我们可以前往Grafana,看看默认的Kubernetes仪表板是如何与多集群兼容的。

总结

Thanos是一个非常复杂的系统,有很多移动部件,我们没有深入研究具体的自定义配置,因为它会花费太多的时间。

我们在tEKS存储库中提供了一个相当完整的AWS实现,它抽象了很多复杂性(主要是mTLS部分),并允许进行很多定制。你也可以使用terraform-kubernetes-addons模块作为独立的组件。我们计划在未来支持其他云提供商。不要犹豫,通过Github上的任何一个项目的问题联系我们。

根据你的基础设施和需求,有许多可能适合你的Thanos实现。

如果你想深入研究Thanos,可以查看他们的官方kube-thanos存储库,以及他们关于跨集群通信的建议[5]。

当然,我们很乐意帮助你设置你的云原生监控堆栈,欢迎联系我们contact@particule.io:)

你也可以每天通过CNCF/Kubernetes Slack频道联系我们。 

 

责任编辑:庞桂玉 来源: 运维派
相关推荐

2021-08-27 10:14:16

Thanos监控开源

2023-12-22 19:59:15

2021-08-04 16:06:45

DataOps智领云

2018-09-28 14:06:25

前端缓存后端

2022-09-22 09:00:46

CSS单位

2022-11-06 21:14:02

数据驱动架构数据

2024-05-31 12:44:12

2023-08-10 09:49:57

自动驾驶视觉

2022-10-20 08:01:23

2021-12-29 18:00:19

无损网络网络通信网络

2022-07-26 00:00:03

语言模型人工智能

2023-05-20 17:58:31

低代码软件

2023-11-27 17:35:48

ComponentWeb外层

2022-12-01 17:23:45

2022-07-05 06:30:54

云网络网络云原生

2024-01-03 08:54:17

Kubernetes策略工具

2021-05-18 09:48:58

前端开发架构

2017-05-15 11:10:10

大数据聚类算法

2018-10-30 11:10:05

Flink数据集计算

2017-05-04 20:29:12

HTTP服务器TCP
点赞
收藏

51CTO技术栈公众号