【云原生】Grafana 介绍与实战操作-51CTO.COM

一、概述

grafana是用于可视化大型测量数据的开源程序，他提供了强大和优雅的方式去创建、共享、浏览数据。dashboard中显示了你不同metric数据源中的数据。

grafana最常用于因特网基础设施和应用分析，但在其他领域也有机会用到，比如：工业传感器、家庭自动化、过程控制等等。
grafana有热插拔控制面板和可扩展的数据源，目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch。
grafana 高版本也支持告警功能，支持各种告警通道：webhook，alertmanager、mail、钉钉等等。
每一个数据源的查询语言和能力都是不一样的。你能够把来自多个数据源的数据组合到一个仪表板，但每个面板被绑定到一个特定的数据源,它就属于一个特定的组织。

一般是Prometheus与Grafana配套使用，有些公司直接使用Grafana告警，而弃用alertmanager。相关参考文档如下：

Grafana官方文档：https://grafana.com/docs/grafana/latest/
Grafana GitHub地址：https://github.com/grafana/grafana
Prometheus原理详解
【云原生】Prometheus Pushgetway讲解与实战操作
【云原生】Prometheus AlertManager讲解与实战操作
【云原生】Prometheus PromQL讲解与实战操作
【云原生】Prometheus 自定义告警规则

二、Grafana 安装

1）下载安装

下载地址：https://grafana.com/grafana/download?platform=linux

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.2-1.x86_64.rpm
sudo yum install grafana-enterprise-9.3.2-1.x86_64.rpm -y

2）安装包信息

二进制文件： /usr/sbin/grafana-server
init.d 脚本： /etc/init.d/grafana-server
环境变量文件： /etc/sysconfig/grafana-server
配置文件： /etc/grafana/grafana.ini
启动项： /usr/lib/systemd/system/grafana-server.service
日志文件：/var/log/grafana/grafana.log
默认配置的sqlite3数据库：/var/lib/grafana/grafana.db
grafana 默认插件的存放位置：/var/lib/grafana/plugins

3）启动服务

sudo systemctl daemon-reload
sudo systemctl start grafana-server
# Grafana 开机自启动
sudo systemctl enable grafana-server
sudo systemctl status grafana-server
# 默认端口 3000
netstat -nlpt|grep 3000

4）Grafana 访问

默认端口是3000，访问地址：http://IP:3000默认账号/密码：admin/admin

三、Grafana 功能介绍

Data Source（数据源）：Grafana支持多种不同的时序数据库数据源，Grafana对每种数据源提供不同的查询方法，而且能很好的支持每种数据源的特性。官方地址：https://grafana.com/docs/grafana/latest/datasources/

DashBoard：仪表盘，就像汽车仪表盘同样能够展现不少信息，包括车速，水箱温度等。Grafana的DashBoard就是以各类图形的方式来展现从Datasource拿到的数据。https://grafana.com/grafana/dashboards/
Row：行，DashBoard的基本组成单元，一个DashBoard能够包含不少个row。一个row能够展现一种信息或者多种信息的组合，好比系统内存使用率，CPU五分钟及十分钟平均负载等。因此在一个DashBoard上能够集中展现不少内容。
Panel：面板，实际上就是row展现信息的方式，支持表格（table），列表（alert list），热图（Heatmap）等多种方式，具体能够去官网上查阅。
Query Editor：查询编辑器，用来指定获取哪一部分数据。相似于sql查询语句，好比你要在某个row里面展现test这张表的数据，那么Query Editor里面就能够写成select *from test。这只是一种比方，实际上每一个DataSource获取数据的方式都不同，因此写法也不同（https://grafana.com/docs/grafana/latest/datasources/），好比像zabbix，数据是以指定某个监控项的方式来获取的。
Organization：组织，org是一个很大的概念，每一个用户能够拥有多个org，grafana有一个默认的main org。用户登陆后能够在不一样的org之间切换，前提是该用户拥有多个org。不一样的org之间彻底不同，包括datasource，dashboard等都不同。建立一个org就至关于开了一个全新的视图，全部的datasource，dashboard等都要再从新开始建立。
User：用户，这个概念应该很简单，不用多说。Grafana里面用户有三种角色admin,editor,viewer。admin权限最高，能够执行任何操做，包括建立用户，新增Datasource，建立DashBoard。editor角色不能够建立用户，不能够新增Datasource，能够建立DashBoard。viewer角色仅能够查看DashBoard。在2.1版本及以后新增了一种角色read only editor（只读编辑模式），这种模式容许用户修改DashBoard，可是不容许保存。每一个user能够拥有多个organization。

四、使用mysql存储

1）安装mysql

mysql安装可以参考我下面这篇文章，这里就不再重复讲解了：MySQL高可用实战（ MHA）

2）修改grafana配置

1、创建grafana用户和grafana库

# 登录客户端
mysql -uroot -p
密码：123456

# 创建数据库
CREATE DATABASE IF NOT EXISTS grafana default charset utf8 COLLATE utf8_general_ci;

# 创建用户并授权
grant all  on grafana.* to 'grafana'@'192.168.182.%' identified by '123456';

2、修改grafana配置

配置文件： /etc/grafana/grafana.ini

[database]
type = mysql
host = 192.168.182.110:3306
name = grafana
user = grafana
password = 123456
# 也可以直接配置url
# url = mysql://grafana:grafana@192.168.182.110:3306/grafana

重启grafana

systemctl restart grafana-server

五、配置数据源（Data sources）

1）配置prometheus 数据源

前面我们已经部署了prometheus了，所以可以把prometheus数据源加进来。

2）配置mysql 数据源

六、配置监控面板（Dashboard）

地址：https://grafana.com/grafana/dashboards/

1）node_exporter 监控面板

1、安装node_exporter

下载地址：https://github.com/prometheus/node_exporter/releases/

【1】下载

wget https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz
tar -xzf node_exporter-1.5.0.linux-amd64.tar.gz

【2】配置node_exporter.service启动

# 默认端口9100
cat >/usr/lib/systemd/system/node_exporter.service<<EOF
[Unit]
Descriptinotallow=node_exporter
After=network.target
 #可以创建相应的用户和组 启动
#User=prometheus
#Group=prometheus

[Service]
ExecStart=/opt/prometheus/exporter/node_exporter/node_exporter-1.5.0.linux-amd64/node_exporter --web.listen-address=:9100
[Install]
WantedBy=multi-user.target
EOF

【3】启动服务

systemctl daemon-reload
systemctl start node_exporter
systemctl status node_exporter
systemctl enable node_exporter

【4】检查

curl http://localhost:9100/metrics

2、配置Prometheus加载node_exporter

添加或修改配置 prometheus.yml

重新加载

systemctl restart prometheus
# 1、 kill方式
#kill -HUP pid
# 2、curl方式（推荐）
#curl -X POST http://IP/-/reload
# 【注意】需要在启动的命令行增加参数：--web.enable-lifecycle
curl -X POST http://192.168.182.110:9090/-/reload
# 3、重启（不推荐，重启会导致所有的连接短暂性中断）
# systemctl restart prometheus

3、配置监控面板

地址：https://grafana.com/grafana/dashboards/?search=node_exporter

加载有两种方式：离线（json文件）和在线（通过ID远程下载json）

导入之后就可以看到数据了。

2）mysql_exporter 监控面板

下载地址：https://github.com/prometheus/mysqld_exporter

1、安装node_exporter

【1】下载

# 注意MySQL对应的版本
export VER=0.12.0
wget https://github.com/prometheus/mysqld_exporter/releases/download/v${VER}/mysqld_exporter-${VER}.linux-amd64.tar.gz
tar xvf mysqld_exporter-${VER}.linux-amd64.tar.gz
mv mysqld_exporter-${VER}.linux-amd64/mysqld_exporter /usr/local/bin/
chmod +x /usr/local/bin/mysqld_exporter

【2】配置数据库凭证创建数据库凭证文件,为用户创建添加正确的用户名和密码并设置所有权限：

cat > /root/.my.cnf <<EOF
[client]
host=192.168.182.110
port=3306
user=mha
password=123456
EOF

【3】配置mysql_exporter.service启动

# 默认端口：9104
cat > /etc/systemd/system/mysqld_exporter.service <<EOF
[Unit]
Descriptinotallow=Prometheus MySQL Exporter
After=network.target
#User=prometheus
#Group=prometheus

[Service]
Type=simple
Restart=always
ExecStart=/usr/local/bin/mysqld_exporter \
--config.my-cnf /root/.my.cnf \
--collect.global_status \
--collect.info_schema.innodb_metrics \
--collect.auto_increment.columns \
--collect.info_schema.processlist \
--collect.binlog_size \
--collect.info_schema.tablestats \
--collect.global_variables \
--collect.info_schema.query_response_time \
--collect.info_schema.userstats \
--collect.info_schema.tables \
--collect.perf_schema.tablelocks \
--collect.perf_schema.file_events \
--collect.perf_schema.eventswaits \
--collect.perf_schema.indexiowaits \
--collect.perf_schema.tableiowaits \
--collect.slave_status \
--web.listen-address=0.0.0.0:9104

[Install]
WantedBy=multi-user.target
EOF

【4】启动服务

systemctl daemon-reload
systemctl start mysqld_exporter
systemctl status mysqld_exporter
systemctl enable mysqld_exporter
# 启动并开机自启，等价于上面两行
# systemctl enable --now mysqld_exporter

【5】检查

curl http://localhost:9104/metrics

2、配置Prometheus加载mysql_exporter

添加或修改配置 prometheus.yml

重新加载

systemctl restart prometheus
# 1、 kill方式
#kill -HUP pid
# 2、curl方式（推荐）
#curl -X POST http://IP/-/reload
# 【注意】需要在启动的命令行增加参数：--web.enable-lifecycle
curl -X POST http://192.168.182.110:9090/-/reload
# 3、重启（不推荐，重启会导致所有的连接短暂性中断）
# systemctl restart prometheus

3、配置监控面板

地址：https://grafana.com/grafana/dashboards/7362-mysql-overview/

3）Grafana Query语法

4）自定义监控面板

上面两个是网上提供的面板，其实在生产环境中，很多时候是需要自定义监控项的。

1、Prometheus数据源

【1】新建一个空面板

Panel：面板，实际上就是row展现信息的方式，支持表格（table），列表（alert list），热图（Heatmap）等多种方式，具体能够去官网上查阅。
Row：行，DashBoard的基本组成单元，一个DashBoard能够包含不少个row。一个row能够展现一种信息或者多种信息的组合，好比系统内存使用率，CPU五分钟及十分钟平均负载等。因此在一个DashBoard上能够集中展现不少内容。

【2】编写PromQL表达式

选择Prometheus数据源并且选择Query 就可以直接写 PromQL。先在Prometheus上调试promql，在粘贴过来就行了。

# 内存使用率
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.110:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.110:9100",job="prometheus"})

上面只显示一个机器的内存，显然还不完善，如果想显示多个，可以这样表达：

# 把instance="192.168.182.110:9100"去掉
100 - ((node_memory_MemAvailable_bytes{job="prometheus"} * 100) / node_memory_MemTotal_bytes{job="prometheus"})

# 或者复制几份
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.110:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.110:9100",job="prometheus"})
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.111:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.111:9100",job="prometheus"})
100 - ((node_memory_MemAvailable_bytes{instance="192.168.182.112:9100",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="192.168.182.112:9100",job="prometheus"})

【3】变量使用

显然上面的方式不太好，这里使用变量的方式动态获取实例个数。先来了解Grafana的几个函数：

函数	作用
label_values(label)	返回Promthues所有监控指标中，标签名为label的所有可选值。
label_values(metric, label)	返回Promthues所有监控指标metric中，标签名为label的所有可选值。
metrics(metric)	返回所有指标名称满足metric定义正则表达式的指标名称
query_result(query)	返回prometheus查询语句的查询结果

参数解释：1、instance

type：变量类型，变量类型有多种，其中Query表示这个变量是一个查询语句，type可以是Custom自定义，type也可以是Data source，Data source就表示该变量代表一个数据源，如果是datasource你可以用该变量修改整个DashBoard的数据源，变量类型还可以是时间间隔Interval等等。这里我们选择Query。

2、General

Name：变量名，比如我这里取名为ip，到时候要使用这个变量名就用$ip来调用。
Label：是对应下拉框的名称，默认就是变量名，选择默认即可。
Description：描述。

3、Query options

Data source：数据源，不用多说。
Query：查询表达式，不同的数据源查询表达式都不同。
Regex：正则表达式，用来对抓取到的数据进行过滤，这里默认不过滤。
Sort：排序，对下拉框中的变量值做排序，排序的方式挺多的，默认是disable，表示查询结果是怎样下拉框就怎样显示。此处选disable。
Refresh: 何时去更新变量的值，变量的值是通过查询数据源获取到的，但是数据源本身也会发生变化，所以要时不时的去更新变量的值，这样数据源的改变才会在变量对应的下拉框中显示出来。Refresh有两个值可以选择。On Dashboard Load：在DashBoard加载时更新。On Time Range Change：在时间范围变化时更新。此处，选择On Dashboard Load，当数据源发生更新是，刷新一下当前DashBoard，变量的值也会跟着发生更新。

4、Selection Options

Multi-value：启用这个功能，变量的值就可以选择多个，具体表现在变量对应的下拉框中可以选多个值的组合。
Include All option：启用这个功能，变量下拉框中就多了一个all选项。
Custom all value：启用Include All option这个功能，才会出现Custom all value这个输入框，表示给all这个选项自定义一个值，all这个选项默认是所有值的组合，你也可以自定义。

【温馨提示】虽然选择组合值可以在一个panel里面查看多种监控数据，但是由于不同监控数据的数值大小格式都可能不一样，在一个图形里面格式很难兼容，这样就会出现问题，所以此处建议默认都不选。

修改表达如下：

100 - ((node_memory_MemAvailable_bytes{instance="$instance",job="prometheus"} * 100) / node_memory_MemTotal_bytes{instance="$instance",job="prometheus"})

2、MySQL数据源

可以直接写sql，直接以表格的形式展现，非常的方便的，像在大数据领域sql是使用最频繁的，所以使用这种直接sql的方式显示图表监控情况还是非常方便的。