使用Loki promtail 收集Linux原生部署应用日志-51CTO.COM

在Kubernetes集群中部署Loki后，默认只能收集Kubernetes集群中的系统日志。然而，对于在Linux服务器上原生部署的业务系统，无法直接进行日志收集。这就导致了在日常业务交互中需要查询这些系统的日志时存在困难。为了解决这个问题，我们计划在Linux服务器上安装Promtail来收集日志，并将其推送到Loki，以实现统一的日志分析和检索。

Promtail是Loki的客户端代理，它负责在Linux服务器上收集日志。通过在每个Linux服务器上安装和配置Promtail，我们可以将业务系统的日志数据发送到Loki进行集中存储和分析。

图片

1. 前置依赖

Loki 集群，如果不知如何按照，请参考：10分钟在K8s中部署轻量级日志系统Loki
Linux 服务器可以访问Loki集群

2. 下载安装 promtail

wget https://github.com/grafana/loki/releases/download/v2.7.3/promtail-linux-amd64.zip1.

3. 解压并迁移文件至/usr/local/promtail文件夹下

unzip promtail-linux-amd64.zip
mkdir /usr/local/promtail
mv promtail-linux-amd64 /usr/local/promtail1.
2.
3.

4. 创建并修改配置文件

vi config.yaml

server:
  http_listen_port: 9080
  grpc_listen_port: 0
#读取位置保存文件
positions:
  filename: /opt/promtail/positions.yaml # This location needs to be writeable by Promtail.

## 指定推送Loki地址
clients:
  - url: http://172.18.1.47:31300/loki/api/v1/push

scrape_configs:
 - job_name: system
   pipeline_stages:
   #日志换行，匹配开头
      - multiline:
          firstline: ^\d{1,2}:\d{2}:\d{2}.\d{1,3}
          max_lines: 128
          max_wait_time: 3s   
   #静态配置          
   static_configs:
   - targets:
      - localhost
     #定义静态标签 
     labels:
      job: smartpark-agent  # A `job` label is fairly standard in prometheus and useful for linking metrics and logs.
      node_name: 172.17.1.55  # A `host` label will help identify logs from this machine vs others
      app: smartpark-agent
      __path__: /data/logs/*log    # The path matching uses a third party library: https://github.com/bmatcuk/doublestar1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.

3.编译自启动脚本

cat > /usr/lib/systemd/system/promtail.service <<EOF
[Unit]
Descriptinotallow=promtail
Documentatinotallow=https://github.com/grafana/loki/tree/master
After=network.target
 
[Service]
Type=simple
User=root
ExecStart=/usr/local/promtail/promtail-linux-amd64 -config.file=/usr/local/promtail/config.yaml
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
EOF1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

4.启动命令

#启动
systemctl start promtail
#查看状态
systemctl status promtail
#设置开机启动
systemctl enable promtail1.
2.
3.
4.
5.
6.

图片

5. 查看验证

登录Grafana在Explore 中选择标签 app = smartpark-agent，可以查询到相关日志，如下图

图片