接入组件：通过Fluentd源码分析解决关键问题

fluentd/
├── bin/                    # 可执行文件目录
├── lib/                    # 核心库文件
│   └── fluent/
│       ├── config/        # 配置相关代码
│       ├── plugin/        # 插件系统
│       ├── test/          # 测试工具
│       ├── agent.rb       # Agent 实现
│       ├── configurable.rb # 配置功能
│       ├── engine.rb      # 核心引擎
│       ├── event.rb       # 事件处理
│       ├── supervisor.rb  # 进程管理
│       └── worker.rb      # 工作进程
├── example/               # 示例配置和代码
├── test/                  # 测试用例
└── fluentd.gemspec       # gem 包配置文件
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

# 基本用法
fluent-binlog-reader /path/to/binary_log

# 指定时间范围
fluent-binlog-reader --from TIME --to TIME /path/to/binary_log

# 格式化输出
fluent-binlog-reader --format=json /path/to/binary_log
1.
2.
3.
4.
5.
6.
7.
8.

# 生成自签名根证书
fluent-ca-generate --country JP --state Tokyo --locality "Chiyoda" \
                   --common-name "Fluentd Root CA" ca

# 生成服务器证书
fluent-ca-generate --country JP --state Tokyo --locality "Chiyoda" \
                   --common-name "server.example.com" server
1.
2.
3.
4.
5.
6.
7.

# 查看当前capabilities
fluent-cap-ctl --status

# 设置特定capabilities
fluent-cap-ctl --add cap_net_bind_service

# 移除capabilities
fluent-cap-ctl --remove cap_net_bind_service
1.
2.
3.
4.
5.
6.
7.
8.

# 查看插件状态
fluent-ctl plugin

# 重载配置
fluent-ctl reload

# 获取运行状态
fluent-ctl status
1.
2.
3.
4.
5.
6.
7.
8.

# 以调试模式运行配置
fluent-debug -c /path/to/fluent.conf

# 开启详细日志
fluent-debug -v -c /path/to/fluent.conf

# 测试特定插件
fluent-debug --plugin input::tail
1.
2.
3.
4.
5.
6.
7.
8.

# 生成插件配置文档
fluent-plugin-config-format -t input -p tail

# 检查配置语法
fluent-plugin-config-format --check /path/to/config.conf

# 生成配置模板
fluent-plugin-config-format --template input::http
1.
2.
3.
4.
5.
6.
7.
8.

# 生成输入插件
fluent-plugin-generate input plugin_name

# 生成输出插件
fluent-plugin-generate output plugin_name

# 生成过滤器插件
fluent-plugin-generate filter plugin_name

# 生成解析器插件
fluent-plugin-generate parser plugin_name

# 生成插件后的步骤
cd plugin_name
bundle install    # 安装依赖
bundle exec rake  # 运行测试
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

#!/usr/bin/env ruby
$LOAD_PATH << File.expand_path(File.join(__dir__, '..', 'lib'))
require 'fluent/command/xxx'
FluentXXX.new.call
1.
2.
3.
4.

# counter.conf 配置分析

`counter.conf` 是一个用于演示 Fluentd 计数器服务器功能的配置文件。让我们逐部分分析：

## 1. 计数器服务器配置

```config
<system>
  <counter_server>
    scope server1          # 计数器服务的作用域名称
    bind 127.0.0.1        # 绑定的IP地址
    port 24321            # 监听的端口
    backup_path tmp/back  # 计数器数据的备份路径
  </counter_server>
</system>
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

<source>
  @type sample
  tag "test.data"
  auto_increment_key number  # 自动递增的键
</source>
1.
2.
3.
4.
5.

<match>
  @type stdout
</match>
1.
2.
3.

# 为不同IP配置独立的计数器
<match 192.168.0.1.**>
  @type counter
  count_interval 60  # 每60秒计数一次
  aggregate all      # 统计所有记录
  tag count.192.168.0.1  # 计数结果的新tag
</match>

<match 192.168.0.2.**>
  @type counter
  count_interval 60
  aggregate all
  tag count.192.168.0.2
</match>

# 将计数结果保存到文件
<match count.**>
  @type file
  path /data/fluentd/counter/${tag}  # 使用tag名作为文件名
  append true                        # 追加模式
  <format>
    @type json
  </format>
  <buffer tag>
    @type file
    flush_interval 60s
    flush_at_shutdown true          # 确保关闭时写入
    path /data/fluentd/counter/buffer/${tag}  # 缓冲文件路径
  </buffer>
</match>
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.

{"time":"2024-03-21 10:00:00","tag":"count.192.168.0.1","count":1234}
{"time":"2024-03-21 10:01:00","tag":"count.192.168.0.1","count":5678}
1.
2.

/data/fluentd/counter/
├── count.192.168.0.1    # 192.168.0.1的计数结果
├── count.192.168.0.2    # 192.168.0.2的计数结果
└── buffer/              # 缓冲文件目录
    ├── count.192.168.0.1.b*
    └── count.192.168.0.2.b*
1.
2.
3.
4.
5.
6.

<system>
  workers 4              # 设置4个worker进程
  root_dir /path/fluentd/root  # 设置根目录
</system>
1.
2.
3.
4.

<source>  # 顶层配置在所有worker上并行运行
  @type forward
  port 24224
</source>

<match all>  # 顶层match也在所有worker上并行运行
  @type stdout
  <inject>
    worker_id_key worker_id  # 注入worker_id便于区分
  </inject>
</match>
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

<worker 0>  # 只在worker 0上运行的配置
  <source>
    @type tail
    # ... 配置详情 ...
  </source>

  <match tail>
    @type stdout
    <inject>
      worker_id_key worker_id
    </inject>
  </match>
</worker>
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

<system>
  workers 4  # 设置worker数量
</system>

# 在所有worker上运行的配置
<source>
  @type forward
  port 24224
</source>

# 只在worker 0上运行的输入插件
<worker 0>
  <source>
    @type tail
    # ... 配置 ...
  </source>
</worker>

# 只在worker 1上运行的输出插件
<worker 1>
  <match specific_tag>
    @type file
    # ... 配置 ...
  </match>
</worker>

# 在所有worker上运行的处理
<match standard.**>
  @type forward
  # ... 配置 ...
</match>
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.