系统设计 | Java 应用中的配置含义和避坑

开发 前端
关于 Mybatis 的 map-underscore-to-camel-case 配置有一个坑,这个配置的含义是把数据库列名中的下划线自动映射为 Java 对象中的驼峰命名。

这篇文章整理了 Spring Boot 和常见的应用中间件配置含义,了解这些配置的目的和原理,避免因为错误配置导致生产出现问题,特别是有一些安全问题。

PS:写下来发现东西非常多,很多时候我们都只是拷贝过来改改没问题就不管了,但是这样囫囵吞枣,会给项目带来风险。

1. Spring Boot 相关

优雅停机

优雅停机是指当应用接收到停机信号时,能够妥善地处理正在进行的请求,释放资源,并在完成这些工作后再停止应用。

如果不开启优雅停机,有可能在部署的过程中让少量未完成的任务和请求直接终止,带来意想不到的问题。

默认情况下,Spring Boot 没有启用优雅停机,而且往往需要和云环境配合使用。

在 Spring Boot 中的配置方式为(本文以 yaml 的格式):

server:
  shutdown: graceful

同时可以设置一个优雅停机的超时时间,如果在超时时间内请求没有完成,应用将强制停机。

spring:
  lifecycle:
    timeout-per-shutdown-phase: 30s

Kubernetes 在停止 Pod 时,会先发送一个 SIGTERM,并通过 Readiness Probe和Liveness Probe 两个探针来决定是否释放容器资源。

探针就是应用通过一个 API(可以是 HTTP 或者 TCP,通常都是 HTTP)告诉 Kubernetes 它当前的状态,让 Kubernetes 来决策何时重启,关于优雅停机的内容比较多,后面单独一篇文章讨论。

在 Spring Boot 中,探针就是 Spring Boot 的 health 接口,可以通过 Indicator 配置。

Indicator

Spring Boot 提供了一些健康状态的 API,这样就可以给云平台优雅停机使用,也可以提供给监控系统用来拨测,如果系统长时间不健康,可以进行告警。

在代码中实现健康状态的类叫做 Indicator,基本上默认配置的 Indicator 就够用了,但有时候需要根据自己需要配置一些 Indicator。

比如依赖了一个重要的三方系统,这个三方系统不启动起来,当前系统启动了也没意义,于是就可以加一个 Indicator,甚至把三方系统的状态暴露到当前系统的健康状态信息中。

暴露相关健康 API 需要引入一个 actuator 依赖:

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>

下面是一个例子:

import org.springframework.boot.actuate.health.Health;
import org.springframework.boot.actuate.health.HealthIndicator;
import org.springframework.stereotype.Component;

@Component
public class CustomHealthIndicator implements HealthIndicator {

    @Override
    public Health health() {
        boolean isHealthy = checkSomeServiceHealth();
        
        if (isHealthy) {
            return Health.up().withDetail("customService", "UP").build();
        } else {
            return Health.down().withDetail("customService", "DOWN").build();
        }
    }

    private boolean checkSomeServiceHealth() {
        // 检查逻辑
        return true; 
    }
}

访问 /actuator/health 接口,返回结果大概像下面这样:

{
  "status": "UP",
  "components": {
    "db": {
      "status": "UP",
      "details": {
        "database": "MySQL",
        "validationQuery": "isValid()"
      }
    },
    "customService": {
      "status": "UP",
      "details": {
        "CustomService": "UP"
      }
    },
    ……
  }
}

打开相关配置:

management:
  endpoints:
    web:
      exposure:
        include: health,info

在这个配置中,info 类似 health, 提供了一些服务信息,例如名称、版本之类的,但是要注意避免把敏感信息从这个接口中暴露出去了。

Actuator

提到了 Actuator,这里有一些配置是不能在生产环境开启的,这是比较常见的错误,需要注意。

Actuator 除了提供了 health,info 两个接口,还提供了一堆接口,方便观察 Spring Boot 应用,这些接口都可以在开发环境开启。例如:

  • /health: 显示应用的健康状态及详细信息。
  • /info: 显示应用的一些基本信息(例如版本、描述等)。
  • /env: 查看和调试环境属性,了解配置项的来源。
  • /beans: 用于调试 Bean 的创建和依赖关系。
  • /metrics: 查看应用的性能指标,如内存使用情况、GC 活动等。
  • /httptrace: 用于查看最近 HTTP 请求的详细信息。
  • /mappings: 用于查看所有请求映射的路径,方便调试路由问题。

这些接口开启后会造成安全、性能问题。

所以推荐的配置如下。

开发环境:

management:
  endpoints:
    web:
      exposure:
        include: "*"
  endpoint:
    health:
      show-details: always  # 显示详细健康信息,方便调试

endpoints 只是暴露外部是否可以访问,实际的功能需要单独开启,health,info,metrics 三个接口是默认开启的。

如果需要打开 beans,可以单独开启:

management:
  logfile:
    enabled: true           # 允许查看日志文件,方便调试
  env:
    enabled: true           # 允许查看环境变量配置
  configprops:
    enabled: true           # 允许查看配置属性,帮助调试
  beans:
    enabled: true           # 允许查看 Bean 信息,调试依赖关系
  heapdump:
    enabled: true           # 启用 Heap Dump,用于内存分析
  threaddump:
    enabled: true           # 启用线程转储,用于线程分析
  mappings:
    enabled: true           # 允许查看所有请求映射,调试路由问题
  httptrace:
    enabled: true           # 启用 HTTP 请求追踪

而生产环境,需要将其关闭,只保留需要开启的配置:

management:
  endpoints:
    web:
      exposure:
        include: "health,info,metrics"
  endpoint:
    health:
      show-details: never   # 隐藏健康检查的详细信息,防止敏感数据泄露

日志

日志配置错误会导致磁盘被日志写满,另外日志级别过低,性能会急剧下降。

在以前还不是容器时代,我们常常使用日志文件存储日志,再使用一些工具转存走,有时候清理日志的脚本失效,导致磁盘被日志写爆的场景非常多。

下面是一个在容器环境下 Spring Boot 默认日志库的配置:

logging:
  level:
    root: INFO
    org.springframework: WARN #这里放上特定包的日志配置
  pattern:
    console: "%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n"
  file:
    enabled: false # 生产环境通常不直接写入文件,而是由 K8s 日志收集系统处理
  stdout:
    enabled: true

在生产上我们一般将日志级别设置为 INFO,并关闭文件输出,而是将日志输出到 stdout 中,由容器捕获。

在开发环境,我们通常把日志设置为 DEBUG,更加方便调试。

秘钥和口令

正常情况下,大多数应用都不会把口令存放到配置文件中,敏感信息需要放到秘钥管理系统中(Key Management System)。

例如,在 k8s 中,我们可以使用 Secrets 代替明文的 ConfigMap;云平台往往提供了相关的 KMS 产品,例如 Alicloud KMS。

2.Mysql

这里给出一个 Mysql 和 Mybatis 的典型配置,并解释一下关键配置的含义和避坑经验。

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/mydatabase?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC&autoReconnect=true&rewriteBatchedStatements=true
    username: your_username
    password: your_password
    driver-class-name: com.mysql.cj.jdbc.Driver
    hikari:
      maximum-pool-size: 10
      minimum-idle: 5
      idle-timeout: 30000
      max-lifetime: 1800000
      connection-timeout: 30000

mybatis:
  mapper-locations: classpath*:mapper/*.xml
  type-aliases-package: com.example.project.domain
  configuration:
    map-underscore-to-camel-case: true
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl

连接字符串中的配置:

  • useUnicode:启用了 Unicode 支持。
  • characterEncoding:字符编码,最好在 useUnicode 配置后,characterEncoding 也明确配置一下,否则它会选择一个默认的 Unicode 字符编码。另外,我们现在用的更多的是 utf8mb4,它是 UTF8 的拓展字符集,可以处理更多特性,例如表情,最多占用 4 个字节的空间。
  • useSSL:如果启用,需要证书,一般我们都没有配置。
  • serverTimezone:关于时区,我们一般都不让数据库决策,而让应用决定写入数据的时区,这个问题我在以前的文章,《系统设计中需要考虑到的时间问题》,做过详细说明。
  • autoReconnect:自动重连,如果不开启的话,数据库重启了应用也必须重启。
  • rewriteBatchedStatements:自动优化批量插入时的性能。

关于 driver-class-name,对于 MySQL Connector/J 8.0 以上,类名换成了 com.mysql.cj.jdbc.Driver,旧版本是 com.mysql.jdbc.Driver。

关于 hikari 配置的含义:

  • maximum-pool-size: 最大连接数,连接池中的最大连接数。
  • minimum-idle: 最小空闲连接数。
  • idle-timeout: 空闲连接被回收前的最大等待时间(毫秒)。
  • max-lifetime: 连接在池中的最长存活时间(毫秒)。
  • connection-timeout: 获取连接的超时时间(毫秒)。

hikari 的配置只是建议值,hikari 配置逻辑是什么呢?一般是基于性能测试反复调整,但还是有一些规律。

这里有个坑,有时候为了优化性能,提高了最大连接数。但一般数据库的连接数是有限制的,比如 1000。假设一个系统共同一个Mysql实例,系统共有 10 个服务,每个服务如果有 10 个容器,最大连接数最多就只能配置到 10 了,否则就会报没有链接的错误(而且是偶尔出现这类问题)。

maximumPoolSize 通常设置为数据库的并发连接限制的 50% 到 80% 之间,单个容器允许 10 个 Mysql 连接并不大,maximum-pool-size 可以在 10 - 50 之间调整。

connection-timeout 过短,在数据库负载高或网络不稳定的情况下,可能导致频繁的连接超时,可以尝试往长一点调整。

max-lifetime、minimum-idle 取决于负载情况,如果持续负载比较高,可以设置长一些,不用为数据库节省资源,让连接长时间保持。

关于 Mybatis 的 map-underscore-to-camel-case 配置有一个坑,这个配置的含义是把数据库列名中的下划线自动映射为 Java 对象中的驼峰命名。例如,user_name 列将映射为 userName 属性。但有的时候,命名不规范,有些词可能是一个词组而没有大写,会导致匹配失败。

责任编辑:武晓燕 来源: TechLead 少个分号
相关推荐

2020-08-26 07:37:25

Nacos微服务SpringBoot

2010-07-13 15:31:49

ftp命令

2024-03-28 12:51:00

Spring异步多线程

2018-01-20 20:46:33

2024-04-24 13:45:00

2024-04-03 12:30:00

C++开发

2022-07-12 08:24:01

队列容量调度hadoop

2021-02-26 00:46:11

CIO数据决策数字化转型

2023-04-12 08:18:40

ChatGLM避坑微调模型

2020-06-12 11:03:22

Python开发工具

2020-12-16 10:00:59

Serverless数字化云原生

2022-09-26 09:53:18

开发缓存

2018-09-05 11:51:55

数据库NoSQLMongoDB

2021-05-07 21:53:44

Python 程序pyinstaller

2021-02-22 17:00:31

Service Mes微服务开发

2023-05-24 10:06:42

多云实践避坑

2022-03-04 18:11:16

信服云

2021-05-08 12:30:03

Pythonexe代码

2023-05-23 07:51:57

硬盘颗粒SSD

2023-10-11 11:27:46

调试版本程序
点赞
收藏

51CTO技术栈公众号