几种简单实用的分布式定时任务!

开发 架构
相较于之前两种方式,这种基于 Redis 的实现可以通过多点来增加定时任务,多点消费。但是要做好防范重复消费的准备。

单点定时任务

JDK 原生

自从 JDK1.5 之后,提供了 ScheduledExecutorService 代替 TimerTask 来执行定时任务,提供了不错的可靠性。

public class SomeScheduledExecutorService {
    public static void main(String[] args) {
        // 创建任务队列,共 10 个线程
        ScheduledExecutorService scheduledExecutorService =
                Executors.newScheduledThreadPool(10);
        // 执行任务: 1秒 后开始执行,每 30秒 执行一次
        scheduledExecutorService.scheduleAtFixedRate(() -> {
            System.out.println("执行任务:" + new Date());
        }, 10, 30, TimeUnit.SECONDS);
    }
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.

Spring Task

Spring Framework 自带定时任务,提供了 cron 表达式来实现丰富定时任务配置。新手推荐使用 https://cron.qqe2.com/ 这个网站来匹配你的 cron 表达式。

@Configuration
@EnableScheduling
public class SomeJob {
    private static final Logger LOGGER = LoggerFactory.getLogger(SomeJob.class);

    /**
     * 每分钟执行一次(例:18:01:00,18:02:00)
     * 秒 分钟 小时 日 月 星期 年
     */
    @Scheduled(cron = "0 0/1 * * * ? *")
    public void someTask() {
       //...
    }
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.

单点的定时服务在目前微服务的大环境下,应用场景越来越局限,所以尝鲜一下分布式定时任务吧。

基于 Redis 实现

相较于之前两种方式,这种基于 Redis 的实现可以通过多点来增加定时任务,多点消费。但是要做好防范重复消费的准备。

通过 ZSet 的方式:将定时任务存放到 ZSet 集合中,并且将过期时间存储到 ZSet 的 Score 字段中,然后通过一个循环来判断当前时间内是否有需要执行的定时任务,如果有则进行执行。

具体实现代码如下:

/**
 * Description: 基于Redis的ZSet的定时任务 .<br>
 *
 * @author mxy
 * @Date 2020/8/25 11:54
 */
@Configuration
@EnableScheduling
public class RedisJob {
    public static final String JOB_KEY = "redis.job.task";
    private static final Logger LOGGER = LoggerFactory.getLogger(RedisJob.class);
    @Autowired private StringRedisTemplate stringRedisTemplate;

    /**
     * 添加任务.
     *
     * @param task
     */
    public void addTask(String task, Instant instant) {
        stringRedisTemplate.opsForZSet().add(JOB_KEY, task, instant.getEpochSecond());
    }

    /**
     * 定时任务队列消费
     * 每分钟消费一次(可以缩短间隔到1s)
     */
    @Scheduled(cron = "0 0/1 * * * ? *")
    public void doDelayQueue() {
        long nowSecond = Instant.now().getEpochSecond();
        // 查询当前时间的所有任务
        Set<String> strings = stringRedisTemplate.opsForZSet().range(JOB_KEY, 0, nowSecond);
        for (String task : strings) {
            // 开始消费 task
            LOGGER.info("执行任务:{}", task);
        }
        // 删除已经执行的任务
        stringRedisTemplate.opsForZSet().remove(JOB_KEY, 0, nowSecond);
    }
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.

适用场景如下:

  • 订单下单之后 15 分钟后,用户如果没有付钱,系统需要自动取消订单
  • 红包 24 小时未被查收,需要延迟执退还业务
  • 某个活动指定在某个时间内生效&失效

优势是:

  • 省去了 MySQL 的查询操作,而使用性能更高的 Redis 做为代替
  • 不会因为停机等原因,遗漏要执行的任务

键空间通知的方式:我们可以通过 Redis 的键空间通知来实现定时任务,它的实现思路是给所有的定时任务设置一个过期时间,等到了过期之后,我们通过订阅过期消息就能感知到定时任务需要被执行了,此时我们执行定时任务即可。

默认情况下 Redis 是不开启键空间通知的,需要我们通过 config set notify-keyspace-events Ex 的命令手动开启。

开启之后定时任务的代码如下:

自定义监听器:

 /**
  * 自定义监听器.
  */
public class KeyExpiredListener extends KeyExpirationEventMessageListener {
    public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {
        super(listenerContainer);
    }

    @Override
    public void onMessage(Message message, byte[] pattern) {
        // channel
        String channel = new String(message.getChannel(), StandardCharsets.UTF_8);
        // 过期的key
        String key = new String(message.getBody(), StandardCharsets.UTF_8);
        // todo 你的处理
    }
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.

设置该监听器:

/** * Description: 通过订阅Redis的过期通知来实现定时任务 .

/**
 * Description: 通过订阅Redis的过期通知来实现定时任务 .<br>
 *
 * @author mxy
 * @Date 2020/8/25 12:07
 */
@Configuration
public class RedisExJob {
    @Autowired private RedisConnectionFactory redisConnectionFactory;
    @Bean
    public RedisMessageListenerContainer redisMessageListenerContainer() {
        RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer();
        redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory);
        return redisMessageListenerContainer;
    }

    @Bean
    public KeyExpiredListener keyExpiredListener() {
        return new KeyExpiredListener(this.redisMessageListenerContainer());
    }
}

  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.

Spring 会监听符合以下格式的 Redis 消息:

private static final Topic TOPIC_ALL_KEYEVENTS = new PatternTopic("__keyevent@*");
  • 1.

基于 Redis 的定时任务能够适用的场景也比较有限,但实现上相对简单,但对于功能幂等有很大要求。从使用场景上来说,更应该叫做延时任务。

场景举例:

订单下单之后 15 分钟后,用户如果没有付钱,系统需要自动取消订单

红包 24 小时未被查收,需要延迟执退还业务

优劣势是:

  • 被动触发,对于服务的资源消耗更小
  • Redis 的 Pub/Sub 不可靠,没有 ACK 机制等,但是一般情况可以容忍
  • 键空间通知功能会耗费一些 CPU

分布式定时任务

引入分布式定时任务组件 or 中间件:将定时任务作为单独的服务,遏制了重复消费,独立的服务也有利于扩展和维护。

quartz

依赖于 MySQL,使用相对简单,可多节点部署,通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面,使用相对麻烦。

elastic-job-lite

依赖于 Zookeeper,通过 Zookeeper 的注册与发现,可以动态的添加服务器。

  • 多种作业模式
  • 失效转移
  • 运行状态收集
  • 多线程处理数据
  • 幂等性
  • 容错处理
  • 支持spring命名空间
  • 有图形化管理页面

LTS

依赖于 Zookeeper,集群部署,可以动态的添加服务器。可以手动增加定时任务,启动和暂停任务。

  • 业务日志记录器
  • SPI 扩展支持
  • 故障转移
  • 节点监控
  • 多样化任务执行结果支持
  • FailStore 容错
  • 动态扩容
  • 对 spring 相对友好
  • 有监控和管理图形化界面

xxl-job

国产,依赖于 MySQL,基于竞争数据库锁保证只有一个节点执行任务,支持水平扩容。可以手动增加定时任务,启动和暂停任务。

  • 弹性扩容
  • 分片广播
  • 故障转移
  • Rolling实时日志
  • GLUE(支持在线编辑代码,免发布)
  • 任务进度监控
  • 任务依赖
  • 数据加密
  • 邮件报警
  • 运行报表
  • 优雅停机
  • 国际化(中文友好)

总结

微服务下,推荐使用 xxl-job 这一类组件服务将定时任务合理有效的管理起来。而单点的定时任务有其局限性,适用于规模较小、对未来扩展要求不高的服务。

相对而言,基于 Spring Task 的定时任务最简单快捷,而 xxl-job 的难度主要体现在集成和调试上。

无论是什么样的定时任务,你都需要确保:

任务不会因为集群部署而被多次执行

任务发生异常得到有效的处理

任务的处理过慢导致大量积压

任务应该在预期的时间点执行

中间件可以将服务解耦,但增加了复杂度。

责任编辑:武晓燕 来源: 石杉的架构笔记
相关推荐

2022-03-07 11:20:01

分布式代码微服务

2024-02-19 00:00:00

分布式定时任务框架

2022-08-09 08:40:37

框架分布式定时任务

2022-03-17 09:55:05

架构分布式选型

2023-01-04 09:23:58

2022-03-23 11:45:39

Quartz数据库节点

2019-11-12 09:32:39

分布式elastic-job分片

2019-11-15 10:16:27

分布式任务框架

2022-06-16 07:31:15

MySQL服务器服务

2020-06-02 14:45:48

PostgreSQL架构分布式

2021-10-30 19:30:23

分布式Celery队列

2023-03-01 08:07:51

2010-03-10 15:47:58

crontab定时任务

2020-09-29 19:20:05

鸿蒙

2023-06-26 00:14:28

Openjob分布式任务

2023-09-22 08:00:00

分布式锁Redis

2009-10-09 16:13:16

VB开发分布式

2021-08-05 07:28:25

Java实现方式

2019-06-19 15:40:06

分布式锁RedisJava

2020-11-06 12:12:35

HarmonyOS
点赞
收藏

51CTO技术栈公众号