万字长文阿粉带你解析 ThreadPoolExecutor

开发 前端
你有没有这样的疑惑,为什么要用线程池呢?可能你会说,我可以复用已经创建的线程呀;线程是个重量级对象,为了避免频繁创建和销毁,使用线程池来管理最好了。

[[332918]]

本文转载自微信公众号「Java极客技术」,作者鸭血粉丝。转载本文请联系Java极客技术公众号。

为什么要用线程池

你有没有这样的疑惑,为什么要用线程池呢?可能你会说,我可以复用已经创建的线程呀;线程是个重量级对象,为了避免频繁创建和销毁,使用线程池来管理最好了。

没毛病,各位都很懂哈~

不过使用线程池还有一个重要的点:可以控制并发的数量。如果并发数量太多了,导致消耗的资源增多,直接把服务器给搞趴下了,肯定也是不行的

绕不过去的几个参数

提到 ThreadPoolExecutor 那么你的小脑袋肯定会想到那么几个参数,咱们来瞅瞅源码(我就直接放有 7 个参数的那个方法了):

  1. public ThreadPoolExecutor(int corePoolSize, 
  2.                             int maximumPoolSize, 
  3.                             long keepAliveTime, 
  4.                             TimeUnit unit, 
  5.                             BlockingQueue<Runnable> workQueue, 
  6.                             ThreadFactory threadFactory, 
  7.                             RejectedExecutionHandler handler) 

咱们分别来看:

  • corePoolSize :

核心线程数,在线程池中有两种线程,核心线程和非核心线程。在线程池中的核心线程,就算是它什么都不做,也会一直在线程池中,除非设置了 allowCoreThreadTimeOut 参数

  • maximumPoolSize:

线程池能够创建的最大线程数。这个值 = 核心线程数 + 非核心线程数

  • keepAliveTime & unit :

线程池是可以撤销线程的,那么什么时候撤销呢?一个线程如果在一段时间内,都没有执行任务,那说明这个线程很闲啊,那是不是就可以把它撤销掉了?

所以呢,如果一个线程不是核心线程,而且在 keepAliveTime & unit 这段时间内,还没有干活,那么很抱歉,只能请你走人了 核心线程就算是很闲,也不会将它从线程池中清除,没办法谁让它是 core 线程呢~

  • workQueue :

工作队列,这个队列维护的是等待执行的 Runnable 任务对象

常用的几个队列:LinkedBlockingQueue , ArrayBlockingQueue , SynchronousQueue , DelayQueue

大厂的编码规范,相信各位都知道,并不建议使用 Executors ,最重要的一个原因就是:Executors 提供的很多方法默认使用的都是无界的 LinkedBlockingQueue ,在高负载情况下,无界队列很容易就导致 OOM ,而 OOM 会让所有请求都无法处理,所以在使用时,强烈建议使用有界队列,因为如果你使用的是有界队列的话,当线程数量太多时,它会走拒绝策略

  • threadFactory :

创建线程的工厂,用来批量创建线程的。如果不指定的话,就会创建一个默认的线程工厂

  • handler :

拒绝处理策略。在 workQueue 那里说了,如果使用的是有界队列,那么当线程数量大于最大线程数的时候,拒绝处理策略就起到作用了

常用的有四种处理策略:

- AbortPolicy :默认的拒绝策略,会丢弃任务并抛出 RejectedExecutionException 异常- CallerRunsPolicy :提交任务的线程,自己去执行这个任务- DiscardOldestPolicy :直接丢弃新来的任务,也没有任何异常抛出- DiscardOldestPolicy :丢弃最老的任务,然后将新任务加入到工作队列中

默认拒绝策略是 AbortPolicy ,会 throw RejectedExecutionException 异常,但是这是一个运行时异常,对于运行时异常编译器不会强制 catch 它,所以就会比较容易忽略掉错误。

所以,如果线程池处理的任务非常重要,尽量自定义自己的拒绝策略

线程池的几个状态

在源码中,能够清楚地看到线程池有 5 种状态:

  1. private static final int RUNNING    = -1 << COUNT_BITS; 
  2. private static final int SHUTDOWN   =  0 << COUNT_BITS; 
  3. private static final int STOP       =  1 << COUNT_BITS; 
  4. private static final int TIDYING    =  2 << COUNT_BITS; 
  5. private static final int TERMINATED =  3 << COUNT_BITS; 

同时,使用 AtomicInteger 修饰的变量 ctl 来控制线程池的状态,而 ctl 保存了 2 个变量:一个是 rs 即 runState ,线程池的运行状态;一个是 wc 即 workerCount ,线程池中活动线程的数量

  1. private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0)); 
  2. private static int ctlOf(int rs, int wc) { return rs | wc; } 
  • 线程池创建之后就处于 RUNNING 状态
  • 调用 shutdown() 方法之后处于 SHUTDOWN 状态,此时线程池不再接受新的任务,清除一些空闲 worker ,等待阻塞队列的任务完成
  • 调用 shutdownNow() 方法后处于 STOP 状态,此时线程池不再接受新的任务,中断所有的线程,阻塞队列中没有被执行的任务也会被全部丢弃
  • 当线程池中执行的任务为空时,也就是此时 ctl 的值为 0 时,线程池会变为 TIDYING 状态,接下来会执行 terminated() 方法
  • 执行完 terminated() 方法之后,线程池的状态就由 TIDYING 转到 TERMINATED 状态

懵了?别急,有张图呢~

 

线程池处理任务

execute

做到线程复用,肯定要先 execute 起来吧

线程池处理任务的核心方法是 execute ,大概思路就是:

  • 如果 command 为 null ,没啥说的,直接抛出异常就完事儿了
  • 如果当前线程数小于 corePoolSize ,会新建一个核心线程执行任务
  • 如果当前线程数不小于 corePoolSize ,就会将任务放到队列中等待,如果任务排队成功,仍然需要检查是否应该添加线程,所以需要重新检查状态,并且在必要时回滚排队;如果线程池处于 running 状态,但是此时没有线程,就会创建线程
  • 如果没有办法给任务排队,说明这个时候,缓存队列满了,而且线程数达到了 maximumPoolSize 或者是线程池关闭了,系统没办法再响应新的请求,此时会执行拒绝策略

来瞅瞅源码具体是如何处理的:

  1. public void execute(Runnable command) { 
  2.     if (command == null
  3.         throw new NullPointerException(); 
  4.    
  5.     int c = ctl.get(); 
  6.     // 当前线程数小于 corePoolSize 时,调用 addWorker 创建核心线程来执行任务 
  7.     if (workerCountOf(c) < corePoolSize) { 
  8.         if (addWorker(command, true)) 
  9.             return
  10.         c = ctl.get(); 
  11.     } 
  12.     // 当前线程数不小于 corePoolSize ,就将任务添加到 workQueue 中 
  13.     if (isRunning(c) && workQueue.offer(command)) { 
  14.      // 获取到当前线程的状态,赋值给 recheck ,是为了重新检查状态 
  15.         int recheck = ctl.get(); 
  16.         // 如果 isRunning 返回 false ,那就 remove 掉这个任务,然后执行拒绝策略,也就是回滚重新排队 
  17.         if (! isRunning(recheck) && remove(command)) 
  18.             reject(command); 
  19.         // 线程池处于 running 状态,但是没有线程,那就创建线程执行任务 
  20.         else if (workerCountOf(recheck) == 0) 
  21.             addWorker(nullfalse); 
  22.     } 
  23.     // 如果放入 workQueue 失败,尝试通过创建非核心线程来执行任务 
  24.     // 如果还是失败,说明线程池已经关闭或者已经饱和,会拒绝执行该任务 
  25.     else if (!addWorker(command, false)) 
  26.         reject(command); 

在上面源码中,判断了两次线程池的状态,为什么要这么做呢?

这是因为在多线程环境下,线程池的状态是时刻发生变化的,可能刚获取线程池状态之后,这个状态就立刻发生了改变.如果没有二次检查的话,线程池处于非 RUNNING 状态时, command 就永远不会执行

有点儿懵?阿粉都懂你,一张图走起~

 

addWorker

从上面能够看出来,主要是 addWorker 方法

addWorker 主要是用来创建核心线程的,它主要的实现逻辑是:

  • 判断线程数量有没有超过规定的数量,如果超过了就返回 false
  • 如果没有超过,就会创建 worker 对象,并初始化一个 Thread 对象,然后启动这个线程对象

接下来瞅瞅源码:

  1. private boolean addWorker(Runnable firstTask, boolean core) { 
  2.     retry: 
  3.     for (;;) { 
  4.         int c = ctl.get(); 
  5.         int rs = runStateOf(c); 
  6.  
  7.         // Check if queue empty only if necessary. 
  8.   // 线程池状态 >= SHUTDOWN 时,不再接受新的任务,直接返回 false 
  9.   // 如果 rs == SHUTDOWN && firstTask == null && ! workQueue.isEmpty() 同样不接受新的任务,返回 false 
  10.         if (rs >= SHUTDOWN && 
  11.             ! (rs == SHUTDOWN && 
  12.                 firstTask == null && 
  13.                 ! workQueue.isEmpty())) 
  14.             return false
  15.  
  16.         for (;;) { 
  17.             int wc = workerCountOf(c); 
  18.    // wc >= CAPACITY 说明线程数不够,所以就返回 false 
  19.    // wc >= (core ? corePoolSize : maximumPoolSize) 是在做判断 
  20.     // 如果 core 为 true ,说明要创建的线程是核心线程,接下来判断 wc 是否大于 核心线程数 ,如果大于返回 false 
  21.     // 如果 core 为 false ,说明要创建的线程是非核心线程,接下来判断 wc 是否大于 最大线程数 ,如果大于返回 false 
  22.             if (wc >= CAPACITY || 
  23.                 wc >= (core ? corePoolSize : maximumPoolSize)) 
  24.                 return false
  25.    // CAS 操作增加 workerCount 的值,如果成功跳出循环 
  26.             if (compareAndIncrementWorkerCount(c)) 
  27.                 break retry; 
  28.             c = ctl.get();  // Re-read ctl 
  29.    // 判断线程池状态有没有变化,如果有变化,则重试 
  30.             if (runStateOf(c) != rs) 
  31.                 continue retry; 
  32.             // else CAS failed due to workerCount change; retry inner loop 
  33.         } 
  34.     } 
  35.  
  36.  // workerCount 增加成功之后开始走下面的代码 
  37.     boolean workerStarted = false
  38.     boolean workerAdded = false
  39.     Worker w = null
  40.     try { 
  41.   // 创建一个 worker 对象 
  42.         w = new Worker(firstTask); 
  43.   // 实例化一个 Thread 对象 
  44.         final Thread t = w.thread; 
  45.         if (t != null) { 
  46.    // 接下来的操作需要加锁进行 
  47.             final ReentrantLock mainLock = this.mainLock; 
  48.             mainLock.lock(); 
  49.             try { 
  50.                 // Recheck while holding lock. 
  51.                 // Back out on ThreadFactory failure or if 
  52.                 // shut down before lock acquired. 
  53.                 int rs = runStateOf(ctl.get()); 
  54.  
  55.                 if (rs < SHUTDOWN || 
  56.                     (rs == SHUTDOWN && firstTask == null)) { 
  57.                     if (t.isAlive()) // precheck that t is startable 
  58.                         throw new IllegalThreadStateException(); 
  59.      // 将任务线程添加到线程池中 
  60.                     workers.add(w); 
  61.                     int s = workers.size(); 
  62.                     if (s > largestPoolSize) 
  63.                         largestPoolSize = s; 
  64.                     workerAdded = true
  65.                 } 
  66.             } finally { 
  67.                 mainLock.unlock(); 
  68.             } 
  69.             if (workerAdded) { 
  70.     // 启动任务线程,开始执行任务 
  71.                 t.start(); 
  72.                 workerStarted = true
  73.             } 
  74.         } 
  75.     } finally { 
  76.         if (! workerStarted) 
  77.    // 如果任务线程启动失败调用 addWorkerFailed  
  78.    // addWorkerFailed 方法里面主要做了两件事:将该线程从线程池中移除;将 workerCount 的值减 1 
  79.             addWorkerFailed(w); 
  80.     } 
  81.     return workerStarted; 

Worker 类

在 addWorker 中,主要是由 Worker 类去做一些相应处理, worker 继承 AQS ,实现 Runnable 接口

线程池维护的是 HashSet,一个由 worker 对象组成的 HashSet

  1. private final HashSet<Worker> workers = new HashSet<Worker>(); 

worker 继承 AQS 主要是利用 AQS 独占锁机制,来标识线程是否空闲;另外, worker 还实现了 Runnable 接口,所以它本身就是一个线程任务,在构造方法中创建了一个线程,线程的任务就是自己 this。thread = getThreadFactory().newThread(this);

咱们瞅瞅里面的源码:

  1. private final class Worker 
  2.        extends AbstractQueuedSynchronizer 
  3.        implements Runnable 
  4.    { 
  5.        /** 
  6.         * This class will never be serialized, but we provide a 
  7.         * serialVersionUID to suppress a javac warning. 
  8.         */ 
  9.        private static final long serialVersionUID = 6138294804551838833L; 
  10.  
  11.        // 处理任务的线程 
  12.        final Thread thread; 
  13.        // worker 传入的任务 
  14.        Runnable firstTask; 
  15.        /** Per-thread task counter */ 
  16.        volatile long completedTasks; 
  17.  
  18.        /** 
  19.         * Creates with given first task and thread from ThreadFactory. 
  20.         * @param firstTask the first task (null if none) 
  21.         */ 
  22.        Worker(Runnable firstTask) { 
  23.         // 将 state 设为 -1 ,避免 worker 在执行前被中断 
  24.            setState(-1); // inhibit interrupts until runWorker 
  25.            this.firstTask = firstTask; 
  26.   // 创建一个线程,来执行任务 
  27.            this.thread = getThreadFactory().newThread(this); 
  28.        } 
  29.  
  30.        /** Delegates main run loop to outer runWorker  */ 
  31.        public void run() { 
  32.            runWorker(this); 
  33.        } 
  34.  
  35.        // Lock methods 
  36.        // 
  37.        // The value 0 represents the unlocked state. 
  38.        // The value 1 represents the locked state. 
  39.  
  40.        protected boolean isHeldExclusively() { 
  41.            return getState() != 0; 
  42.        } 
  43.  
  44.        protected boolean tryAcquire(int unused) { 
  45.            if (compareAndSetState(0, 1)) { 
  46.                setExclusiveOwnerThread(Thread.currentThread()); 
  47.                return true
  48.            } 
  49.            return false
  50.        } 
  51.  
  52.        protected boolean tryRelease(int unused) { 
  53.            setExclusiveOwnerThread(null); 
  54.            setState(0); 
  55.            return true
  56.        } 
  57.  
  58.        public void lock()        { acquire(1); } 
  59.        public boolean tryLock()  { return tryAcquire(1); } 
  60.        public void unlock()      { release(1); } 
  61.        public boolean isLocked() { return isHeldExclusively(); } 
  62.  
  63.        void interruptIfStarted() { 
  64.            Thread t; 
  65.            if (getState() >= 0 && (t = thread) != null && !t.isInterrupted()) { 
  66.                try { 
  67.                    t.interrupt(); 
  68.                } catch (SecurityException ignore) { 
  69.                } 
  70.            } 
  71.        } 
  72.    } 

runWorker

worker 类在执行 run 方法时,实际上调用的是 runWorker 方法

  1. final void runWorker(Worker w) { 
  2.        Thread wt = Thread.currentThread(); 
  3.        Runnable task = w.firstTask; 
  4.        w.firstTask = null
  5.        // 允许中断 
  6.        w.unlock(); // allow interrupts 
  7.        boolean completedAbruptly = true
  8.        try { 
  9.         // 判断 task 是否为空,如果不为空直接执行 
  10.         // 如果 task 为空,调用 getTask() 方法,从 workQueue 中取出新的 task 执行 
  11.            while (task != null || (task = getTask()) != null) { 
  12.             // 加锁,防止被其他线程中断 
  13.                w.lock(); 
  14.                // If pool is stopping, ensure thread is interrupted; 
  15.                // if not, ensure thread is not interrupted.  This 
  16.                // requires a recheck in second case to deal with 
  17.                // shutdownNow race while clearing interrupt 
  18.                // 检查线程池的状态,如果线程池处于 stop 状态,则需要中断当前线程 
  19.                if ((runStateAtLeast(ctl.get(), STOP) || 
  20.                     (Thread.interrupted() && 
  21.                      runStateAtLeast(ctl.get(), STOP))) && 
  22.                    !wt.isInterrupted()) 
  23.                    wt.interrupt(); 
  24.                try { 
  25.                 // 执行 beforeExecute  
  26.                    beforeExecute(wt, task); 
  27.                    Throwable thrown = null
  28.                    try { 
  29.                     // 执行任务 
  30.                        task.run(); 
  31.                    } catch (RuntimeException x) { 
  32.                        thrown = x; throw x; 
  33.                    } catch (Error x) { 
  34.                        thrown = x; throw x; 
  35.                    } catch (Throwable x) { 
  36.                        thrown = x; throw new Error(x); 
  37.                    } finally { 
  38.                     // 执行 afterExecute 方法 
  39.                        afterExecute(task, thrown); 
  40.                    } 
  41.                } finally { 
  42.                 // 将 task 设置为 null ,循环操作 
  43.                    task = null
  44.                    w.completedTasks++; 
  45.                    // 释放锁 
  46.                    w.unlock(); 
  47.                } 
  48.            } 
  49.            completedAbruptly = false
  50.        } finally { 
  51.            processWorkerExit(w, completedAbruptly); 
  52.        } 
  53.    } 

在 runWorker 方法中,首先会去执行创建这个 worker 时就有的任务,当执行完这个任务之后, worker 并不会被销毁,而是在 while 循环中, worker 会不断的调用 getTask 方法从阻塞队列中获取任务然后调用 task。run() 来执行任务,这样就达到了复用线程的目的。通过循环条件 while (task != null || (task = getTask()) != null) 可以看出,只要 getTask 方法返回值不为 null ,就会一直循环下去,这个线程也就会一直在执行,从而达到了线程复用的目的

getTask

咱们来看看 getTask 方法的实现:

  1. private Runnable getTask() { 
  2.         boolean timedOut = false; // Did the last poll() time out
  3.  
  4.         for (;;) { 
  5.             int c = ctl.get(); 
  6.             int rs = runStateOf(c); 
  7.  
  8.             // Check if queue empty only if necessary. 
  9.             if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) { 
  10.                 decrementWorkerCount(); 
  11.                 return null
  12.             } 
  13.  
  14.             int wc = workerCountOf(c); 
  15.  
  16.             // Are workers subject to culling? 
  17.             // allowCoreThreadTimeOut 变量默认为 false ,也就是核心线程就算是空闲也不会被销毁 
  18.             // 如果为 true ,核心线程在 keepAliveTime 内是空闲的,就会被销毁 
  19.             boolean timed = allowCoreThreadTimeOut || wc > corePoolSize; 
  20.  
  21.             // 如果运行线程数大于最大线程数,但是缓存队列已经空了,此时递减 worker 数量 
  22.             // 如果有设置允许线程超时或者线程数量超过了核心线程数量,并且线程在规定时间内没有 poll 到任务并且队列为空,此时也递减 worker 数量 
  23.             if ((wc > maximumPoolSize || (timed && timedOut)) 
  24.                 && (wc > 1 || workQueue.isEmpty())) { 
  25.                 if (compareAndDecrementWorkerCount(c)) 
  26.                     return null
  27.                 continue
  28.             } 
  29.  
  30.             try { 
  31.                 // 如果 timed 为 true ,会调用 workQueue 的 poll 方法 
  32.                  // 超时时间为 keepAliveTime ,如果超过 keepAliveTime 时长的话, poll 就会返回 null  
  33.                  // 如果返回为 null ,在 runWorker 中  
  34.                  // while (task != null || (task = getTask()) != null) 循环条件被打破,从而跳出循环,此时线程执行完毕 
  35.                 // 如果 timed 为 false ( allowCoreThreadTimeOut 为 false ,并且 wc > corePoolSize 为 false ) 
  36.                  // 会调用 workQueue 的 take 方法阻塞到当前 
  37.                  // 当队列中有任务加入时,线程被唤醒, take 方法返回任务,开始执行 
  38.                 Runnable r = timed ? 
  39.                     workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) : 
  40.                     workQueue.take(); 
  41.                 if (r != null
  42.                     return r; 
  43.                 timedOut = true
  44.             } catch (InterruptedException retry) { 
  45.                 timedOut = false
  46.             } 
  47.         } 
  48.     } 

源码分析到这里就差不多清楚了

线程复用主要体现在 runWorker 方法中的 while 循环中,在 while 循环里面, worker 会不断的调用 getTask 方法,而在 getTask 方法里,如果任务队列中没有了任务,此时如果线程是核心线程则会一直卡在 workQueue。take 方法,这个时候会被阻塞并挂起,不会占用 CPU 资源,直到拿到任务然后返回 true , 此时 runWorker 中得到这个任务来继续执行任务,从而实现了线程复用

 

呦,没想到吧,一不小心就看完了

 

责任编辑:武晓燕 来源: Java极客技术
相关推荐

2022-09-06 08:02:40

死锁顺序锁轮询锁

2022-09-14 09:01:55

shell可视化

2022-07-19 16:03:14

KubernetesLinux

2022-10-10 08:35:17

kafka工作机制消息发送

2021-10-18 11:58:56

负载均衡虚拟机

2021-01-19 05:49:44

DNS协议

2021-02-26 05:17:38

计算机网络二进制

2023-12-04 08:10:34

Spring循环依赖

2020-07-15 08:57:40

HTTPSTCP协议

2020-11-16 10:47:14

FreeRTOS应用嵌入式

2024-03-07 18:11:39

Golang采集链接

2024-05-10 12:59:58

PyTorch人工智能

2023-06-12 08:49:12

RocketMQ消费逻辑

2024-01-11 09:53:31

面试C++

2022-09-08 10:14:29

人脸识别算法

2022-07-15 16:31:49

Postman测试

2021-08-26 05:02:50

分布式设计

2024-01-05 08:30:26

自动驾驶算法

2022-04-25 10:56:33

前端优化性能

2022-02-15 18:45:35

Linux进程调度器
点赞
收藏

51CTO技术栈公众号