前言
在JUC包中,除了一些常用的或者说常见的并发工具类(ReentrantLock,CountDownLatch,CyclicBarrier,Semaphore)等,还有一个不常用的线程同步器类 —— Exchanger。
Exchanger是适用在两个线程之间数据交换的并发工具类,它的作用是找到一个同步点,当两个线程都执行到了同步点(exchange方法)之后(有一个没有执行到就一直等待,也可以设置等待超时时间),就将自身线程的数据与对方交换。
Exchanger 是什么?
它提供一个同步点,在这个同步点两个线程可以交换彼此的数据。这个两个线程通过exchange方法交换数据,如果第一个线程先执行exchange方法,它会一直等待第二个线程也执行exchange,当两个线程都到达同步点时,这两个线程就可以交换数据,将本线程生产出来的数据传递给对方。因此使用Exchanger的中断时成对的线程使用exchange()方法,当有一对线程到达了同步点,就会进行交换数据,因此该工具类的线程对象是成对的。
线程可以在成对内配对和交换元素的同步点。每个线程在输入exchange方法时提供一些对象,与合作者线程匹配,并在返回时接收其合作伙伴的对象。交换器可以被视为一个的双向形式的SynchroniuzedQueue。交换器在诸如遗传算法和管道设计的应用中可能是有用的。
一个用于两个工作线程之间交换数据的封装工具类,简单说就是一个线程在完成一定事务后想与另一个线程交换数据,则第一个先拿出数据的线程会一直等待第二个线程,直到第二个线程拿着数据到来时才能彼此交换对应数据。
Exchanger 用法
- Exchanger 泛型类型,其中V表示可交换的数据类型
- V exchanger(V v):等待另一个线程到达此交换点(除非当前线程被中断),然后将给定的对象传送该线程,并接收该线程的对象。
- V exchanger(V v, long timeout, TimeUnit unit):等待另一个线程到达此交换点(除非当前线程被中断或超出类指定的等待时间),然后将给定的对象传送给该线程,并接收该线程的对象。
应用场景
Exchanger可以用于遗传算法,遗传算法里需要选出两个人作为交配对象,这时候会交换两人的数据,并使用交叉规则得出2个交配结果。
Exchanger也可以用于校对工作。比如我们需要将纸制银流通过人工的方式录入成电子银行流水,为了避免错误,采用AB岗两人进行录入,录入到Excel之后,系统需要加载这两个Excel,并对这两个Excel数据进行校对,看看是否录入的一致
Exchanger的典型应用场景是:一个任务在创建对象,而这些对象的生产代价很高,另一个任务在消费这些对象。通过这种方式,可以有更多的对象在被创建的同时被消费。
案例说明
Exchanger 用于两个线程间交换数据,当然实际参与的线程可以不止两个,测试用例如下:
- private static void test1() throws InterruptedException {
- Exchanger<String> exchanger = new Exchanger<>();
- CountDownLatch countDownLatch = new CountDownLatch(5);
- for (int i = 0; i < 5; i++) {
- new Thread(() -> {
- try {
- String origMsg = RandomStringUtils.randomNumeric(6);
- // 先到达的线程会在此等待,直到有一个线程跟它交换数据或者等待超时
- String exchangeMsg = exchanger.exchange(origMsg,5, TimeUnit.SECONDS);
- System.out.println(Thread.currentThread().getName() + "\t origMsg:" + origMsg + "\t exchangeMsg:" + exchangeMsg);
- } catch (InterruptedException e) {
- e.printStackTrace();
- } catch (TimeoutException e) {
- e.printStackTrace();
- }finally {
- countDownLatch.countDown();
- }
- },String.valueOf(i)).start();
- }
- countDownLatch.await();
- }
第5个线程因为没有匹配的线程而等待超时,输出如下:
- 0 origMsg:524053 exchangeMsg:098544
- 3 origMsg:433246 exchangeMsg:956604
- 4 origMsg:098544 exchangeMsg:524053
- 1 origMsg:956604 exchangeMsg:433246
- java.util.concurrent.TimeoutException
- at java.util.concurrent.Exchanger.exchange(Exchanger.java:626)
- at com.nuih.juc.ExchangerDemo.lambda$test1$0(ExchangerDemo.java:37)
- at java.lang.Thread.run(Thread.java:748)
上述测试用例是比较简单,可以模拟消息消费的场景来观察Exchanger的行为,测试用例如下:
- private static void test2() throws InterruptedException {
- Exchanger<String> exchanger = new Exchanger<>();
- CountDownLatch countDownLatch = new CountDownLatch(4);
- CyclicBarrier cyclicBarrier = new CyclicBarrier(4);
- // 生产者
- Runnable producer = new Runnable() {
- @Override
- public void run() {
- try{
- cyclicBarrier.await();
- for (int i = 0; i < 5; i++) {
- String msg = RandomStringUtils.randomNumeric(6);
- exchanger.exchange(msg,5,TimeUnit.SECONDS);
- System.out.println(Thread.currentThread().getName() + "\t producer msg -> " + msg + " ,\t i -> " + i);
- }
- }catch (Exception e){
- e.printStackTrace();
- }finally {
- countDownLatch.countDown();
- }
- }
- };
- // 消费者
- Runnable consumer = new Runnable() {
- @Override
- public void run() {
- try{
- cyclicBarrier.await();
- for (int i = 0; i < 5; i++) {
- String msg = exchanger.exchange(null,5,TimeUnit.SECONDS);
- System.out.println(Thread.currentThread().getName() + "\t consumer msg -> " + msg + ",\t" + i);
- }
- }catch (Exception e){
- e.printStackTrace();
- }finally {
- countDownLatch.countDown();
- }
- }
- };
- for (int i = 0; i < 2; i++){
- new Thread(producer).start();
- new Thread(consumer).start();
- }
- countDownLatch.await();
- }
输出如下,上面生产者和消费者线程数是一样的,循环次数也是一样的,但是还是出现等待超时的情形:
- Thread-3 consumer msg -> null, 0
- Thread-1 consumer msg -> null, 0
- Thread-1 consumer msg -> null, 1
- Thread-2 producer msg -> 640010 , i -> 0
- Thread-2 producer msg -> 733133 , i -> 1
- Thread-3 consumer msg -> null, 1
- Thread-3 consumer msg -> 476520, 2
- Thread-1 consumer msg -> 640010, 2
- Thread-1 consumer msg -> null, 3
- Thread-0 producer msg -> 993414 , i -> 0
- Thread-0 producer msg -> 292745 , i -> 1
- Thread-2 producer msg -> 476520 , i -> 2
- Thread-2 producer msg -> 408446 , i -> 3
- Thread-3 consumer msg -> null, 3
- Thread-1 consumer msg -> 292745, 4
- Thread-2 producer msg -> 251971 , i -> 4
- Thread-0 producer msg -> 078939 , i -> 2
- Thread-3 consumer msg -> 251971, 4
- java.util.concurrent.TimeoutException
- at java.util.concurrent.Exchanger.exchange(Exchanger.java:626)
- at com.nuih.juc.ExchangerDemo$1.run(ExchangerDemo.java:70)
- at java.lang.Thread.run(Thread.java:748)
- Process finished with exit code 0
这种等待超时是概率出现的,这是为啥?
因为系统调度的不均衡和Exchanger底层的大量自旋等待导致这4个线程并不是调用exchanger成功的次数并不一致。另外从输出可以看出,消费者线程并没有像我们想的那样跟生产者线程一一匹配,生产者线程有时也充当来消费者线程,这是为啥?因为Exchanger匹配时完全不关注这个线程的角色,两个线程之间的匹配完全由调度决定的,即CPU同时执行来或者紧挨着执行来两个线程,这两个线程就匹配成功来。
源码分析
Exchanger 类图
其内部主要变量和方法如下:
成员属性
- // ThreadLocal变量,每个线程都有之间的一个副本
- private final Participant participant;
- // 高并发下使用的,保存待匹配的Node实例
- private volatile Node[] arena;
- // 低并发下,arena未初始化时使用的保存待匹配的Node实例
- private volatile Node slot;
- // 初始值为0,当创建arena后被负责SEQ,用来记录arena数组的可用最大索引,
- // 会随着并发的增大而增大直到等于最大值FULL,
- // 会随着并行的线程逐一匹配成功而减少恢复成初始值
- private volatile int bound;
还有多个表示字段偏移量的静态属性,通过static代码块初始化,如下:
- // Unsafe mechanics
- private static final sun.misc.Unsafe U;
- private static final long BOUND;
- private static final long SLOT;
- private static final long MATCH;
- private static final long BLOCKER;
- private static final int ABASE;
- static {
- int s;
- try {
- U = sun.misc.Unsafe.getUnsafe();
- Class<?> ek = Exchanger.class;
- Class<?> nk = Node.class;
- Class<?> ak = Node[].class;
- Class<?> tk = Thread.class;
- BOUND = U.objectFieldOffset
- (ek.getDeclaredField("bound"));
- SLOT = U.objectFieldOffset
- (ek.getDeclaredField("slot"));
- MATCH = U.objectFieldOffset
- (nk.getDeclaredField("match"));
- BLOCKER = U.objectFieldOffset
- (tk.getDeclaredField("parkBlocker"));
- s = U.arrayIndexScale(ak);
- // ABASE absorbs padding in front of element 0
- ABASE = U.arrayBaseOffset(ak) + (1 << ASHIFT);
- } catch (Exception e) {
- throw new Error(e);
- }
- if ((s & (s-1)) != 0 || s > (1 << ASHIFT))
- throw new Error("Unsupported array scale");
- }
Exchanger 定义来多个静态变量,如下:
- // 初始化arena时使用, 1 << ASHIFT 是一个缓存行的大小,避免来不同的Node落入到同一个高速缓存行
- // 这里实际是把数组容量扩大来8倍,原来索引相邻的两个元素,扩容后中间隔来7个元素,从元素的起始地址上看就隔来8个元素,中间的7个都是空的,为来避免原来相邻的两个元素都落入到同一个缓存行中
- // 因为arena是对象数组,一个元素占8字节,8个就是64字节
- private static final int ASHIFT = 7;
- // arena 数组元素的索引最大值即255
- private static final int MMASK = 0xff;
- // arena 数组的最大长度即256
- private static final int SEQ = MMASK + 1;
- // 获取CPU核数
- private static final int NCPU = Runtime.getRuntime().availableProcessors();
- // 实际的数组长度,因为是线程两两配对的,所以最大长度是核数除以2
- static final int FULL = (NCPU >= (MMASK << 1)) ? MMASK : NCPU >>> 1;
- // 自旋等待的次数
- private static final int SPINS = 1 << 10;
- // 如果交换的对象是null,则返回此对象
- private static final Object NULL_ITEM = new Object();
- // 如果等待超时导致交换失败,则返回此对象
- private static final Object TIMED_OUT = new Object();
内部类
Exchanger类中有两个内部类,一个Node,一个Participant。 Participant继承了ThreadLocal并且重写了其initialValue方法,返回一个Node对象。其定义如下:
- @sun.misc.Contended static final class Node {
- int index; // Arena index
- int bound; // Last recorded value of Exchanger.bound
- int collides; // Number of CAS failures at current bound
- int hash; // Pseudo-random for spins
- Object item; // This thread's current item
- volatile Object match; // Item provided by releasing thread
- volatile Thread parked; // Set to this thread when parked, else null
- }
- /** The corresponding thread local class */
- static final class Participant extends ThreadLocal<Node> {
- public Node initialValue() { return new Node(); }
- }
其中Contended注解是为了避免高速缓存行导致的伪共享问题
- index用来记录arena数组的索引
- bound用于记录上一次的Exchanger bound属性
- collides用于记录在bound不变的情况下CAS抢占失败的次数
- hash是自旋等待时计算随机数使用的
- item表示当前线程请求交换的对象
- match是同其它线程交换的结果,match不为null表示交换成功
- parked为跟该Node关联的处于休眠状态的线程。
重要方法
exchange()方法
- @SuppressWarnings("unchecked")
- public V exchange(V x) throws InterruptedException {
- Object v;
- Object item = (x == null) ? NULL_ITEM : x; // translate null args
- if ((arena != null || // 是null就执行后面的方法
- (v = slotExchange(item, false, 0L)) == null) &&
- // 如果执行slotExchange有结果就执行后面的,否则返回
- ((Thread.interrupted() || // 非中断则执行后面的方法
- (v = arenaExchange(item, false, 0L)) == null)))
- throw new InterruptedException();
- return (v == NULL_ITEM) ? null : (V)v;
- }
exchange 方法的执行步骤:
- 如果执行 soltExchange 有结果就执行后面的 arenaExchange;
- 如果 slot 被占用,就执行 arenaExchange;
- 返回的数据 v 是对方线程的数据项;
- 总结即:如果A线程先调用,那么A的数据项存储的 item中,则B线程的数据项存储在 math 中;
- 当没有多线程并发操作 Exchange 的时候,使用 slotExchange 就足够了,slot 是一个 node 对象;
- 当出现并发了,一个 slot 就不够了,就需要使用一个 node 数组 arena 操作了。
slotExchange()方法
slotExchange 是基于slot属性来完成交换的,调用soltExchange方法时,如果slot属性为null,当前线程会将slot属性由null修改成当前线程的Node,如果修改失败则下一次for循环走solt属性不为null的逻辑,如果修改成功则自旋等待,自旋一定次数后通过Unsafe的park方法当当前线程休眠,可以指定休眠的时间,如果没有指定则无限期休眠直到被唤醒;无论是因为线程中断被唤醒,等待超时被唤醒还是其它线程unpark唤醒的,都会检查当前线程的Node的属性释放为null,如果不为null说明交互成功,返回该对象;否则返回null或者TIME_OUT,在返回前会将item,match等属性置为null,保存之前自旋时计算的hash值,方便下一次调用slotExchange。
调用slotExchange方法时,如果slot属性不为null,则当前线程会尝试将其修改null,如果cas修改成功,表示当前线程与slot属性对应的线程匹配成功,会获取slot属性对应Node的item属性,将当前线程交换的对象保存到slot属性对应的Node的match属性,然后唤醒获取slot属性对应Node的waiter属性,即处理休眠状态的线程,至此交换完成,同样的在返回前需要将item,match等属性置为null,保存之前自旋时计算的hash置,方便下一次调用slotExchange;如果cas修改slot属性失败,说明有其它线程也在抢占slot,则初始化arena属性,下一次for循环因为arena属性不为null,直接返回null,从而通过arenaExchange完成交换。
- // arena 为null是会调用此方法,返回null表示交换失败
- // item是交换的对象,timed表示是否等待指定的时间,为false表示无限期等待,ns为等待时间
- private final Object slotExchange(Object item, boolean timed, long ns) {
- // 获取当前线程关联的participant Node
- Node p = participant.get();
- Thread t = Thread.currentThread();
- // 被中断,返回null
- if (t.isInterrupted()) // preserve interrupt status so caller can recheck
- return null;
- for (Node q;;) {
- if ((q = slot) != null) { // slot 不为null
- // 将slot置为null,slot对应的线程与当前线程匹配成功
- if (U.compareAndSwapObject(this, SLOT, q, null)) {
- Object v = q.item;
- // 保存item,即完成交互
- q.match = item;
- // 唤醒q对应的处于休眠状态的线程
- Thread w = q.parked;
- if (w != null)
- U.unpark(w);
- return v;
- }
- // slot修改失败,其它某个线程抢占来该slot,多个线程同时调用exchange方法会触发此逻辑
- // bound等于0表示未初始化,此处校验避免重复初始化
- if (NCPU > 1 && bound == 0 &&
- U.compareAndSwapInt(this, BOUND, 0, SEQ))
- arena = new Node[(FULL + 2) << ASHIFT];
- }
- else if (arena != null)
- return null; // carena不为null,通过arenaExchange交互
- else {
- // slot和arena都为null
- p.item = item;
- // 修改slot为p,修改成功则终止循环
- if (U.compareAndSwapObject(this, SLOT, null, p))
- break;
- // 修改失败则继续for循环,将otem恢复成null
- p.item = null;
- }
- }
- // 将slot修改为p后会进入此分支
- int h = p.hash; // hash初始为0
- long end = timed ? System.nanoTime() + ns : 0L;
- int spins = (NCPU > 1) ? SPINS : 1;
- Object v;
- // match保存着同其他线程交换的对象,如果不为null,说明交换成功了
- while ((v = p.match) == null) {
- // 执行自旋等待
- if (spins > 0) {
- h ^= h << 1; h ^= h >>> 3; h ^= h << 10;
- if (h == 0)
- h = SPINS | (int)t.getId(); 初始化h
- // 只有生成的h小于0时才减少spins
- else if (h < 0 && (--spins & ((SPINS >>> 1) - 1)) == 0)
- Thread.yield();
- }
- // slot被修改了,已经有匹配的线程,重新自旋,读取属性,因为是先修改slot再修改属性的,两者因为CPU调度的问题可能有时间差
- else if (slot != p)
- spins = SPINS;
- // 线程没有被中断且arena为null
- else if (!t.isInterrupted() && arena == null &&
- (!timed || (ns = end - System.nanoTime()) > 0L)) {
- U.putObject(t, BLOCKER, this);
- p.parked = t;
- if (slot == p)
- U.park(false, ns);
- // 线程被唤醒,继续下一次for循环
- // 如果是因为等待超时而被唤醒,下次for循环进入下没的else if分支,返回TIMED_OUT
- p.parked = null;
- U.putObject(t, BLOCKER, null);
- }
- // 将slot修改成p
- else if (U.compareAndSwapObject(this, SLOT, p, null)) {
- // timed为flase,无限期等待,因为中断被唤醒返回null
- // timed为ture,因为超时被唤醒,返回TIMED_OUT,因为中断被唤醒返回null
- v = timed && ns <= 0L && !t.isInterrupted() ? TIMED_OUT : null;
- break;
- }
- }
- // 修改match为null,item为null,保存h,下一次exchange是h就不是初始值为0了
- U.putOrderedObject(p, MATCH, null);
- // 重置 item
- p.item = null;
- // 保留伪随机数,供下次种子数字
- p.hash = h;
- // 返回
- return v;
- }
总结一下上面执行的逻辑:
- Exchange 使用了对象池的技术,将对象保存在 ThreadLocal 中,这个对象(Node)封装了数据项,线程对象等关键数据;
- 第一个线程进入的时候,会将数据放到池化对象中,并赋值给 slot 的 item,并阻塞自己(通常不会立即阻塞,而是使用 yield 自旋一会儿),等待对方取值;
- 当第二个线程进入的时候,会拿出存储在 slot item 中的值,然后对 slot 的 match 赋值,并唤醒上次阻塞的线程;
- 当第一个线程阻塞被唤醒后,说明对方取到值了,就获取 slot 的 match 值,并重置 slot 的数据和池化对象的数据,并返回自己的数据;
- 如果超时了,就返回 Time_out 对象;
- 如果线程中断了,就返回 null。
在该方法中,会返回 2 种结果,一是有效的 item,二是 null 要么是线程竞争使用 slot 了,创建了 arena 数组,要么是线程中断了。
通过一副图来看看具体逻辑
arenaExchange() 方法
arenaExchange是基于arena属性完成交换的,整体逻辑比较复杂,有以下几个要点:
- m的初始值就是0,index的初始值也是0,两个都是大于等于0且i不大于m,当某个线程多次尝试抢占index对应数组元素的Node都失败的情形下则尝试将m加1,然后抢占m加1对应的新数组元素,将其由null修改成当前线程关联的Node,然后自旋等待匹配;如果自旋结束,没有匹配的线程,则将m加1对应的新数组元素重新置为null,将m减1,然后再次for循环抢占其他为null的数组元素。极端并发下m会一直增加直到达到最大值FULL为止,达到FULL后只能通过for循环不断尝试与其他线程匹配或者抢占为null的数组元素,然后随着并发减少,m会一直减少到0。通过这种动态调整m的方式可以避免过多的线程基于CAS修改同一个元素导致CAS失败,提高匹配的效率,这种思想跟LongAdder的实现是一致的。
- 只有当m等于0的时候才会通过Unsafe park方法让线程休眠,如果不等于0,即此时存在多个并行的等待匹配的线程,则主要通过自旋的方式等待其他线程到来,这是因为交换动作本身是很快的很短暂的,通过自旋等待就可以让多个等待的线程快速的完成匹配;只有当前只剩下一个线程的时候,此时m肯定等于0,短期内没有匹配的线程,才会考虑通过park方法阻塞。
- // 抢占slot失败后进入此方法,arena不为空
- private final Object arenaExchange(Object item, boolean timed, long ns) {
- Node[] a = arena;
- Node p = participant.get();
- // index初始为0
- for (int i = p.index;;) { // access slot at i
- int b, m, c; long j; // j is raw array offset
- // 在创建arena时,将本来的数组容量 << ASHIFT,为了避免数组元素落到了同一个高速缓存行
- // 这里获取真实的数组元素索引时也需要 << ASHIFR
- Node q = (Node)U.getObjectVolatile(a, j = (i << ASHIFT) + ABASE);
- // 如果q不为null,则将对应的数组元素置为null,表示当前线程和该元素对应的线程匹配l
- if (q != null && U.compareAndSwapObject(a, j, q, null)) {
- Object v = q.item; // release
- q.match = item; // 保存item,交互成功
- Thread w = q.parked;
- if (w != null) // 唤醒等待的线程
- U.unpark(w);
- return v;
- }
- // q为null 或者q不为null,cas抢占q失败了
- // bound初始化时时SEQ,SEQ & MMASK 就是0,即m的初始值就0,m为0时,i肯定为0
- else if (i <= (m = (b = bound) & MMASK) && q == null) {
- p.item = item; // offer
- if (U.compareAndSwapObject(a, j, null, p)) {
- long end = (timed && m == 0) ? System.nanoTime() + ns : 0L;
- Thread t = Thread.currentThread(); // wait
- for (int h = p.hash, spins = SPINS;;) {
- Object v = p.match;
- if (v != null) {
- U.putOrderedObject(p, MATCH, null);
- p.item = null; // clear for next use
- p.hash = h;
- return v;
- }
- else if (spins > 0) {
- h ^= h << 1; h ^= h >>> 3; h ^= h << 10; // xorshift
- if (h == 0) // initialize hash
- h = SPINS | (int)t.getId();
- else if (h < 0 && // approx 50% true
- (--spins & ((SPINS >>> 1) - 1)) == 0)
- Thread.yield(); // two yields per wait
- }
- else if (U.getObjectVolatile(a, j) != p)
- spins = SPINS; // releaser hasn't set match yet
- else if (!t.isInterrupted() && m == 0 &&
- (!timed ||
- (ns = end - System.nanoTime()) > 0L)) {
- U.putObject(t, BLOCKER, this); // emulate LockSupport
- p.parked = t; // minimize window
- if (U.getObjectVolatile(a, j) == p)
- U.park(false, ns);
- p.parked = null;
- U.putObject(t, BLOCKER, null);
- }
- else if (U.getObjectVolatile(a, j) == p &&
- U.compareAndSwapObject(a, j, p, null)) {
- if (m != 0) // try to shrink
- U.compareAndSwapInt(this, BOUND, b, b + SEQ - 1);
- p.item = null;
- p.hash = h;
- i = p.index >>>= 1; // descend
- if (Thread.interrupted())
- return null;
- if (timed && m == 0 && ns <= 0L)
- return TIMED_OUT;
- break; // expired; restart
- }
- }
- }
- else
- p.item = null; // clear offer
- }
- else {
- if (p.bound != b) { // stale; reset
- p.bound = b;
- p.collides = 0;
- i = (i != m || m == 0) ? m : m - 1;
- }
- else if ((c = p.collides) < m || m == FULL ||
- !U.compareAndSwapInt(this, BOUND, b, b + SEQ + 1)) {
- p.collides = c + 1;
- i = (i == 0) ? m : i - 1; // cyclically traverse
- }
- else
- i = m + 1; // grow
- p.index = i;
- }
- }
- }
总结
Exchange 和 SynchronousQueue 类似,都是通过两个线程操作同一个对象实现数据交换,只不过就像我们开始说的,SynchronousQueue 使用的是同一个属性,通过不同的 isData 来区分,多线程并发时,使用了队列进行排队。
Exchange 使用了一个对象里的两个属性,item 和 match,就不需要 isData 属性了,因为在 Exchange 里面,没有 isData 这个语义。而多线程并发时,使用数组来控制,每个线程访问数组中不同的槽。
PS:以上代码提交在 Github :
https://github.com/Niuh-Study/niuh-juc-final.git
PS:这里有一个技术交流群(扣扣群:1158819530),方便大家一起交流,持续学习,共同进步,有需要的可以加一下。