资讯专栏INFORMATION COLUMN

ForkJoin框架之CompletableFuture

lindroid / 3928人阅读

摘要:内部类,用于对和异常进行包装,从而保证对进行只有一次成功。是取消异常,转换后抛出。判断是否使用的线程池,在中持有该线程池的引用。

前言

近期作者对响应式编程越发感兴趣,在内部分享"JAVA9-12"新特性过程中,有两处特性让作者深感兴趣:
1.JAVA9中的JEP266对并发编程工具的更新,包含发布订阅框架Flow和CompletableFuture加强,其中发布订阅框架以java.base模块下的java.util.concurrent.Flow及其中的几个内部类/接口为组成部分,它们的名称和作用如下,摘自JAVA12的Flow api文档。


2.JAVA9中孵化,JAVA11中标准化的HttpClient,在之前分享的JAVA9-12新特性一文中曾引用摘自网络的HttpClient代码片段:
片段1:

HttpClient client = HttpClient.newHttpClient();
HttpRequest request = HttpRequest.newBuilder()
    .uri(URI.create(uri))
    .build();

return client.sendAsync(request, HttpResponse.BodyHandlers.ofString())
    .thenApply(HttpResponse::body);
}

片段2:

HttpClient client = HttpClient.newHttpClient();
List urls = List.of("http://www.baidu.com","http://www.alibaba.com/","http://www.tencent.com");
List requests = urls.stream()
    .map(url -> HttpRequest.newBuilder(URI.create(url)))
    .map(reqBuilder -> reqBuilder.build())
    .collect(Collectors.toList());

List>> futures = requests.stream()
    .map(request -> client.sendAsync(request, HttpResponse.BodyHandlers.ofString()))
    .collect(Collectors.toList());
futures.stream()
    .forEach(e -> e.whenComplete((resp,err) -> {
        if(err != null){
            err.printStackTrace();
        }else{
            System.out.println(resp.body());
            System.out.println(resp.statusCode());
        }
    }));
CompletableFuture.allOf(futures
    .toArray(CompletableFuture[]::new))
    .join();
}

在片段1中,thenApply方法是CompletableFuture的成员,client.sendAsync返回的是一个CompletableFuture。这两段代码很好阅读,甚至说猜出其中的意义。片段2可以说对于作者目前的书写习惯是一个全面的颠覆,显然我们可以预先定义响应行为,而行为的执行时间则由前一个阶段的实际完成时间决定。片段2中的whenComplete方法很好理解,最后一行用allOf生成一个类似树的依赖结构,在当前方法中等待所有CompletableFuture执行完成。

简单看这两段代码,响应式编程的魅力可见一斑,甚至可以说是美妙不可言。
那么,作为JAVA9中额外照顾增强,HttpClient赖以实现的CompletableFuture,它是何方神圣呢?

CompletionStage接口

CompletionStage是什么?不妨卖个关子先。
作者目前使用的JDK版本为8,尽管它不包含9之后的增强,万幸CompletionStage是从JDK8引入,因此足以用以了解这一伟大神器了。近期作者在公司使用的一些开源框架中,发现至处间接对它的使用:
1.持久化框架Redission。它内部使用一个RedissonExecutorService(实现ScheduledExecutorService)和PromiseDelegator(实现CompletionStage,而CompletableFuture同样也实现了CompletionStage)来异步地执行task。
2.apollo配置中心。它提供了配置变更的异步通知机制,而这依赖于spring web-mvc提供的DeferredResult,而在异步处理return value时,DeferredResult的setResult同样也是相应的CompletionStage执行。

//例:阿波罗NotificationControllerV2拉取通知接口
@GetMapping
public DeferredResult>>     pollNotification(
  @RequestParam(value = "appId") String appId,
  @RequestParam(value = "cluster") String cluster,
  @RequestParam(value = "notifications") String notificationsAsString,
  @RequestParam(value = "dataCenter", required = false) String dataCenter,
  @RequestParam(value = "ip", required = false) String clientIp) {
List notifications = null;
//省略无关代码
//DeferredResultWrapper是apollo作者包装的spring DeferredResult
DeferredResultWrapper deferredResultWrapper = new DeferredResultWrapper();
//省略无关代码
if (!CollectionUtils.isEmpty(newNotifications)) {
  deferredResultWrapper.setResult(newNotifications);
} else {
  deferredResultWrapper
      .onTimeout(() -> logWatchedKeys(watchedKeys, "Apollo.LongPoll.TimeOutKeys"));
 
  deferredResultWrapper.onCompletion(() -> {
    //unregister all keys
    for (String key : watchedKeys) {
      deferredResults.remove(key, deferredResultWrapper);
    }
    logWatchedKeys(watchedKeys, "Apollo.LongPoll.CompletedKeys");
  });
 
  //省略
return deferredResultWrapper.getResult();
}

在spring的CompletionStageReturnValueHandler的handleReturnValue()方法中,如下异步地处理响应结果:

@Override
public void handleReturnValue(Object returnValue, MethodParameter returnType,
        ModelAndViewContainer mavContainer, NativeWebRequest webRequest) throws Exception {
 
    if (returnValue == null) {
        mavContainer.setRequestHandled(true);
        return;
    }
 
    final DeferredResult deferredResult = new DeferredResult();
    WebAsyncUtils.getAsyncManager(webRequest).startDeferredResultProcessing(deferredResult, mavContainer);
 
    @SuppressWarnings("unchecked")
    CompletionStage future = (CompletionStage) returnValue;
    future.thenAccept(new Consumer() {
        @Override
        public void accept(Object result) {
            //在一个CompletionStage完成后执行此方法,为defferedResult设值
            deferredResult.setResult(result);
        }
    });
    future.exceptionally(new Function() {
        @Override
        public Object apply(Throwable ex) {
            //在一个CompletionStage执行出错后执行此方法,为deferredResult设值
            deferredResult.setErrorResult(ex);
            return null;
        }
    });
}

以上代码的future.thenAccept与future.exceptionally只是规定了两种情况下程序接下来的运行行为,相应的代码不是立即执行,而是等到相应的行为发生了才去执行。很明显,同步式编程写流程,响应式编程似乎就是在写行为。
显然,只要熟悉了CompletionStage的api,以上的代码就绝对简单了,好了,开胃菜已上完,接下来介绍CompletionStage。
CompletionStage其实很好理解,按照官方定义,它表示一个可能异步运行的“阶段”,在该阶段内要执行相应的行为,而这些运算会在另一个CompletionStage完成后开始,它自身完成后又可触发另一个依赖的CompletionStage。

在CompletionStage中这些方法均可用来定义一个行为,行为的执行方式可参考方法名和入参,这与java8中的stream api持同样的风格。行为参数可以是Consumer,Function,Runnable。包含accept的方法,参数会有一个Consumer,它会消费上一或多个CompletionStage的结果;包含run的方法,参数会有一个Runnable,它的运行不需要前面CompletionStage的执行结果;包含apply的方法,参数会包含Function,该function一般以前一或几阶段的返回值为入参,以自身的执行结果作为当前CompletionStage的结果。
CompletionStage和实现类ComletableFuture的方法名中也会包含either/all/any等简单的单词,和上述的含义相组合,不难理解。
以以下三个接口为例说明:

1.public CompletionStage runAfterBoth(CompletionStage other,Runnable action);

接口会返回一个CompletionStage,该stage仅在当前stage和参数中的other正常完成后才会执行参数中的action。

2.public  CompletionStage applyToEitherAsync(CompletionStage other,Function fn);

接口会返回一个CompletionStage,该stage会在当前stage或参数中的other正常执行完毕后异步执行参数中的函数fn,而fn的参数就是前面执行完毕的stage的结果,fn的返回值将是被返回的stage的结果。

3.public  CompletionStage thenAcceptBothAsync(CompletionStage other,BiConsumer action, Executor executor);

接口会返回一个CompletionStage,它会在当前stage和参数中的other正常执行完毕后执行,以这两个stage的结果作为参数,在参数executor线程池中执行action函数,因为它是一个消费者,因此没有返回值。
接口的其他方法逻辑类似,不再缀述。

CompletableFuture源码

上一节简述了CompletionStage接口的函数定义,作为官方提供的实现类,CompletableFuture实现了有关的所有接口,它的作者依旧是我等膜拜的道格大神,下面来具体分析CompletableFuture的实现。

类签名:

public class CompletableFuture implements Future, CompletionStage
从签名信息来看,CompletableFuture实现了Future和CompletionStage接口,这意味着它即满足CompletableStage的阶段执行,也提供了Future中获取该执行结果的方法。

首先来看成员变量和核心函数:

volatile Object result;       // 当前对象的结果或者一个异常包装对象AltResult,关于AltResult下面再看
volatile Completion stack;    // 任务栈,Completion后面再述。
 
final boolean internalComplete(Object r) {
//使用cas原子操作,将原本为null的result置为r,所有调用者都保证r不是null,因此只有第一次才能返回true。
    return UNSAFE.compareAndSwapObject(this, RESULT, null, r);
}
 
final boolean casStack(Completion cmp, Completion val) {
//尝试用cas原子操作将当前stack的值从cmp换为val。
    return UNSAFE.compareAndSwapObject(this, STACK, cmp, val);
}
//其中STACK,RESULT就是上面stack和result的句柄,这点和其他juc中的工具惯例相同
private static final sun.misc.Unsafe UNSAFE;
private static final long RESULT;
private static final long STACK;
private static final long NEXT;
static {
    try {
        final sun.misc.Unsafe u;
        UNSAFE = u = sun.misc.Unsafe.getUnsafe();
        Class k = CompletableFuture.class;
        RESULT = u.objectFieldOffset(k.getDeclaredField("result"));
        STACK = u.objectFieldOffset(k.getDeclaredField("stack"));
        NEXT = u.objectFieldOffset
            (Completion.class.getDeclaredField("next"));
    } catch (Exception x) {
        throw new Error(x);
    }
}

stack的类型为Completion,为了方便理解,在介绍Completion类之前,先看几个声明在CompletableFuture的常量

static final int SYNC   =  0;//同步
static final int ASYNC  =  1;//异步
static final int NESTED = -1;//嵌套

再来看Completion类的结构

//继承ForkJoinTask,实现Runnable,以及签名接口AsynchronousCompletionTask
abstract static class Completion extends ForkJoinTask  implements Runnable, AsynchronousCompletionTask {
    volatile Completion next;      // 指向下一个Completion
 
    //当被触发时,执行completion动作,如果存在需要传递的行为,
    //返回一个代表该行为的CompletableFuture  
    //参数只能是上面提到的SYNC,ASYNC,NESTED,后面留意它的正负。  
    abstract CompletableFuture tryFire(int mode);
 
    //如果当前completion依旧是可触发的,则返回true,这会在清理任务栈时使用. 
    abstract boolean isLive();
    //继承自Runnable,直接调用tryFile,参数为1
    public final void run() { tryFire(ASYNC); }
    //继承自ForkJoinTask,直接调用tryFile,参数为1,返回true
    public final boolean exec() { tryFire(ASYNC); return true; }
    //继承自ForkJoinTask,直接返回null
    public final Void getRawResult() { return null; }
    //继承自ForkJoinTask,空方法。
    public final void setRawResult(Void v) {}
}

上面列举了内部类Completion的全部代码,它继承并实现了ForkJoinTask和Runnable中的抽象方法,同时声明了tryFire这个抽象方法供子类实现。因为继承了ForkJoinTask,这意味着Completion也是一个任务,且它可能在ForkJoinPool中执行。关于Completion和它的子类后面详述。先来继续看核心函数和成员实现。

/** 尝试将一个任务压栈,成功返回true */
final boolean tryPushStack(Completion c) {
    Completion h = stack;
    lazySetNext(c, h);//把当前的栈设置为c的next
    //尝试把当前栈(h)更新为新值(c)
    return UNSAFE.compareAndSwapObject(this, STACK, h, c);
}
//lazySetNext定义
static void lazySetNext(Completion c, Completion next) {
    UNSAFE.putOrderedObject(c, NEXT, next);
}

方法tryPushStack的流程很简单,先调用lazySetNext将当前栈设置为参数的next,这样达到了栈的后入为顶层的目的,然后试图将顶部元素设置为新压入栈的c。

/** 不加锁将任务压栈,使用cas加自旋的方式,这也是道格大神的经典. */
final void pushStack(Completion c) {
    do {} while (!tryPushStack(c));
}

接下来是一些对输出结果编码的代码。

//内部类,用于对null和异常进行包装,从而保证对result进行cas只有一次成功。
static final class AltResult { // See above
    final Throwable ex;        // null only for NIL
    AltResult(Throwable x) { this.ex = x; }
}
 
/** 空值用一个ex为null的AltResult表示 */
static final AltResult NIL = new AltResult(null);
 
/** 使用上面的NIL完成任务,若任务已经被完成过,返回false */
final boolean completeNull() {
    return UNSAFE.compareAndSwapObject(this, RESULT, null,
                                       NIL);
}
 
/** 对空值进行编码,使用NIL */
final Object encodeValue(T t) {
    return (t == null) ? NIL : t;
}
 
/** 使用t完成当前任务,t是null时使用NIL作为结果,否则使用t */
final boolean completeValue(T t) {
    return UNSAFE.compareAndSwapObject(this, RESULT, null,
                                       (t == null) ? NIL : t);
}
 
//对异常进行编码,返回一个AltResult,其值ex取决于参数x,
//若x为CompletionException则直接用x赋值ex,
//否则用CoimpletionException包一层。 
static AltResult encodeThrowable(Throwable x) {
    return new AltResult((x instanceof CompletionException) ? x :
                         new CompletionException(x));
}
 
/** 使用参数提供的异常的编码结果完成任务,若result已非空,返回false */
final boolean completeThrowable(Throwable x) {
    return UNSAFE.compareAndSwapObject(this, RESULT, null,
                                       encodeThrowable(x));
}
 
// 如果x非CompletionException,将它包裹成CompletionException返回。
//如果不是,则判断,若r是AltResult且其ex就是参数x的值,则将r返回。  
// 否则将x包裹成AltResult返回。
static Object encodeThrowable(Throwable x, Object r) {
    if (!(x instanceof CompletionException))
        x = new CompletionException(x);
    else if (r instanceof AltResult && x == ((AltResult)r).ex)
        return r;
    return new AltResult(x);
}
 
// 给定一个Throwble x,一个Object r,使用上面的方法编码的结果来尝试完成。  
final boolean completeThrowable(Throwable x, Object r) {
    return UNSAFE.compareAndSwapObject(this, RESULT, null,
                                       encodeThrowable(x, r));
}
 
//如果x不是null,使用上面的encodeThrowable对x编码的结果返回,否则若t是空,  
// 返回NIL,否则返回t。
Object encodeOutcome(T t, Throwable x) {
    return (x == null) ? (t == null) ? NIL : t : encodeThrowable(x);
}
 
 
static Object encodeRelay(Object r) {
    Throwable x;
    //对非空参数r进行判断。
    //若r是AltResult且具备非空的ex,且ex并不是CompletionException类型,
    //将ex包装成CompletionException,并包裹成AltResult返回。
    //其他情况直接返回r。
    return (((r instanceof AltResult) &&
             (x = ((AltResult)r).ex) != null &&
             !(x instanceof CompletionException)) ?
            new AltResult(new CompletionException(x)) : r);
}
 
 
final boolean completeRelay(Object r) {
//这段代码的逻辑和上一个方法联合去看,当前未完成的情况下,尝试使用参数r完成。
//如果r是异常,尝试将它包装成CompletionException并外包一层AltResult。
//用这个AltResult完成。
    return UNSAFE.compareAndSwapObject(this, RESULT, null,
                                       encodeRelay(r));
}

CompletableFuture本质也是一个Future,因此也会支持异步的阻塞的result获取。因为在完成这个future时,为了便于处理和维护,使用了编码的结果,固在读取结果时,也要对结果进行解码。

/**  * 供future.get()使用。  */
private static  T reportGet(Object r)
    throws InterruptedException, ExecutionException {
    if (r == null)
    //参数r代表一个CompletableFuture的result,因为它会对异常和null进行编码。
    //故null可以视为get的中间被扰动的结果。
        throw new InterruptedException();
    if (r instanceof AltResult) {
        Throwable x, cause;
        //这一段很简单,是AltResult,ex是空返回空。
        if ((x = ((AltResult)r).ex) == null)
            return null;
             
        if (x instanceof CancellationException)
        //ex是取消异常,转换后抛出。
            throw (CancellationException)x;
        if ((x instanceof CompletionException) &&
            (cause = x.getCause()) != null)
            //异常是包装异常CompletionException,取出被包装的异常抛出。
            x = cause;
        throw new ExecutionException(x);
    }
    //result不是null也不能体现异常,强转返回。
    @SuppressWarnings("unchecked") T t = (T) r;
    return t;
}
 
//reportJoin方法相对简单,因为join操作会一直等待,r能保证非空。  
//对于非AltResult类型的r直接强转返回,AltResult类型的处理与  
//reportGet类似,但是不解CompletionException,直接抛出。  
//此方法抛出的异常均不受检。 
private static  T reportJoin(Object r) {
    if (r instanceof AltResult) {
        Throwable x;
        if ((x = ((AltResult)r).ex) == null)
            return null;
        if (x instanceof CancellationException)
            throw (CancellationException)x;
        if (x instanceof CompletionException)
            throw (CompletionException)x;
        throw new CompletionException(x);
    }
    @SuppressWarnings("unchecked") T t = (T) r;
    return t;
}

相应的get和join方法实现。

public T get() throws InterruptedException, ExecutionException {
    Object r;
    return reportGet((r = result) == null ? waitingGet(true) : r);
}
public T join() {
    Object r;
    return reportJoin((r = result) == null ? waitingGet(false) : r);
}

可以看出,get和join方法分别先调用reportGet,reportJoin,若得到的空结果,会继续调用waitingGet方法,只是参数分别为true和false,waitingGet方法的实现需要先了解剩余的核心函数以及Completion子类,稍后再看。

一些与异步操作的准备:

/**  * 标识是异步方法产生的任务的接口,对于异步行为的监控,debug,追踪会很有用。  
*     在jdk8的CompletableFuture实现中,它有三个直接实现类,AsyncRun,  
*     AsyncSupply以及前面提到过的Completion。  
*/
public static interface AsynchronousCompletionTask {
}
//判断是否使用ForkJoinPool的common线程池,在ForkJoinTask中持有该线程池的引用。
//判断规则是可用cpu核数大于1.
private static final boolean useCommonPool =
    (ForkJoinPool.getCommonPoolParallelism() > 1);
 
//异步线程池,根据上述判断,决定使用commonPool还是ThreadPerTaskExecutor,  
// 后者是一个对每一个任务都新建一个线程的low逼线程池。 
private static final Executor asyncPool = useCommonPool ?
    ForkJoinPool.commonPool() : new ThreadPerTaskExecutor();
 
/** low逼线程池源码,没什么可说的 */
static final class ThreadPerTaskExecutor implements Executor {
    public void execute(Runnable r) { new Thread(r).start(); }
}
 
 
static Executor screenExecutor(Executor e) {
    if (!useCommonPool && e == ForkJoinPool.commonPool())
    //判断参数执行器(线程池的父接口,一般会传入线程池)是否需要屏蔽,
    //如果参数就是ForkJoinPool.commonPool()并且经前面的系统判断
    //useCommonPool为false,则强制使用asyncPool。
        return asyncPool;
    if (e == null) throw new NullPointerException();
//非空且通过验证,返回参数e
return e;

}

为异步做的这些准备很好理解,屏蔽不合理的线程池使用,在用户提供的线程池,commonPool和ThreadPerTaskExecutor之中择一,在后续的操作中需要使用它们。
还有两个重要的核心函数,是道格大神的神作。

final void postComplete() {
     
    CompletableFuture f = this; Completion h;//初始化f为this
    while ((h = f.stack) != null ||//1,f的栈非空
           (f != this && (h = (f = this).stack) != null)) {//2 f的栈为空且不是this,重置
        CompletableFuture d; Completion t;
        if (f.casStack(h, t = h.next)) {//3 h出栈
            if (t != null) {//4 出栈的h不是最后一个元素,最后一个元素直接执行7即可,减少一次循环cas竞态
                if (f != this) {//f不是this
                    pushStack(h);//5 将f刚出栈的h(顶)入this的栈(顶)
                    continue;
                }
                h.next = null;    //6 detach 帮助gc
            }
            //tryFire参数为NESTED,即-1,这是它唯一一次使用。
            f = (d = h.tryFire(NESTED)) == null ? this : d;//7 f栈的最后一个元素或者就是this栈中的元素
        }
    }
}

这寥寥数行代码的含金量不可小觑。它应在将要完成时调用,很明显,它会将当前CompletableFuture的栈以及传递依赖的其他CompletableFuture的栈清空。为了便于解释,在相应的代码上打出了编号,下面详细分析。

调用该方法,首先进入1,此时f是当前CompletableFuture,h是它的stack,满足不为空的判断,进入3.

到达3时,将栈顶Completion h出栈,一般除非并发多个线程对同一个CompletableFuture调用postComplete,否则一定会成功并到达4。若出现多个线程调用,cas失败,则重新循环。

到达4后,若发现f的栈已空,则直接进入7,否则判断f是否为当前CompletableFuture,若是,则进行6,取消h和t的关联,若不是则进入5,将h(f中刚刚移除的栈顶)压入当前Completable的栈并重新循环。

显然,只要处理当前CompletableFuture的栈,就一定会执行7,只要处理的是另一个CompletableFuture的栈,就会将其出栈,然后压入当前CompletableFuture的栈。

在7处,会尝试执行栈顶的Completion的tryFile方法,它会返回一个可能为null的CompletableFuture,若非空,则赋给f,否则将this赋给f。

所以这段方法的真实执行流程:当前CompletableFuture的栈中元素逐个出栈并tryFile,发现新的CompletableFuture,将它的元素反向压入本CompletableFuture的栈,压入结束后,继续对栈中元素逐个出栈并tryFire,发现非空CompletableFuture则继续上述过程。直到本CompletableFuture的栈中不再有元素(此时tryFire返回的CompletableFuture栈也是空的)为止。

膜拜道格大神的同时,顺便点一下,这似乎是一种避免递归的方式。只不过tryFire返回的CompletableFuture中的栈元素将会反向执行。

/* 遍历栈并去除死亡任务/

final void cleanStack() {
    for (Completion p = null, q = stack; q != null;) {//初始条件,q指向null时终止。
        Completion s = q.next;//循环内第一行,q永远指向栈顶,s永远指向栈顶第二个元素或者null
        if (q.isLive()) {//a只要q存活,就将p指向q,并将q指向s
            p = q;
            q = s;
        }
        else if (p == null) {//b q不存活,p是null,两种可能,从未见到存活的节点,或执行过最后的重启
            casStack(q, s);/将q出栈
            q = stack;//变量q重新指向新的栈顶。
        }
        else {
            p.next = s;//q已死亡,且当前已经找到过存活的元素。p指向q的下一个元素s,从而将q出栈
            if (p.isLive())//c判断p是否存活,而p只能是null或者最近一个存活的Completion
                q = s;//6.q前进
            else {//4
                p = null;  //d 重新将p置null并将q指向当前的栈,重启循环。
                q = stack;
            }
        }
    }
}

为了让这段代码的说明更加清晰,不妨举个简单的例子说明。

假定当前CompletableFuture的栈中有1-9个元素,其中14568在调用cleanStack方法时已死亡,在执行过程中,也出现方法执行过程中出现死亡的状态。
进入循环,p为null,q指向1,满足循环条件,开始第一轮循环。
第一轮循环进入后,s指向2,p为null,q指向1,是个死亡对象,因此在第一个判断条件a处未能通过,b判断条件为真,q被移除,循环结束,此时p为null,q指向2,栈变为2-9.
第二轮循环进入,s指向3,p为null,q指向2,是个存活对象,进入a,循环结束,p指向2,q指向3。栈依旧为2-9.
第三轮循环进入,s指向4,p为2,q指向3,是存活对象,进入a,循环结束,p指向3,q指向4,栈保持2-9不变。
第四轮循环进入,s指向5,p为3,q指向4,是个死亡对象,p非空且存活,进入c,则p保持为3,3的next指向5,q指向5.循环结束,栈变为2356789.
第五轮循环进入,s指向6,p指向3,q指向5,是个死亡对象,p非空且存活,进入c,p保持为3,3的next指向6,q指向6,循环结束,栈变为236789.
第六轮循环进入,s指向7,p指向3,q指向6,是个死亡对象,假定此时3死亡,则3的next指向7,进入d分支,p为null,q为2,栈为23789.
第七轮循环进入,s指向3,p为null,q指向2,是个存活对象,p指向2,q指向3,栈依旧为23789.
第八轮循环进入,s指向4,p指向2,q指向3,是个死亡对象,p非空且存活,进入c,则p保持为2,q指向7,3的next指向7,栈变2789.
第九轮进入,s指向8,p指向2,q指向7,是个存活对象,进入a分支,p变为7,q变为8,栈保持2789.假定此步之后2死亡,但此时p已经指向7.
第十轮进入,s指向9,p指向7,q指向8,是个死亡对象,p当前指向7且存活,所以尽管2不存活,仍旧进入分支c,p保持为7,q指向9,7的next指向9.栈为279.
第十一轮,s为null,p指向7,q指向9,是个存活对象,则进入a分支,p变为9,q变为null,栈保持279.
因q为null,循环终止。栈经过清理只剩下279三个元素,其中2因为巧合而死亡且未被清理。

下面回到Completion,Completion是一个抽象类,前面已经简单展示它的源码,它的子类如下:


可以看到有三个直接子类,CoCompletion,Signaller和UniCompletion。UniCompletion又有若干子类,它们分别作为一些CompletionStage中声明方法的实现工具,很明显,道格大神在此处大量使用了策略模式。
先来简单看一下CoCompletion的实现:

static final class CoCompletion extends Completion {
    //CoCompletion完全委托给base执行。
    BiCompletion base;
    CoCompletion(BiCompletion base) { this.base = base; }
    final CompletableFuture tryFire(int mode) {
        BiCompletion c; CompletableFuture d;
        if ((c = base) == null || (d = c.tryFire(mode)) == null)
            //base未指定,或base的tryFire返回null,则返回null。
            return null;
        base = null; // 解除关联,再isLive判断为死亡。
        //返回的d就是base的tryFire返回的非空CompletableFuture
        return d;
    }
    final boolean isLive() {
        BiCompletion c;
        //存活标准,base非空且base的dep非空。
        return (c = base) != null && c.dep != null;
    }
}

CoCompletion虽然是Completion的直接子类,但它依赖了BiCompletion,且BiCompletion是UniCompletion的直接子类,先来看UniCompletion.

abstract static class UniCompletion extends Completion {
    Executor executor;//用来执行任务的执行器                
    CompletableFuture dep; //要完成的依赖CompletableFuture
    CompletableFuture src; //作为行为源的CompletableFuture
 
    UniCompletion(Executor executor, CompletableFuture dep,
                  CompletableFuture src) {
        this.executor = executor; this.dep = dep; this.src = src;
    }
 
     
    final boolean claim() {
        Executor e = executor;
        if (compareAndSetForkJoinTaskTag((short)0, (short)1)) {//1
            //compareAndSetForkJoinTaskTag是ForkJoinTask的方法,利用cas,保证任何一种情况下,该行为只能执行一次。
            if (e == null)
                //不精确的说法是同步调用返回true,异步调用返回false,然后在线程池中执行。
                //有e代表要在执行器中执行,尽管大多数情况下e都是线程池实例,会异步运行任务。但对于Executor来说,完全可以实现在同一个线程执行。
                return true;//2.
            //对于3这行代码,道格大神注释就写了个disable,为此我翻了大量代码,发现根本过不了上面cas这一关,所以个人有两个理解:
            //1.对于当前Completion而言,它的线程池只能用来做一次事,在claim之后立即置空,尽管此时还没有执行action,也不允许当前Completion使用它做别的事了。
            //2.减少了一个指向该线程池的引用,线程池也有被gc的时候吧。就算不gc,关闭虚拟机或者dump的时候也能少做点事。
            executor = null; // 3.
            e.execute(this);//使用该线程池异步执行,回忆上面Completion的声明,它实现了runnable,在run方法中tryFire(ASYNC),参数ASYNC是正数。
        }
        return false;
    }
 
    final boolean isLive() { return dep != null; }
}

尽管UniCompletion本身代码不多,但是有关代码却很绕,后面会从CompletableFuture调用开始说明一个完整的工作流,作者本来有几次都已经十分艰难的“确定发现问题”,写出了“问题”,但最终还是在描述过程中启动大脑自我否定,不得不佩服道格大神强大的逻辑和大脑。

很明显,UniCompletion是一个可以拥有执行器的Completion,它是两个操作的结合,dep为要最终执行的依赖操作,src为来源CompletableFuture,tryFire没有默认实现,它的子类分别根据不同情况实现了该方法,实现的方式依旧是优雅的策略模式。

claim方法要在执行action前调用,若claim方法返回false,则不能调用action,原则上要保证action只执行一次。

claim的意思是声称,开个玩笑,在美剧行尸走肉第四季,有一伙武装分子解决为了解决内部分配问题的提出了一个办法,对任何事物只看谁先喊一句”claimed“,代表”我要了“。调用claim方法和稍后运行action的动作发生在一个线程,因此需要该线程尝试去claim这个action,claim成功则执行,claim不成功则不执行。

但在提供Executor的前提下,claim除了声明以外,还会直接在方法内使用该executor执行tryFire,间接地执行action,并返回false,避免调用者也执行action,因为有cas的效果,多次claim只有第一次可能返回true。

接下来看BiCompletion,它也是一个抽象类,不同在于它有两个源,也就是它的成员dep要等到另外两个成员CompletableFuture(src,snd)完成,具体的依赖关系要看子类实现。

abstract static class BiCompletion extends UniCompletion {
    CompletableFuture snd; // 第二个源action
    BiCompletion(Executor executor, CompletableFuture dep,
                 CompletableFuture src, CompletableFuture snd) {
        super(executor, dep, src); this.snd = snd;
    }
}

BiCompletion有多个实现类,看名称可以看到Apply,Accept,Run等字眼,前面已经讨论过相应的语义。

以OrApply为例

static final class OrApply extends BiCompletion {
    Function fn;
    OrApply(Executor executor, CompletableFuture dep,
            CompletableFuture src,
            CompletableFuture snd,
            Function fn) {
        //构造函数,多传一个函数,该函数就是dep对应的action。
        super(executor, dep, src, snd); this.fn = fn;
    }
    //tryFire父类没有实现
    final CompletableFuture tryFire(int mode) {
        CompletableFuture d;
        CompletableFuture a;
        CompletableFuture b;
        if ((d = dep) == null ||//没有dep,则没有相应的依赖行为,已经执行过的dep会是null。
            //执行orApply返回false,则返回null。最后一个参数仅当mode是ASYNC(只有它大于1)时会是this
            !d.orApply(a = src, b = snd, fn, mode > 0 ? null : this))
            //到此可能是运行过,或者不满执行fn的条件,返回null。
            return null;
        //前面dep不是null,执行orApply也成功了,则解除引用关联,下次运行会直接返回null,也不影响gc。
        //回忆前面看过的核心函数postComplete,会对CompletableFuture中栈上的所有Completion进行tryFire,
        //返回非null则进行类似递归的操作,很明显,在调用postComplete
        //方法时,dep为null会返回一个null,避免了再次tryFire。
        dep = null; src = null; snd = null; fn = null;
        //正常运行结束,调用dep的postFire并返回。
        return d.postFire(a, b, mode);
    }
}

orApply方法定义在CompletionFuture。前面没有叙述。它不是作者称为的”核心函数“(即各种Completion都能使用到)。

final  boolean orApply(CompletableFuture a,
                                      CompletableFuture b,
                                      Function f,
                                      OrApply c) {
    Object r; Throwable x;
    if (a == null || b == null ||
        //为r赋值用于后续的计算,因为是or,r优先取第一个,第一个源action未完成的情况下再取第二个。
        ((r = a.result) == null && (r = b.result) == null) || f == null)
        //首先检测两个源action,若a和b均未完成,则说明依赖dep不可被执行,返回false。
        return false;
    //仅当当前(dep)未完成(result为null)时,可进行完成工作。
    tryComplete: if (result == null) {
        try {
            //前面说过,c不为null说明是异步执行,需要先去尝试claim这个action。
            if (c != null && !c.claim())
                //异步且claim不成功,返回false。
                return false;
            if (r instanceof AltResult) {
                if ((x = ((AltResult)r).ex) != null) {
                    //如果r表示异常,调用completeThrowable核心函数并结束代码块,直接返回true。
                    completeThrowable(x, r);
                    break tryComplete;
                }
                //第一个非空的action(a或b)结果代表异常,但ex是null,则将r置为null并返回true。
                r = null;
            }
            //r不代表异常结果,直接强转,用该结果作为action的参数,执行action,用结果作为当前的result。出现异常则进入catch块。
            @SuppressWarnings("unchecked") R rr = (R) r;
            completeValue(f.apply(rr));
        } catch (Throwable ex) {
            //上述代码出现异常,调用completeThrowable完成dep(this)
            completeThrowable(ex);
        }
    }
    return true;
}

正常运行结束还会调用dep的postFire,它也位于CompletableFuture中,但它只供 BiCompletion在tryFire成功之后才可使用,该方法源码如下:

final CompletableFuture postFire(CompletableFuture a,
                                    CompletableFuture b, int mode) {
    //对于ab两个源,先处理b,后处理a
    if (b != null && b.stack != null) {
        //b存在且b的栈还有元素
        if (mode < 0 || b.result == null)
            //当为NESTED(只有它的值是-1)时,或者b没有结果时,对b进行清栈。调用postFire意味着d执行tryFire成功,
            //即d获得了结果,而这前提是ab之一已执行成功(orApply的含义),所以ab可能是其一完成。
            b.cleanStack();
        else
            //非NESTED,则对b进行postComplete,该方法内部又会对b的栈上的每一个Completion执行tryFire,而且用NESTED模式。
            b.postComplete();
    }
    //接下来对a直接进行postFire,并沿用mode。
    return postFire(a, mode);
}

对a进行postComplete的方法如下:

final CompletableFuture postFire(CompletableFuture a, int mode) {
    if (a != null && a.stack != null) {
        //栈非空
        if (mode < 0 || a.result == null)
        //类似上面的逻辑,是NESTED模式时或者a未完成时,对a进行清栈,否则对a执行postComplete.
            a.cleanStack();
        else
            a.postComplete();
    }
    //处理a之后,处理当前(即dep)
    if (result != null && stack != null) {
        //有结果且栈非空
        if (mode < 0)
            //NESTED模式,直接返回this。
            return this;
        else
            //非NESTED模式,执行postComplete,其中会对d的栈中所有Completion进行tryFire(NESTED),
            //并在每一个tryFire返回的CompletableFuture逆栈执行同一样操作,参见上面的源码。
            postComplete();
    }
    return null;
}

以上是全部与OrApply的实现有关的源码,下面来看一看OrApply的应用,再简单梳理一下流程。

在CompletableFuture中有三个有关的方法:

可以看到三个方法的签名和调用信息,这三个方法均是实现自CompletionStage。关于方法的字意和大致逻辑的推测方法前面已分析。

public  CompletableFuture applyToEither(
    CompletionStage other, Function fn) {
    //直接调用orApplyStage,不指定线程池。
    return orApplyStage(null, other, fn);
}
 
public  CompletableFuture applyToEitherAsync(
    CompletionStage other, Function fn) {
    //调用orApplyStage方法,外部不提供线程池,使用asyncPool,关于asyncPool前面已分析。
    return orApplyStage(asyncPool, other, fn);
}
 
public  CompletableFuture applyToEitherAsync(
    CompletionStage other, Function fn,
    Executor executor) {
    //调用orApplyStage方法,但对外面传入的线程池进行屏蔽,条件符合则使用,不符合则更换,屏蔽原则前面已分析。
    return orApplyStage(screenExecutor(executor), other, fn);
}

可见三个方法均使用了orApplyStage方法,只是在参数上有所不同。再来看orApplyStage方法。

private  CompletableFuture orApplyStage(
    Executor e, CompletionStage o,
    Function f) {
    CompletableFuture b;
    if (f == null || (b = o.toCompletableFuture()) == null)
        //要执行的函数未提供,或者参数o转换的CompletableFuture也是null,则抛出空指针。
        throw new NullPointerException();
    //新建了一个dep,后面将它返回,故直接调用实现自CompletionStage的方法不用考虑返回空的问题,可以链式调用。
    CompletableFuture d = new CompletableFuture();
    //如果指定了线程池,直接进入if。未指定线程池,首先尝试调用orApply方法,并以this和b作参数。
    //前面分析过,若条件满足,即this和b有一个是完成态,则会立即执行f,结果或异常作为d的结果。
    //d.orApply的最后一个参数是null(c),说明是同步操作,不会进行c.claim操作。
    if (e != null || !d.orApply(this, b, f, null)) {
        //指定了线程池,或者尝试d.orApply条件不满足,转为异步。
        //构建OrApply对象压入Completion栈。
        OrApply c = new OrApply(e, d, this, b, f);
        orpush(b, c);
        //压栈后再次尝试同步调用一次tryFire,前面分析过,tryFire成功会最终调用相应的cleanStack,postComplete等操作,
        //将死亡的Completion(各子类有不同的判定,CoCompletion判定base是null,有些判断dep是null,而完成一般会把dep置null)
        //从栈上移除。
        c.tryFire(SYNC);
    }
    return d;
}
 
 
public CompletableFuture toCompletableFuture() {
    //直接返回this
    return this;
}
final void orpush(CompletableFuture b, BiCompletion c) {
    if (c != null) {
        //循环条件,b不存在或未完成且同时当前CompletableFuture未完成。有任何一个完成则终止,若无完成,则执行下面的代码将任务入this和b的栈。
        while ((b == null || b.result == null) && result == null) {
            //将c压入当前CompletableFuture栈并退出循环。
            if (tryPushStack(c)) {
                if (b != null && b != this && b.result == null) {
                    //存在b,b不是当前,b未完成时。尝试将c封装成CoCompletion并压入b的栈,前面说过
                    //这个压入b栈的q完全依赖于c,并使用c的运行结果。
                    Completion q = new CoCompletion(c);
                    //内循环,参数外循环说明。
                    while (result == null && b.result == null &&
                           !b.tryPushStack(q))
                        lazySetNext(q, null); // clear on failure
                }
                break;
            }
            //到此说明c压入当前栈失败,则将c的next恢复为null。
            lazySetNext(c, null); // clear on failure
        }
    }
}

简单梳理OrApply这一条线的流程,其他线逻辑类似。

当使用Completable的applyToEitherAsync/applyToEither时,将进入这一条线的代码执行,CompletableFuture在初步验参后,会封装一个d用于表示结果的CompletableFuture,稍后将会用它作为返回值。随后根据入参不同而进入不停的逻辑。

同步的情况,即未提供Executor,首先就尝试调用它的d.uniApply方法,若此时当前CompletableFuture或参数中的另一个stage已完成,则用完成的结果直接执行用户指定的action并对d的结果进行赋值,并进一步完成d的后续清栈和postComplete(1);若此时当前的Completable或另一个stage未完成,则不满足执行action的条件,将当前Completable作为第一个source,另一个stage作为第二个source,封装成一个OrApply并压当前CompletableFuture和另一个stage的栈(2),随后立即以同步方式调用它的tryFire(1)。

异步的情况,直接封装OrApply对象,将由线程池间接调用tryFire(3),进一步调用orApply方法,因为是异步,即使满足了前面的条件(ab之一正常或异常完成),依旧需要进行claim,claim失败则不会执行action。claim成功,执行action出现异常,则用异常来完成这个action。

以上三种情况最终都会执行action,标注了(1)和(3)是很明确的两种情况。

任何一个CompletableFuture完成后,都会根据mode进行后续处理,其实尽管每个Completion都具备一个next指针,但每一个Completion的完成均不依赖于栈中的其他Completion,仅在cleanStack,压栈,postComplete使用了该栈的结构。现在来回答前面分析时发现的两个问题。

1.当前CompletableFuture在完成后,执行postComplete,会将它自身的栈中completion出栈并执行action,若要产生新的CompletableFuture,则将它的栈反向压入自身的栈,然后重复执行出栈-执行的操作。反向压栈有问题吗?答案是没有。因为栈中的每一个Completion在执行上互不影响,它们的顺序只影响到cleanStack和postComplete的处理顺序。CompletableFuture和它的栈元素产生的CompletableFuture彼此间有顺序要求,但对同一个CompletableFuture的栈内的Completion元素彼此间没有顺序要求,决定他们顺序的是对源CompletionFuture调用orApply,thenApply等等方法的顺序,后续运行也完全独立。只不过在源CompletableFuture进行postComplete时,执行的顺序将会与原本的”先来后到“相反。

2.cleanStack到一半,p指向的Completion依旧存活,位于p以上的Completion已执行完毕,那么不会重新开始循环,p之前的死亡Completion会留在栈中。这也是为什么前面使用OrApply来解释这个问题的原因,因为很可能就不存在这个问题。根据前面的源码,仅有postComplete触发的tryFire会使用NESTED(-1)模式,只有NESTED模式下,或者源CompletableFuture的result为null(未完成)的情况下执行postFire才会进入到cleanStack,否则会进入postComplete,后者会将所有元素出栈并执行存活元素,显然不存在要考虑存活的问题。而只有or且为BiCompletion的情况下,才可能出现两个源之一实际并未完成,这样在非NESTED模式下调用cleanStack方法。

可见2的问题是存在的。但它对于整体的运行结果是无影响的,后续该source执行完毕,调用自身的postComplete时,将已死亡的Completion出栈并tryFire,会发现诸如”dep=null"等情况,直接返回null,则postComplete方法中的f会保持指向this并继续迭代下一个栈元素。

目前关于2中提到的cleanStack的调用只出现在UniCompletion成功后调用postFire时依赖模式和result运行。其实还有一种情况,就是前面提了一次的,属于future接口的get方法,以及类似的join方法。

前面提到,get和join方法都会在获取不到结果是按条件轮循watingGet方法,下面来看waitingGet方法。

private Object waitingGet(boolean interruptible) {
    Signaller q = null;//信号器
    boolean queued = false;//是否入队
    int spins = -1;//自旋次数
    Object r;//结果引用
    //循环条件是只等待result,内部有根据扰动决定的break
    while ((r = result) == null) {
        //自旋次数只有第一次进来是负值,后续只能是0或其他正数。
        if (spins < 0)
        //自旋次数,多处理器下初始化为16,否则为0,即不自旋。设置值后此次循环结束。
            spins = (Runtime.getRuntime().availableProcessors() > 1) ?
                1 << 8 : 0;
        //第二次循环时才会判断自旋次数。只要spins大于0就继续循环,直到达到0为止再执行下面的else代码。
        else if (spins > 0) {
            //仅当下一个种子数不小于0时,减小一次自旋次数。nextSecondarySeed是Thread类中使用@Contended注解标识的变量,
            //这与传说中的伪共享有关。
            if (ThreadLocalRandom.nextSecondarySeed() >= 0)
                --spins;
        }
        //停止自旋后的第一轮循环,result依旧是null,则对q进行初始化,关于Signaller后续再讲。
        else if (q == null)
            q = new Signaller(interruptible, 0L, 0L);
        //初始化q后的下一轮循环(停止自旋后的第二轮),queued是false,将上一轮循环初始化的q压入栈。
        else if (!queued)
            queued = tryPushStack(q);
        //停止自旋后的若干次循环(上一步可能压栈失败,则下一轮自旋会再次压栈,直到成功)后,判断是否可扰动。
        else if (interruptible && q.interruptControl < 0) {
            //扰动信号匹配,将q的有关字段全部置空,顺带清一下栈,返回null。
            q.thread = null;
            //这个清栈的过程,细看上面的解释还有有关的源码,可能会发出一个疑问,cleanStack只能清除isLive判断false的Completion,
            //但目前的实现,基本上都只能在dep为null,base为null等仅当dep执行完成的情况发生,而dep完成的情况是当前CompletableFuture的
            //result不是null,而方法运行到此,很明显result必然是null,那么还有必要清栈吗?
            //答案是必要的,首先将来也许能出现存活或死亡状态与source的result无关的Completion,那么此处清一下栈也是帮助后面的工作。
            //其次,刚才压入栈的q在thread指向null时即已死亡,它也必须要进行清除。
            cleanStack();
            return null;
        }
        else if (q.thread != null && result == null) {
            //q关联的线程存在,即q存活,且依旧没有执行完毕,使用ForkJoinPool的阻塞管理机制,q的策略进行阻塞。
            try {
                ForkJoinPool.managedBlock(q);
            } catch (InterruptedException ie) {
                //阻塞是可以扰动的,此时会将q的扰动控制信号设置为-1,则下一次循环时将可能进入上一个else if。
                q.interruptControl = -1;
            }
        }
    }
    //前面的循环没有break,能执行到此,只有result获得非null值的情况。
    if (q != null) {
        //若q不是null,说明没有在自旋阶段获取到result,需要对它进行禁用。
        q.thread = null;
        if (q.interruptControl < 0) {
            if (interruptible)
                //可扰动且有扰动信号,则说明扰动后未能进入上面带有cleanStack的那个else if,
                //可能是恰好在这次循环开始时获取到了非空result,从而退出循环,也可能是参数interruptible为假,
                //在外部扰动了当前线程后,依旧等到了result。
                //只要发生了扰动,就将结果置null,外面调用者如果是join,可以报出扰动。
                r = null; // report interruption
            else
                //如果不可扰动,则中断当前线程(创建q的线程)。
                Thread.currentThread().interrupt();
        }
    }
    //当前future已经有结果,进行postComplete逻辑并返回r。
    postComplete();
    return r;
}

根据该方法的注释,waitingGet方法只会有两个结果,null(可扰动并且扰动了)和原始的result。而get方法可扰动,也即可返回null,join方法不可扰动,只能等待结束或抛出异常。

waitingGet方法中出现了第三个也是最后一个Completion的直接子类Signaller,前面没有对它进行介绍,不过它也只使用在此处,因此可以一并介绍。

static final class Signaller extends Completion
    implements ForkJoinPool.ManagedBlocker {
    long nanos;                    // 计时的情况下,要等待的时间。
    final long deadline;           // 计时的情况下指定不为0的值
    volatile int interruptControl; // 大于0代表可扰动,小于0代表已扰动。
    volatile Thread thread;//持有的线程
 
    Signaller(boolean interruptible, long nanos, long deadline) {
        this.thread = Thread.currentThread();
        this.interruptControl = interruptible ? 1 : 0;//不可扰动,赋0
        this.nanos = nanos;
        this.deadline = deadline;
    }
    final CompletableFuture tryFire(int ignore) {//ignore无用
        Thread w; //Signaller自持有创建者线程,tryFire只是单纯唤醒创建它的线程。
        if ((w = thread) != null) {
            thread = null;//释放引用
            LockSupport.unpark(w);//解除停顿。
        }
        //返回null,当action已执行并进行postComlete调用时,f依旧指向当前CompletableFuture引用并解除停顿。
        return null;
    }
    public boolean isReleasable() {
        //线程是空,允许释放。这可能是某一次调用本方法或tryFire方法造成。
        if (thread == null)
            return true;
        if (Thread.interrupted()) {
            //如果调用isReleasable方法的线程被扰动了,则置扰动信号为-1
            int i = interruptControl;
            interruptControl = -1;
            if (i > 0)
            //原扰动信号是”可扰动“,则是本次调用置为”已扰动“,返回true。
                return true;
        }
        //未定时(deadline是0)的情况只能在上面释放,定时的情况,本次计算nanos(deadline-System.nanoTime())
        //或上次计算的nanos不大于0时,说明可以释放。
        if (deadline != 0L &&
            (nanos <= 0L || (nanos = deadline - System.nanoTime()) <= 0L)) {
            //只要可释放,将创建者线程的引用释放。下次调用直接返回true,线程运行结束销毁后可被gc回收。
            thread = null;
            return true;
        }
        //仍持有创建者线程,调用此方法的线程未扰动或当前扰动不是第一次,未定时或不满足定时设置的一律返回false。
        return false;
    }
    public boolean block() {
        //block方法
        if (isReleasable())
            //判断可释放,直接return true。
            return true;
        //判断deadline是0,说明不计时,默认park。
        else if (deadline == 0L)
            LockSupport.park(this);
        else if (nanos > 0L)
            //计时情况,park指定nanos。
            LockSupport.parkNanos(this, nanos);
        //睡醒后再次返回isReleasable的结果。
        return isReleasable();
    }
    //创建者线程引用被释放即代表死亡。
    final boolean isLive() { return thread != null; }
}

Signaller是一个Completion的直接子类,同时实现了ForkJoinPool的内部接口ManagedBlocker,这使得它可以在当ForkJoinPool出现大量线程阻塞堆积时避免饥饿。
Signaller的作用是持有和释放一个线程,并提供相应的阻塞策略。
前面提到的waitingGet方法创建了一个Signaller(interruptible, 0L, 0L),类似的,可以看到timedGet方法使用Signaller(true, nanos, d == 0L ? 1L : d)来进行阻塞的管理,管理的方法依赖ForkJoinPool内部的

ForkJoinPool.managedBlock(q)来实现,而这用到了被Signaller实现的ForkJoinPool.ManagedBlocker,managedBlock方法源码如下。

//ForkJoinPool的managedBlock方法。
public static void managedBlock(ManagedBlocker blocker)
    throws InterruptedException {
    ForkJoinPool p;
    ForkJoinWorkerThread wt;
    Thread t = Thread.currentThread();//调用此方法的线程,即前面的Signaller的创建者线程。
    if ((t instanceof ForkJoinWorkerThread) &&
        (p = (wt = (ForkJoinWorkerThread)t).pool) != null) {
        //调用managedBlock方法的线程是ForkJoinWorkerThread,则它可运行在ForkJoinPool中。此处要求内部持有pool的引用。
        WorkQueue w = wt.workQueue;
        //循环,只要判断blocker(即Signaller)不可释放。
        while (!blocker.isReleasable()) {
            //尝试用ForkJoinPool对当前线程的工作队列进行补偿。
            //tryCompensate方法会尝试减少活跃数并可能创建或释放一个准备阻塞的worker线程,
            //它会在发生竞态,脏数据,松弛或池终止时返回false。
            //关于ForkJoinPool的详情多带带准备文章。
            if (p.tryCompensate(w)) {
                 
                try {
                    //补偿成功,不停地对线程池尝试先isReleasable再block,任何一个方法返回true则终止循环。
                    do {} while (!blocker.isReleasable() &&
                                 !blocker.block());
                } finally {
                    //出现任何异常,或循环终止时,控制信号加上一个活跃数单元,因为前面通过补偿才会进入循环,已减少了一个单元。
                    U.getAndAddLong(p, CTL, AC_UNIT);
                }
                break;
            }
        }
    }
    else {
        //当前线程不是ForkJoinWorkerThread或不持有ForkJoinPool的引用。连续先尝试isReleasable再尝试block,直到有一者返回true为止。
        do {} while (!blocker.isReleasable() &&
                     !blocker.block());
    }
}

关于ForkJoinPool本文不做额外介绍,只列举这一个方法,到此为止,对于CompletableFuture的主要接口(继承自CompletionStage)和实现已经描述完毕(其实只过了一个特殊案例的接口,但是前面提到过,其他接口的逻辑和实现方式类似,无非就是run,active,apply的更换,或either,both,then,when等,有上面的基础,再凭借规则推测语义,源码并不难理解。

CompletableFuture还有一些独立声明的公有方法,源码也有些非常值得借鉴的地方,如allOf,anyOf两个方法。

//anyOf方法,返回一个CompletableFuture对象,任何一个cfs列表中的成员进入完成态(正常完成或异常),则它也一并完成,结果一致。
public static CompletableFuture anyOf(CompletableFuture... cfs) {
    //直接调用orTree
    return orTree(cfs, 0, cfs.length - 1);
}
//allOf方法,当所有cfs列表中的成员进入完成态后完成(使用空结果),或有任何一个列表成员异常完成时完成(使用同一个异常)。
public static CompletableFuture allOf(CompletableFuture... cfs) {
    //直接调用andTree
    return andTree(cfs, 0, cfs.length - 1);
}
static CompletableFuture andTree(CompletableFuture[] cfs,
                                       int lo, int hi) {
    //声明一个后续返回的dep
    CompletableFuture d = new CompletableFuture();
    if (lo > hi) //验参
        d.result = NIL;
    else {
        CompletableFuture a, b;
        //折半验证参数并归并。每相邻的两个成员会在一个递归中生成另一个"d",
        //总量奇数的最后一个多带带表示这个d。
        int mid = (lo + hi) >>> 1;
        if ((a = (lo == mid ? cfs[lo] :
                  andTree(cfs, lo, mid))) == null ||
            (b = (lo == hi ? a : (hi == mid+1) ? cfs[hi] :
                  andTree(cfs, mid+1, hi)))  == null)
            throw new NullPointerException();
        //调用d.biRelay的中继方法尝试完成。
        if (!d.biRelay(a, b)) {
            //不满足完成条件,生成一个中继并压栈,再次尝试同步完成。若不满足条件,ab任何一个完成后都会再间接调用它的tryFire。
            BiRelay c = new BiRelay<>(d, a, b);
            a.bipush(b, c);//除非ab均完成,否则bipush要进ab两者的栈。
            c.tryFire(SYNC);
        }
    }
    return d;
}
//biRelay方法,有前面的基础,很简单,只要ab之一任何一个未完成则返回false,都完成且dep未完成则进入相应的正常异常完成策略,
//不论dep是否已完成,只要ab均已完成,则返回true
boolean biRelay(CompletableFuture a, CompletableFuture b) {
    Object r, s; Throwable x;
    if (a == null || (r = a.result) == null ||
        b == null || (s = b.result) == null)
        return false;
    //biRelay是尝试根据两个CompletableFuture完成dep,因为三个complete*方法均已做到原子性,也没有action要执行,因此它不需要claim。
    if (result == null) {
        if (r instanceof AltResult && (x = ((AltResult)r).ex) != null)
            completeThrowable(x, r);
        else if (s instanceof AltResult && (x = ((AltResult)s).ex) != null)
            completeThrowable(x, s);
        else
            //正常情况,用null完成。
            completeNull();
    }
    return true;
}
 
 
//压入栈的BiRelay
static final class BiRelay extends BiCompletion { // for And
    BiRelay(CompletableFuture dep,
            CompletableFuture src,
            CompletableFuture snd) {
        super(null, dep, src, snd);
    }
    final CompletableFuture tryFire(int mode) {
        CompletableFuture d;
        CompletableFuture a;
        CompletableFuture b;
        if ((d = dep) == null || !d.biRelay(a = src, b = snd))
            //已经完成过,或者未完成,本次也不能完成,返回一个null
            return null;
        //BiRelay通过BiCompletion间接继承了UniCompletion,因此dep取null代表死亡。
        //这样也能规避错误的tryFire,如当它已被完成,持有的dep引用置null,当d进行postFire的postComplete时会保持f=this并持续出栈
        //dep未完成时清栈也能有效移除已完成的任务。
        src = null; snd = null; dep = null;
        return d.postFire(a, b, mode);
    }
}
//orTree类似上面的andTree,有一个完成或异常,就用它的结果或异常作为返回的CompletableFuture的结果或异常。
static CompletableFuture orTree(CompletableFuture[] cfs,
                                        int lo, int hi) {
    CompletableFuture d = new CompletableFuture();
    if (lo <= hi) {
        CompletableFuture a, b;
        int mid = (lo + hi) >>> 1;
        //同上
        if ((a = (lo == mid ? cfs[lo] :
                  orTree(cfs, lo, mid))) == null ||
            (b = (lo == hi ? a : (hi == mid+1) ? cfs[hi] :
                  orTree(cfs, mid+1, hi)))  == null)
            throw new NullPointerException();
        //同上,下面简述orRelay和OrRelay
        if (!d.orRelay(a, b)) {
            OrRelay c = new OrRelay<>(d, a, b);
            //除非ab任何一个已完成,否则orpush要进栈,且只进一个栈。
            a.orpush(b, c);
            c.tryFire(SYNC);
        }
    }
    return d;
}
//很明显,orRelay就是两个CompletableFuture的或关系中继者。
final boolean o           
               
                                           
                       
                 
            
                     
             
               

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/77760.html

相关文章

  • ForkJoin框架ForkJoinTask

    摘要:前言在前面的文章和响应式编程中提到了和后者毫无疑问是一个线程池前者则是一个类似经典定义的概念官方有一个非常无语的解释就是运行在的一个任务抽象就是运行的线程池框架包含和若干的子类它的核心在于分治和工作窍取最大程度利用线程池中的工作线程避免忙的 前言 在前面的文章CompletableFuture和响应式编程中提到了ForkJoinTask和ForkJoinPool,后者毫无疑问是一个线程...

    crossoverJie 评论0 收藏0
  • Java SDK 并发包全面总结

    摘要:一和并发包中的和主要解决的是线程的互斥和同步问题,这两者的配合使用,相当于的使用。写锁与读锁之间互斥,一个线程在写时,不允许读操作。的注意事项不支持重入,即不可反复获取同一把锁。没有返回值,也就是说无法获取执行结果。 一、Lock 和 Condition Java 并发包中的 Lock 和 Condition 主要解决的是线程的互斥和同步问题,这两者的配合使用,相当于 synchron...

    luckyyulin 评论0 收藏0
  • ForkJoin框架ForkJoinPool

    摘要:前言在前面的三篇文章中先后介绍了框架的任务组件体系体系源码并简单介绍了目前的并行流应用场景框架本质上是对的扩展它依旧支持经典的使用方式即任务池的配合向池中提交任务并异步地等待结果毫无疑问前面的文章已经解释了框架的新颖性初步了解了工作窃取 前言 在前面的三篇文章中先后介绍了ForkJoin框架的任务组件(ForkJoinTask体系,CountedCompleter体系)源码,并简单介绍...

    mayaohua 评论0 收藏0
  • ForkJoin框架CountedCompleter,工作线程及并行流

    摘要:前言在前面的文章框架之中梳理了框架的简要运行格架和异常处理流程显然要理解框架的调度包含工作窃取等思想需要去中了解而对于的拓展和使用则需要了解它的一些子类前文中偶尔会提到的一个子类直译为计数的完成器前文也说过的并行流其实就是基于了框架实现因此 前言 在前面的文章ForkJoin框架之ForkJoinTask中梳理了ForkJoin框架的简要运行格架和异常处理流程,显然要理解ForkJoi...

    msup 评论0 收藏0
  • Java8的CompletableFuture进阶

    摘要:方法接收的是的实例,但是它没有返回值方法是函数式接口,无参数,会返回一个结果这两个方法是的升级,表示让任务在指定的线程池中执行,不指定的话,通常任务是在线程池中执行的。该的接口是在线程使用旧的接口,它不允许返回值。 简介 作为Java 8 Concurrency API改进而引入,本文是CompletableFuture类的功能和用例的介绍。同时在Java 9 也有对Completab...

    SunZhaopeng 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<