分布式程序员必读：你与分布式和事务真的很熟吗？

zookeeper-node: 
var timer =  
new timer() 
.setInterval(10sec) 
.onTime(slave-nodes,function(slave-nodes){ 
    slave-nodes.forEach( node -> { 
        boolean isAlive = node.heartbeatACK(15sec); 
        if(!isAlive) { 
            node.numNotAlive += 1; 
            if(node.numNotAlive >= 3) { 
                node.declareDeadOrFailed(); 
                slave-nodes.remove(node); 
                 
                //回调也可 leader-node-app.notifyNodeDeadOrFailed(node) 
                 
            } 
        }else  
        node.numNotAlive = 0; 
    }); 
}); 
 
timer.run(); 
 
//你可以回调也可以像下面这样简单的计时判断 
leader-node-app: 
var timer =  
new timer() 
.setInterval(10sec) 
.onTime(slave-nodes,function(slave-nodes){ 
    slave-nodes.forEach(node -> { 
        if(node.isDeadOrFailed) { 
 
        //node不能和zookeeper喊话了 
             
        } 
    }); 
}); 
 
timer.run(); 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.

// 1. 先考虑messages 
// 2. 再考虑log的postion或者offset 
// 3. 考虑msg和off都记录在同源数据库或者存储设备上.(database or storage-device.) 
var timer =  
new timer() 
.setInterval(10sec) 
.onTime(slave-nodes,function(nodes){ 
    var core-of-cpu = 8; 
    //嫌慢就并发呗 mod hash go! 
    nodes.groupParallel(core-of-cpu) 
    .forEach(node -> { 
        boolean nodeSucked = false; 
 
        if(node.ackTimeDiff > 30sec) { 
            //30秒内没有回复，node卡住了 
            nodeSucked = true; 
        } 
        if(node.logOffsetDiff > 100) { 
            //node复制跟不上了，差距超过100条数据 
            nodeSucked = true; 
        } 
 
        if(nodeSucked) { 
            //总之node“死”掉了，其实到底死没死，谁知道呢？network-error在分布式系统中或者节点失败这个事情是正常现象. 
            node.declareDeadOrFailed(); 
            //不和你玩啦，集群不要你了 
            nodes.remove(node); 
            //该怎么处理呢，抛个事件吧. 
            fire-event-NodeDeadOrFailed(node); 
        } 
    }); 
}); 
 
timer.run(); 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.

/** --------------------------------- 
* 1. 求出转发微博(url)的大V.  
* __________________________________*/ 
 
方法 ：getUrlToTweetersMap(String url_id) 
 
SQL ： /* 数据库A，表url_user存储了转发某url的user */ 
SELECT url_user.user_id as tweeter_id 
FROM url_user 
WHERE url_user.url_id = ${url_id} 
 
返回 ：[user_1,...,user_m] 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

/** --------------------------------- 
* 2. 求出大V的粉丝  
* __________________________________*/ 
 
方法 : getFollowers(String tweeter_id); 
 
SQL :   /* 数据库B */ 
SELECT users.id as user_id 
FROM users 
WHERE users.followee_id = ${tweeter_id} 
 
返回：tweeter的粉丝 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

/** --------------------------------- 
* 3. 求出Reach 
* __________________________________*/ 
 
var url = queryArgs.getUrl(); 
var tweeters = getUrlToTweetersMap(); 
var result = new HashMap<String,Integer>(); 
tweeters.forEach(t -> { 
    // 你可以批量in + 并发读来优化下面方法的性能 
    var followers = getFollowers(t.tweeter_id); 
 
    followers.forEach(f -> { 
        //hash去重 
        result.put(f.user_id,1); 
    }); 
}); 
 
//Reach 
return result.size(); 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.

// url到大V -> 数据库1 
TridentState urlToTweeters = 
    topology.newStaticState(getUrlToTweetersState()); 
// 大V到粉丝 -> 数据库2 
TridentState tweetersToFollowers = 
    topology.newStaticState(getTweeterToFollowersState()); 
 
topology.newDRPCStream("reach") 
    .stateQuery(urlToTweeters, new Fields("args"), new MapGet(), new Fields("tweeters")) 
    .each(new Fields("tweeters"), new ExpandList(), new Fields("tweeter")) 
    .shuffle() /* 大V的粉丝很多，所以需要分布式处理*/ 
    .stateQuery(tweetersToFollowers, new Fields("tweeter"), new MapGet(), new Fields("followers")) 
    .parallelismHint(200) /* 粉丝很多，所以需要高并发 */  
    .each(new Fields("followers"), new ExpandList(), new Fields("follower")) 
    .groupBy(new Fields("follower")) 
    .aggregate(new One(), new Fields("one")) /* 去重 */ 
    .parallelismHint(20) 
    .aggregate(new Count(), new Fields("reach")); /* 计算reach数 */ 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.

// 新到数据 { 	transactionId:4 	urlId:99 	reach:5 }
1.

// 老数据
{
	transactionId：3
	urlId:99
	reach:3
}
1.
2.
3.
4.
5.
6.

// 更新后数据
{
	transactionId：4
	urlId:99
	//3 + 5 = 8
	reach:8
}
1.
2.
3.
4.
5.
6.
7.

// 老数据
{
	transactionId：3
	urlId:99
	//注意这里多了个字段，表示之前的reach的值
	prevReach:2
	reach:3
}


// 新到数据
{
	transactionId:4
	urlId:99
	reach:5
}
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

// 新到数据
{
	transactionId:4
	urlId:99
	//注意这里更新为之前的值
	prevReach:3
	//3 + 5 = 8
	reach:8
}
1.
2.
3.
4.
5.
6.
7.
8.
9.

// 老数据
{
	transactionId：3
	urlId:99
	prevReach:2
	reach:3
}

// 新到数据
{
	//注意事务ID为3，和老数据中的事务ID相同
	transactionId:3
	urlId:99
	reach:5
}
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

// 更新后数据
{
	transactionId:3
	urlId:99
	//这个值不变
	prevReach:2
	//2 + 5 = 7
	reach:7
}
1.
2.
3.
4.
5.
6.
7.
8.
9.