1. Protocol buffer
Protocal Buffer是google开源的用于数据交换的库，常用于跨语言的数据访问，担任的角色一般为对象的序列化/反序列化。 另一个与之类似的开源软件是facebook开源的thrift，它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现，但Protocal Buffer的一个优势是其序列化/反序列化非常高效。
2. Libprocess
libprocess是采用C/C++编写的高效消息传递编程模型（基于消息传递的网络通信模型，而不是RPC），由伯克利开源。 其整个实现非常简单，包括最基本的消息发送和接收等。
2.1 Libprocess模型
在mesos中，主要有四个角色，分别是：mesos-master，mesos-slave，framework（Hadoop/Spark /MPI等） scheduler，executor（在mesos-slave上执行framework task的组件），每种角色均是一个Process，在实现时会继承libprocess中的ProtobufProcess类（它又继承了 Process类），这样，它们均会编成一个后台运行且不断监听protocal buffer消息的socket server，如下图所示：
2.2 各种常用函数
Libprocess+protocol buffer组合是mesos最底层最重要的消息传递基础库（没有采用RPC机制），由于该库采用了基于Protocal Buffer消息传递的通信机制），因而非常高效。Mesos常用的两个头文件是libprocess\include\process下的 process.hpp和protobuf.hpp，这两个提供了用于消息传递的API，其中process.hpp是最核心的文件，提供了原始的接口， 而protobuf.hpp是在process.hpp基础上，加入了ProtocalBuffer对象参数，使ProtocalBuffer使用起来更 加容易。
(1) install
void install(void (T::*method)(P1C),P1 (M::*param1)() const);
安装一个处理ProtocalBuffer消息的handler，其中，消息类型是M，该消息对应的处理函数是method，函数参数为M::*param1。举例：mesos中slave/slave.cpp：
- install(
- &Slave::newMasterDetected,
- &NewMasterDetectedMessage::pid);
安装一个处理NewMasterDetectedMessage（ProtocalBuffer对象）的handler，mesos slave一旦接收到该消息，便会调用newMasterDetected函数处理， 且该函数的输入参数是NewMasterDetectedMessage消息中的pid属性。
- void install(const std::string& name,void (T::*method)(const UPID&, const std::string&))
安装一个处理字符串的handler，也就是说，当收到字符串name后，调用函数method进行处理。这个API在mesos中的典型应用时维持master与slave之间的心跳，以确定彼此活着：
在slave/slave.cpp中：
- install("PING", &Slave::ping);
- void Slave::ping(const UPID& from, const string& body)
- {
- send(from, "PONG");
- }
在master/master.cpp中：
- install("PONG", &SlaveObserver::pong);
- void pong(const UPID& from, const string& body)
- {
- timeouts = 0;
- pinged = false;
- }
- void timeout()
- {
- if (pinged) { // So we haven't got back a pong yet ...
- if (++timeouts >= MAX_SLAVE_TIMEOUTS) {
- deactivate();
- return;
- }
- }
- send(slave, "PING");
- pinged = true;
- delay(SLAVE_PONG_TIMEOUT, self(), &SlaveObserver::timeout);
- }
(2) send
- void send(const process::UPID& to, const google::protobuf::Message& message)
向某个UPID上发送消息，其中UPID代表一个socket，里面含有ip和port信息，而消息message是ProtocalBuffer定义的对象。
(3) dispatch
- void dispatch(const UPID& pid,
- const std::tr1::shared_ptr >& f)
执行进程pid中的函数f，为了提高效率，该函数并不会等到函数f执行完成，而是采用了异步的方法：将函数f放入一个函数队列，由另外一个进程（或者多个）不断从队列中获取函数，依次执行。
(4) delay
- Timer delay(double secs,const PID& pid,void (T::*method)())
延迟secs秒调度进程pid中的方法method，并返回一个计数器，通过这个计时器，可取消该调度。
在mesos中，巧妙地通过该函数构造了一个无限循环以不断检测空闲资源，并将之分配给各个框架，代码如下：
- void Master::initialize() {
- ……
- timerTickTimer = delay(1.0, self(), &Master::timerTick);
- }
- void Master::timerTick() {
- ……
- timerTickTimer = delay(1.0, self(), &Master::timerTick);
- }
上面函数代码段可完成每1s调用一次timerTick函数的功能。
3. Boost
非常有名的开源C++基础库，里面的STL非常高效方便，已被很多著名软件采用。
4. Zookeeper
是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。 Mesos采用zookeeper解决master单点故障问题，使用zookeeper搭建一个master集群，当master出现故障时，选择一个 standby master 变为master。
5. glog
Google开源的C++日志库，主用于C++程序中打印日志，打印格式如下：
I0411 17:26:54.150193 20653 main.cpp:111] Creating “process” isolation module
I0411 17:26:54.150400 20653 main.cpp:119] Build: 2012-04-11 16:50:21 by root
I0411 17:26:54.150658 20653 main.cpp:120] Starting Mesos slave
I0411 17:26:54.152981 20669 slave.cpp:191] Slave started on 123.145.2.2:34694
I0411 17:26:54.153024 20669 slave.cpp:192] Slave resources: cpus=2; mem=490
6. gmock
开源 C++ 单元测试框架
7. 参考资料
（1）Mesos主页：http://www.mesosproject.org/index.html
（2）Mesos代码：https://svn.apache.org/repos/asf/incubator/mesos/trunk/
原文链接：http://dongxicheng.org/apache-mesos/mesos-base-libarary/
