把Sheepdog装进OpenStack

现在网上有关Sheepdog使用方面的资料还是少一些，本文主要介绍sheepdog的安装、简单使用方法，以及怎样与OpenStack集成。

编译安装

Sheepdog提供源码包（tarball）下载，同样能够安装使用。不过，发布工作需要制作deb安装包，而tarball制作安装包时有个地方引用了git log命令，由于tarball源码所在目录不是git仓库而导致出错，所以，***还是通过git获取sheepdog的源码：

mkdir -p download 
cd download/ 
git clone https://github.com/sheepdog/sheepdog.git sheepdog-github 

切换到***稳定版0.7.6：

cd sheepdog-github/ 
git checkout v0.7.6 

执行autogen.sh生成configure，在此之前，可能需要安装依赖：

sudo apt-get install autoconf libtool make pkg-config 
./autogen.sh 

正式编译，sheepdog本身依赖于corosync、zookeeper等集群管理工具，如果制作deb包，还依赖于debian的一些工具：

sudo apt-get install liburcu-dev corosync corosync-dev \ 
zookeeper zookeeperd libzookeeper-mt-dev 
./configure --enable-zookeeper 
sudo apt-get install debhelper dh-autoreconf devscripts 
make deb 

生成的安装包在上一层目录，执行安装：

cd .. 
sudo dpkg -i sheepdog_0.7.6-1_amd64.deb 

完成后，重新登录会遇到以下错误：

Last login: Tue Dec 31 14:57:10 2013 from network 
-bash: script/bash_completion_dog: No such file or directory 
-bash: script/bash_completion_dog: No such file or directory 

这是因为0.7.6源码中一个过时的文件没有清理，可以在安装之后清理：

sudo rm -f /etc/bash_completion.d/sheepdog 

或者make deb之前清理：

rm -f debian/sheepdog.bash-completion 

两者唯一区别是后者执行sheep -v查看版本时，会发现版本字符串后面加上dirty标识。

如果把sheepdog_0.7.6-1_amd64.deb拷贝到其它机器安装，可能需要安装依赖：

sudo apt-get install zookeeperd libcfg4 libcpg4 \ 
libzookeeper-mt2 libcoroipcc4 

某些Ubuntu源可能找不到libcfg4和libcoroipcc4，可以修改源或者到http://packages.ubuntu.com/下载

配置zookeeper

一般正式环境使用zookeeper作为sheepdog集群的管理工具，需要相关配置。如果只是单节点试用，可以不配置zookeeper。

首先修改myid文件，保证每个zookeeper节点的myid都不一样，文件内容是1-255之间的数字：

sudo vi /etc/zookeeper/conf/myid 

然后修改zoo.cfg文件，主要填写各个zookeeper节点的信息：

sudo vi /etc/zookeeper/conf/zoo.cfg 

修改内容如下所示，格式为server.myid=host:port1:port2

server.11=sd1:2888:3888 
server.12=sd2:2888:3888 
server.13=sd3:2888:3888 
server.14=sd4:2888:3888 
server.15=sd5:2888:3888 

上面表示zookeeper节点共有5个，最多允许2台节点挂掉，剩余3台还能保持一个多数派。

启动服务，apt-get时已启动，所以需要restart。

sudo service zookeeper restart 

启动sheepdog

建立工作目录并赋予权限，仅作为例子，创建磁盘分区等细节不再赘述。如果以非root用户使用sheepdog，例如sheepdog用户，记得赋予相应目录的权限。

sudo mkdir /mnt/sheepdog 
sudo mount -t ext4 -o noatime,barrier=0,user_xattr,data=writeback /dev/sda4 /mnt/sheepdog 
sudo chown -R sheepdog:sheepdog /mnt/sheepdog 

简单启动sheepdog

sheep /mnt/sheepdog \ 
-c zookeeper:sd1:2181,sd2:2181,sd3:2181,sd4:2181,sd5:2181 

使用对象缓存

事先挂载SSD到/mnt/cache，以下启动命令为所在的sheepdog节点分配约256G的对象缓存。注意有的版本不认size=256G，要写成size=256000。

sheep -w size=256000,dir=/mnt/cache,directio /mnt/sheepdog \ 
-c zookeeper:sd1:2181,sd2:2181,sd3:2181,sd4:2181,sd5:2181 

如需要，创建开机启动

Sheepdog安装时会在/etc/init.d目录创建sheepdog服务脚本，不过目前并不完善，***还是把上面的sheepdog启动命令放到/etc/rc.local文件。

常用sheepdog及qemu命令

格式化sheepdog集群

如果单节点试用一下功能，副本数设置为1（–copies==1）即可。

$ dog cluster format --copies=3 
using backend plain store 

查看sheepdog集群

$ dog cluster info 
Cluster status: running, auto-recovery enabled 
Cluster created at Tue Dec 31 17:40:29 2013 
Epoch Time           Version 
2013-12-31 17:40:29      1 [10.1.48.44:7000, 192.168.1.2:7000, 192.168.1.3:7000, 192.168.1.4:7000, 192.168.1.5:7000] 

查看sheepdog节点

$ dog node info 
Id  Size    Used    Avail   Use% 
0  139 GB  0.0 MB  139 GB    0% 
1  139 GB  0.0 MB  139 GB    0% 
2  139 GB  0.0 MB  139 GB    0% 
3  435 GB  0.0 MB  435 GB    0% 
4  217 GB  0.0 MB  217 GB    0% 
Total   1.0 TB  0.0 MB  1.0 TB    0% 
Total virtual image size    0.0 MB 

导入一个镜像到sheepdog

$ qemu-img convert -t directsync mint15.img sheepdog:mint 

查看sheepdog镜像列表

$ dog vdi list 
Name        Id    Size    Used  Shared    Creation time   VDI id  Copies  Tag 
mint         0   16 GB  4.1 GB  0.0 MB 2013-12-31 17:50   8ec519     3               

再次查看sheepdog节点

$ dog node info 
Id  Size    Used    Avail   Use% 
0  139 GB  1.8 GB  137 GB    1% 
1  139 GB  1.9 GB  137 GB    1% 
2  139 GB  2.2 GB  137 GB    1% 
3  435 GB  3.7 GB  431 GB    0% 
4  217 GB  2.7 GB  215 GB    1% 
Total   1.0 TB  12 GB   1.0 TB    1% 
Total virtual image size    16 GB 

创建一个空的sheepdog镜像

$ dog vdi create data 100G 

再次查看sheepdog镜像列表

$ dog vdi list 
Name        Id    Size    Used  Shared    Creation time   VDI id  Copies  Tag 
mint         0   16 GB  4.1 GB  0.0 MB 2013-12-31 17:50   8ec519     3               
data         0  100 GB  0.0 MB  0.0 MB 2013-12-31 18:05   a34a05     3               

启动虚拟机

如果使用对象缓存，默认的缓存方式有的说是writeback，有的说是writethrough，所以建议写上cache=writeback，以显式区分。

$ sudo qemu-system-x86_64 --enable-kvm -m 4096 -smp 2 \ 
-drive file=sheepdog:mint,if=virtio,index=0,cache=writeback \ 
-drive file=sheepdog:data,if=virtio,index=1,cache=writeback \ 
-net nic,model=virtio -net user -vnc :1 -daemonize 

如需要，建立端口映射

如果在局域网内部启动虚拟机，外部不能访问，可以在跳板机建立端口映射

$ sudo iptables -t nat -A PREROUTING -d 10.1.48.44 -p tcp \ 
--dport 25901 -j DNAT --to 192.168.1.2:5901 
$ sudo iptables -t nat -A POSTROUTING -j MASQUERADE 

这样，外部网络的机器就可以使用vncviewer连上虚拟机

$ vncviewer 10.1.48.44:25901 

与OpenStack集成

Cinder存储服务

Sheepdog可以作为Cinder服务的后端存储。一般只需要修改/etc/cinder/cinder.conf文件，在DEFAULT一节中，修改volume_driver参数为sheepdog的cinder驱动：

volume_driver = cinder.volume.drivers.sheepdog.SheepdogDriver 

修改之后，重启cinder-volume服务即可。

如果开发者使用devstack，可以修改devstack的localrc文件，设置CINDER_DRIVER环境变量为sheepdog，修改之后，执行./stack.sh即可。

Glance镜像服务

Sheepdog也可以作为Glance服务的后端存储。通常是修改/etc/glance/glance-api.conf文件，在DEFAULT一节，加入或者修改对接sheepdog的相应参数：

default_store = sheepdog 
known_stores = glance.store.sheepdog.Store 
sheepdog_store_address = 10.1.48.44 
sheepdog_store_port = 7000 
sheepdog_store_chunk_size = 64 

修改之后，重启glance-api服务即可。

如果开发者使用devstack，目前还没有相应的快捷设置对接sheepdog方法，可参考上面修改配置文件，然后重启服务。