本实验系统环境为：Mac OS X El Capitan 10.11.6 15G1217
使用的虚拟机系统为：Parallels Desktop 12
虚拟化技术：Nested 虚拟化技术 ＋ PMU虚拟化技术
L0: Ubuntu 16.04.1 Xenial LTS Desktop
L1: CentOS 6.4 Desktop
L2: Cirros Linux 0.3.5
首先，若要准备L2级虚拟机的系统镜像，可参考Ubuntu官网提供的cloud-images，链接为：https://cloud-images.ubuntu.com/?_ga=1.222879259.1831544656.1487263184
首先可以在物理机使用scp命令将L2级虚拟机所需img镜像文件传输至L0，命令及效果图如图所示：
- scp xenial-server-cloudimg-amd64-disk1.img fa1c0n@10.211.55.6:~/
若当前虚拟机不存在网桥，则需要配置网桥才可使虚拟机联网。由于之前的实验已完成配置，此处只写出相关命令：
- #root@master:~# brctl addbr br0 #增加一个虚拟网桥br0
- #root@master:~# brctl addif br0 enp0s5 #在br0中添加一个接口eth0
- #root@master:~# brctl stp br0 on #打开STP协议，否则可能造成环路
- #root@master:~# ifconfig enp0s5 0 #将eth0的IP设置为0
- #root@master:~# dhclient br0 #设置动态给br0配置ip、route等
- #root@master:~# route #显示路由表信息
- #root@master:~# brctl show #检查br0状态
效果图如下
同样，由于已完成之前的实验，qemu_ifup启动脚本为在启动时创建和打开指定的TAP接口以供虚拟机连接使用。启动脚本见主要算法和程序清单。
接下来，即可开启L1虚拟机，命令如下：
- qemu-system-x86_64 –cpu qemu64,+vmx -m 1024 -smp 4 -boot order=d -hda rhel-6.4.img -net nic -net tap
启动虚拟机后，如图所示：
如图可以看到已成功在L0上运行L1
首先开始安装qemu，kvm，libvirt，libvirt-python，命令如下：
- yum install qemu-kvm libvirt libvirt-python virt-manager python-virtinst libvirt-client
安装完成后，运行如下命令确认kvm是否安装成功：
- lsmod | grep kvm && stat /dev/kvm
如上图所示，即为安装成功。安装成功后，需要配置L1的网桥才可使L1创建的L2虚拟机可上网。命令同上：
- #root@master:~# brctl addbr br0 #增加一个虚拟网桥br0
- #root@master:~# brctl addif br0 enp0s5 #在br0中添加一个接口eth0
- #root@master:~# brctl stp br0 on #打开STP协议，否则可能造成环路
- #root@master:~# ifconfig enp0s5 0 #将eth0的IP设置为0
- #root@master:~# dhclient br0 #设置动态给br0配置ip、route等
- #root@master:~# route #显示路由表信息
- #root@master:~# brctl show #检查br0状态
接下来，将镜像文件从L0拷贝至L1中，使用命令：
- scp cirros-0.3.5-x86_64-disk.img root@10.211.55.9:~/
传输完成后如图所示：
接下来即可在L1中启动L2虚拟机。命令如下：
- qemu-system-x86_64 -smp 4 -m 256 -boot order=d -hda cirros-0.3.5-x86_64-disk.img -net nic -net tap -enable-kvm
启动成功后，可以看到已成功启动L2虚拟机。且L2虚拟机可ping通百度，可以上网。至此，KVM on KVM嵌套虚拟化的实现已完成。
在CentOS 6.4下，启动虚拟机时，遇到libdevmapper库错误问题，错误提示如下：
libvirtd: relocation error: libvirtd: symbol dmtaskgetinfowithdeferredremove, version Base not defined in file libdevmapper.so.1.02 with link time reference
解决方案：yum -y upgrade device-mapper-libs
若启动虚拟机时遇到如下问题，问题描述为：
error: internal error: unable to execute QEMU command 'cont': Resetting the Virtual Machine is required
检查系统是否有vmx：cat /proc/cpuinfo | grep vmx
若没有vmx，则需要开启-enable-kvm选项。
若有vmx，则重新开启虚拟机即可。
