2016年5月28日，华为开发者汇南京站在安德门黑马路演中心圆满落幕。本次沙龙议题增加到六个，时间安排上也从之前的半天扩展到全天。讲师有来自华为、苏宁、途牛的多位好手，议题涵盖”通讯即服务“、”内源开发“、”探索性测试“、”容器技术”、“电商平台迁移”、“订单架构优化”。
来自华为CCE容器云资深工程师钟成给大家带来的是《华为CCE容器引擎实践》。随着业界正在从IaaS向PaaS不断发展。Docker这类容器成为当下炙手可热的云技术。钟成的演讲基本穿越了整个容器技术的生命周期，台下很多同样在使用容器技术的参会者抓紧机会和他进行了沟通，比如Docker的安全、Docker网络的控制和性能优化等等。
现场实录：
今天也是非常感谢林宇强，感谢南京的各位开发者。我前期也来过一次南京，也比较早了，那时候来了一天，稍微逛了逛就回去了，没有特别深入的跟南京这边的程序员、开发成员有接触。这次也是借着这个机会，很高兴来到这边，觉得这里还是非常有活力的。我平时是在杭州那边，我本人也是杭州人，我们部门大部分的开发人员也都是在杭州这边，我也算是比较刚好，顺便。
今天我的议题主要想讲一下关于容器，企业云CCE容器实践。这个胶片我做了有一段时间了，今天这个氛围也很好，刚好人也不是特别多，也不是几千人，我们可以多交流一下。过程中有什么问题可以随时打断我，随时问我。这也是比较新的领域，目前比较热门的领域。
首先我想问一下大家，大家在自己的生产实践过程当中，有用过容器或者用过docker的吗?有五六个人，我大概知道了，所以这个还是属于比较早期的东西。我们就开始吧。
这是我今天的目录，容器部署，容器服务，和CCE做的一些事情。
我们部门是属于华为的中央软件院的数据开发的，是属于PaaS开发的。我先介绍一下背景，整一个云服务的背景。在现在这个时代Iaas服务，云计算云服务，一提到这三个字大家想到的第一个，国外的就是亚马逊，就是AWS，国内就是阿里云，阿里云现在在国内也做的非常好，也有很多的用户，一百多万的用户，也有很多的盈利。云计算这个东西现在在国外已经非常流行了，很多大的公司自己不会从中搭建一个数据中心，大家选择使用已经成熟的云平台。比如像(03：02)，拍摄《纸牌屋》的这家公司，它原本是做一个录像带租赁方，现在开始做网上的视频服务。他自己是没有云数据中心的，他把他自己所有的业务都运行在亚马逊的AWS上面。这么做有什么好处呢，他可以省去自己建造这些基础设施的时间和精力，因为随着现代计算机领域的发展，分工非常的细，你从中搞一个数据中心是非常耗时间，非常耗人力，而且也非常得不偿失的，你可能要花很多时间做这个事。如果你已经有一个成熟的云平台，一些做具体业务的公司，完全可以把我的产品，把我的业务直接写一些应用程序，部署到这些云上。这是目前国外的情况。
右边这个是一幅国外的咨询公司，叫(04：02)，对现代云计算成熟度的一个评估。这里有两个维度，横坐标是所谓的产品层，(04：21)，这套东西从概念商来说，从思想体系来说是否足够支撑。纵坐标是指我产品的成熟度，比如我做出来的东西是否达到了我预期的想法。大家可以看到遥遥领先的是AWS和微软的azure这两个云。目前云计算一种通用的模式是，所谓的IaaS，这里有一幅图，大家可以看到，传统的IT就是全段式的，我这个软件开发者要操心很多事情，从底层的存储、服务器、虚拟化、操作系统、中间件，一直到这个系统的运行。IaaS对于我的开发者来说，我只要操心上面的操作系统以上的东西，操作系统以下的东西我全部都交给云服务商。他给你提供一个虚拟机，你在上面可以装自己想要的操作系统，可以运行你自己的程序。至于里面的硬件怎么样，它是什么机器，用了什么网络，用了什么存储，你不用操心，你只要在网上点击一下，就可以用了。
下面的两幅图是PaaS和SaaS，这是当时的一个图。这个图是IaaS提出之后大家对这个的划分，后来发现这个划分并不是完全的准确。
随着技术的发展，新出了一些技术，就是docker技术，不知道大家对这个了不了解，简单的给大家介绍一下。总体来讲它是操作系统内赋的一些能力，它跟传统虚拟机的技术是有区别的。传统的虚拟机是在物理机上先布一个操作系统，这个操作系统上面我布一个(06：22)，上面再布一个(06：24%。也就是说我底层可以是一个非常小的内核，可能就是几十兆的操作系统，上层可以布上一个(06：31)，这个就是传统的虚拟机技术。就是我在操作系统上再做一个操作系统。容器技术就是打破了原先的方式，它是在底层的机器上，我去启动一个容器的引擎，上面运行一个进程。这个容器本质上来说是我底层操作系统的一个进程，它并不是一个完整的操作系统。但是对于我里面的应用来说，我看到的是一个完整的操作系统。这是什么概念呢，我底层可以是一个(07：06)，上层应用程序，我这个AHDP是一个JAVA的操作程序，我看到的是一个(07：16)的系统。APPA可能是一个得边的操作系统。我从应用程序来看，看到下面这个操作系统跟底层操作系统不一样。但是从操作系统往上看，又是一个进程。
容器是怎么做到这一点的呢，是融合了几项以前就已经有的技术，它把linux本身内核带有的技术，还有(07：46)的技术，包括最早的(07：49)，都是这个原形。我这个进程跑起来的时候，我挂在的文件系统并不是这个宿主机的这个文件系统。我挂一个特殊的文件系统，这个文件系统里面看到的文件都是我自己这个操作系统的。这个东西有什么好处呢，从这个图象能够看得出来，首先减少了虚拟化的层次。传统的虚拟化在操作系统上再跑一个操作系统，中间可能会要损失掉30%到40%的性能。不管是我的CPU性能也好，还是RO性能也好，都是有损失的。使用了容器以后，可以说我的性能几乎是没有损失的。就跟我运行一个普通的程序是一样的，这是它的第一个优势。这还是运行时期。第二个优势就是启动速度，我启动一个虚拟机，大家在云平台上启动过的就知道，你创造一个虚拟机，到虚拟机真正出来，可能要耗十几分钟。容器是可以达到两级启动，可以跟启动一个进程一样快。自从docker公司或者容器技术在这两年慢慢的推广开来之后，越来越多的公司开始投资这个技术，加入这个技术，希望把这个技术提升到自己整个的应用系统里面去。这是对容器技术的描述，大家有兴趣的话可以看一下，容器技术也不仅仅是docker一种，因为它利用的底层能力是一样的。
回头我可以再讲一讲，这个容器技术有这么多优点，它有什么缺点呢，其实容器技术是有很大缺点或者问题的。其实也很简单，我上面运行的应用程序本身是一个进程，也就是说我上面的APP用的是底层的内核。我只可能在linux的操作系统上运行一个linux的容器，我不可能在linux上运行windows的容器，这就是一个非常大的问题。当然对于很多场景是没有问题的，但是这也是一个潜在的问题，你不可能在一个windows的机器上运行linux的容器，你也不可能在linux的系统上运行windows的容器。这是目前的限制之一。还有一个一致，我系统的隔离性有一定的安全隐患，传统的虚拟机，我上面的应用程序跟下面的(10：40)的核心是通行的，你可以认为是一个沙箱，就算我的黑客再厉害，能够突破的也只有上面操作系统的权限，不可能突破下面操作系统的权限。假定A应用是A用户的，B应用是B用户的，我黑客再厉害，只能打破A应用的底层，没有办法穿透到B应用的里面来。在这里就有问题，如果有非常厉害的黑客，能够黑进我底层的内核，就可以攻击B的应用程序。所以这是容器技术的一个软肋。不过我们后面有各种方式和方法规避这个问题，可以对它一系列的改进。
这是容器技术的一个简史，一开始容器技术是一个所谓的资源隔离，倾向于虚拟机。一开始大家看到规格跟(11：44)开始做的，他们在内核上实现一些机制，可以把进程资源隔离开来。我可以限定某一个进程只用10%的CPU，10%的内存，另外一个进程使用其他的一些东西。到了阶段二，2013年之后，docker公司出现，他们提供了一套比较完整的容器的打包发布，到启动的过程。大家有兴趣的话可以自己去试一下，它的好处是可以解决你的很多运维问题，你的应用程序的问题。现在很多公司或者组织已经在docker推了这些镜像，你以前跑一个(12：31)，要先去下一个JAVA，再下一个(12：36)，把这个东西配起来，可能要花个半天时间。你现在装了docker之后，可以在几分钟之后，或者直接一条(12：46)命令就可以把别人整个打包好的程序运营起来。这就是容器技术带来的生产力上的提升，你可以减少很多软件的安装，你的配置，你的运维方面的工作。可以通过一条命令，就把它执行起来。
随着技术的发展，越来越多的公司在往这方面投资，他们成立了一个技术组织，技术协议。他们希望这个技术成为一种业界通用的标准，而不是成为某家公司所垄断的技术。像Windows一样，虽然它做的很好，你无法在业界各个公司使用它，这是非常可惜的。华为也是这个组织的成员之一。
刚才我讲了很多容器的好处，可以轻松的管理应用程序，可以轻松的启动这个东西。是否有了容器之后，就可以解决我们很多运维的问题，开发的问题，测试的问题。对于现在的情况而言还是相差很多的，我们现在容器的技术专注于单机的容器的启动和停止寿命周期管理，你可以运行一些简单的应用，但是对于一个大规模的集群，比如说我一个公司在计算里面有20台机器，或者说有20个虚拟机，或者你在IaaS的云上有20个虚拟机，你去管理这些东西要耗费很多的精力。你要一台一台的对它进行部署，进行安装，进行升级。每次有新的应用程序发布的时候，我要挑几台进行更新，其实也是非常麻烦的一件事情。对于一个大规模的机器集群来说，全生命周期的操作，可以说整个业界还没有一个非常好的解决方案，只能说有很多正在做的解决方案。这就是我们部门正在做的一个事情，希望能够解决这个问题。
这是对我们部门工作的介绍，这些讲的具体的事情，我们部门想做的一件事情是什么呢，降低大家大规模使用容器集群的成本。你可以在三四行的命令之上，就可以发布一个复杂的系统，我可以把一个大规模的网站系统，或者说一个业务系统，中间有三四个服务器，我可以通过简单的一些操作，对它进行一个管理，降低我在这方面运维的成本，包括监控，包括运维，包括开发。最好我代码开发完了之后，希望直接进行测试，这个也是容器的一个优势。在传统的计算机行业里面有一个非常大的痛点，有一个场景。开发人员开发出来一个程序，好好的，应用起来没有问题。但是用户一用发现出现问题了，开发人员、应用成员和用户人员吵起来了。开发人员说在我的环境里面一点问题都没有，前面启动起来就可以了。但是用户不这么想，用户说在我的环境就是不行。这就是因为他们两者使用的底层操作系统，包括里面的一些中间件，包括里面的一些数据库，配置上有一些微妙的差别。你通过容器之后，在发布的时候并不仅仅是发布一个程序，是把所有的二进制程序，包括依赖的这些包。像(16：56)，把这些东西统一的打成一个镜像，统一的发布运行。这样可以达到一个什么效果呢?我开发人员启动的这么一个东西，跟我最后在线上、生产上直接运行的东西是完全一样的，从运行的角度来讲是没有任何区别的。这样就可以解决困扰我们很久的开发跟测试，跟生产软件不一致的情况。这也是我们要做的工作之一。
如果像docker公司，或者是容器技术，他们已经完成了一个集装箱的工作，他们已经把容器的标准给定下来了。我们现在已经有一个容器了，后面我们要做的就是通过这个集装箱建设一套完整的码头。这里包括了很多基础设施，包括码头上的货舱，包括码头上的起重机，可以用来调这个集装箱，包括各种各样后面的卡车运输设备，这些其实是一个完整的生态系统，我们是希望建立这套物流体系。建完这套体系之后，作为用户来讲，他想运货物很简单，只要跟这个物流公司说一下，我要发一个集装箱的货物到美国去，我就不需要自己去租船了，不需要自己搬货卸货，所有的过程都是标准的，这是我们部门想做的事情，这是一个比喻。
为了完成我前面讲的类似于像码头或者是像团队的工作，我们要做什么样的工作呢。如果想做到这一点，我们在大规模程序上要做什么呢。你想知道未来，首先得回顾历史。我一直认为软件开发是一个管理复杂性的工作，作为开发人员也好，作为测试也好，其实你的本质是要管理复杂性。什么是管理复杂度的最好的方式呢，就是进行合理的抽象。操作系统其实就是一个非常标准、非常好的例子。这两幅图是我从国外的一本书《深入理解计算机系统》里面截下来的，操作系统给我们的开发者提供一个比较好的抽象，因为我们的硬件，我们的计算机底层是有处理器，有内存，有IO设备，包括硬盘组成的。但是作为我们应用程序开发者不需要关心这个东西，我只要通过操作系统就可以抹平这个差距。操作系统提供什么抽象呢，它提供一个文件的抽象，通过文件我们操作硬盘上的这些存储，通过这个(20：14)可以操作我的内存，通过进程可以操作这三个所有的资源。你一旦通过操作系统提供这些API之后，比如说你在windows上面开发了一个程序，或者java的程序，或者C程序，你完全可以到linux上面去。或者你原先在IBM上面开发的一个软件，完全可以在惠普的机器上使用。因为操作系统已经帮你抹平了底层的差距，你不用关心这些硬件驱动，也不用关心里面具体用了哪个牌子的CPU，用了哪个牌子的内存，用了那个牌子的硬盘，这些你都不用关心。
如果我们想把这个步骤往外推的话，想推到集群上面去，我们的愿景是想把整一个数据中心的集群也抽象成一个任何一个开发者都能够轻易使用的设施，这是我们部门想做的一个事情，就是隔离的进行抽象。我们部门目前使用的这个项目叫做Kubernetes，它是希腊语里面的舵，大海航行靠舵手。这个项目是一个谷歌的项目，是完全开源的，大家可以在gethop上找到它，入门看起来稍微有点复杂，但是后面你会发现它提供的这些抽象，对于管理大规模的集群是非常有效的。左边这幅图是它的技术架构，我首先有一个中心节点，用来管理下面的所有机器。在这些机器上面我会运行一个一个的容器，这些容器都是我可以通过Replication Controdler这个复制控制器分发下去，我创建的时候可以指定在我下面的数据中心上面，这里有四台机器，我可以指定，比如说这两个红的是一组，我要启动这两个容器实例。启动这个实例之后，在这个数据中心一直跑着这样的实例。假定我这台机器挂掉了，因为我的配置已经配好了，就会在另外一个机器上再启动一个容器实例。这样就保证了我在的数据中心当中随时都有两个应用程序，两个容器的实例在工作。你就不用费心管理上面一些硬件的问题，如果这个硬件坏了，我可以后面慢慢的通过别的方式把它修复起来，但是在这个过程当中我的业务是没有停顿的，比如它带有一种自我修复的能力。
如果在这个数据中心中可以运行的这些容器实例之后，后面要解决的问题是什么呢，当你把这个程序下发到这个数据中心的时候，就带来一个问题，我怎么知道我的应用程序跑在哪台机器上的呢。等到我做了这个系统之后，我突然发现对这个东西失去控制力了，根本不知道跑在什么地方。我下面怎么运维它呢，怎么向外面提供服务呢。为了弥补这个问题，Kubernetes采用了另外一种抽象，就是server这种抽象，它是一种服务发现的机制。它自动的会在内部维护这些容器实例的位置，当你外部有一个业务流量进来的时候，这个红色的业务流量，假定这是一个网站，当我有用户请求的时候，进来我会均匀的把这两个流量负载均衡到这两个容器当中去。如果这个容器死了，在后面这台机器启动之后，这里会自动的把流量转到这里去，这就是所谓的server的概念。只要我这个数据中心里面这两个实例一直存在，我这个servers路由体系可以自动的把这个业务流量转到这个里面去，可以持续不断的对外提供服务，这就是Kubernetes带来的主要的抽象。它的思路就是我底层的硬件是不可靠的，我是通过软件的可靠性，来解决这个硬件的可靠性。我没有说把底层的机器做成一个非常强大的机器，就像IBM的(25：02)，死了一个我还有备份，不是这样的。我随时都有这个机器，随时可以死，没有关系，但是我的软件可以跟上来。
提问：问一个问题，那两个pood之间是两个对等的，怎么保证数据同步呢?
嘉宾：这里另外少画了一幅，我外面会有一个云存储，这个我没画。你外在挂载了这个存储实例之后，这两个东西操作的数据其实就是同一个数据，你这两个pood本身是无状态的，有状态的是放在分布式存储上面了。我不知道这样讲是不是比较清楚。
这是Kubernetes做的一些事情，好处前面我也讲了，可以做一些细节。这是细节的一个协会，这么好的东西我们也可能一家公司专有，华为也参加进去了。
这是我们华为内部正在做的一个公有云的东西，叫CCE，就是提供容器集群服务的，目前还比较粗糙，我们大概6月底会发布一个正式版，进行公测，到时候大家可以看一下，这也算做一个广告。这是我们做的写工作，工具调优，图形化编排，我们都跳过。这是我们对开源社区的贡献，华为目前在开源社区，在国内是排名第一的，对这个社区也提交了一些关键性的贡献，包括容器的调度，华为也是比较积极的参与开源。
这些业务上的东西先跳过吧。这是谷歌的一个架构，我觉得后面我们服务端的这些软件慢慢的就会往这个方向迁移，底层的基础设施就会慢慢的往这端走。底层我跑的是容器集群，刚才你看到的，包括像这些分布式存储，本身也是一个集群，内部保证它的数据的一致性。最上面的才是业务，和现在这种单台机器割裂的方式有本身的区别。这些我们就先跳过吧。
这是二维码，大家有兴趣可以扫一下，时间不多，进入到交流环节。
提问：我想问一下docker这块，包括后面集群这块，有一些网络上的问题，因为docker对于网络这块隔离群是有一定欠缺的。
嘉宾：对。
提问：我们用了什么样的处理方式?
嘉宾：(28：37)可以说是docker本身的一个实现。网络这块也是很多人会问的，兄弟肯定是个专家，至少对这个方面有了解。目前我们在公有云常用的是(28：52)，我在原先的S网络上再搭一层网络。它的好处就是它有一层网络，你可以控制它，坏处就是它的性能会有一些损耗。我们后面的考虑有几种方案，一种方案是我们直接使用底层S提供的网络，就是我们用(29：13)，采用(29：15)进行子网划分，用(29：19)因为子网通讯，这是我们后面的一种方式。
提问：现在你们docker这块是部署在公有云上面的，是吗?
嘉宾：对。
提问：而你们是用公有云的网络去解决这个问题。
嘉宾：目前还不是，但是后面会往这个方向延伸，我们没有必要自己再搭建一套网络的基础设施，像PC这种东西，做起来很麻烦。我们可能会考虑跟(29：50)进行结合，就是附用它里面的主机。如果是私有云的话，后面我们可能会自己启一个项目，直接把它拿过来用。可能剥掉底层S层，直接运行在物理机上面，但是上面的那层网络还是用S层的那套网络，(30：10)这个东西来做，大致方向是这样的。
提问：谢谢。
提问：你刚才讲了容器，我想问一下这个容器如果推广应用起来，和我们目前有的双机，两台机子同时工作，一台机子坏了，另一个机子工作。这个容器跟双机有什么区别，各有哪些优点和缺点。这是第一个问题。第二个我们现在说在异地建(30：52)机房，同样的一套系统。包括现在讲云技术，公有云、私有云，目前这种情况和以往的从两台服务器上，这是一方面，异地(31：09)这种方式，从安全性上，从优缺点上能不能帮我们介绍一下。
嘉宾：传统的双机是比较依赖于底层硬件的方式，你有两台机器，但是如果你两台机器恰好在这个机架上面，这个机架全部都掉电的话，你的系统还是会挂掉。而且你前面可能会用F5，或者用负载均衡设备。容器是一个集群的概念，我在这个系统上面并不是一台机器上布了一个应用，我可能一台机器上布了五六个应用，我又在另外一台机器上布了五六个应用。我这个应用可以有很多个副本，可以超过两个，可以有七八个副本，分布在数据中心的七八台机器上面，而且我可以通过调度的方式把它调度到不同的可用域上面。假定这个机架挂掉了，两个容器挂了，但是另外那个机架上的三个容器还可以继续工作，这是它提供的一个优势。
你要说劣势，这是你在软件上面，在你的软件配置，软件前期的规划要花一些时间，你前期要定义好这个策略。不像双十一，我任何应用都可以一模一样的搞两份，这个还是有些区别的。就是开发人员肯定要感知这个数据中心本身的结构，这个我认为这是一个区别。
提问：刚才那个同事已经说了，docker我们也用过，主要问题就是网络问题。因为讲的都是高可用的方面，真正一个互联网公司主要是提供一个持续的、稳定的服务。网络上docker在这方面划分的时候有一些丢包，有网络上的问题，我们在虚拟机上也有问题。我想了解一下你们在真正情况，私有云、公有云平台上，我真正的测试，一个虚拟机上具体要挂多少docker，或者能够承载多大能力划分的，怎么控制这个处理的问题。刚才你可能讲了一些思维方案，但是我知道你应该有一些数据的支撑，你是怎么做的，我想了解一下。
嘉宾：目前是这样的，其实容器有多种网络模式，我们在不同场景下用的模式不一样。容器有多个维度，一个是打包可以运行这个维度，还有是可以隔离网络的维度。比如在我们公司内部的(34：05)IT这个系统里面，一开始前面这个阶段我们直接采用主机的网络，我们算是规避了这个问题。
提问：进行一个大规模的使用。
嘉宾：这是一个场景，他们原先的网络和他们的服务发现是依赖于物理机的，我们也没有改它。但是在公有云这边采用那种(34：35)的方式。根据我们现在的测试来说，基本它的性能比真实物理机的性能有一定损失的，可能损失在20%到30%左右，是这么一个情况。
提问：物理机真正达到多少个docker。
嘉宾：物理机上的话。
提问：跟它的配置有关。
嘉宾：对，我们内部做过测试，我自己主要做容器集群的性能。如果我们先不考虑应用程序本身的资源消耗，我只谈这个系统本身能力的话，一个节点上我可以启动40个容器是没有问题的，从管理面这个角度来讲，我整个管理的操作都是没有问题的。数据面上，以前他们采用的是一个用户态的流量，(35：35)，现在我们已经改成(35：36)了，在linux用(35：38)机器做网络的转发。这样就把数据面的性能又提升了一些。但是这个问题你要说完全达到物理机非常非常高效的程度，我觉得是有一定困难的，这也是一个折中，我毕竟有部署上的灵活性。你可以通过布多个点，来抵消这个问题，这是我的一个理解。
提问：我之前没有用过docker，但是我有两个问题想请教一下。第一个docker我比较关注双机热备的情况，比如我在你这个docker上运行多个实例的话，这两个实例必须是无状态实例，对吧?
嘉宾：目前的方式，在集群里面你希望它无状态迁移的话，A机器迁到B机器是有一定的要求，目前的状态还没有完全支持纯有状态的这种。但我们现在在开发一个特性，这有一个弥补，一个是我把所有的状态数据都迁到远程的硬盘上面去，就是云硬盘，这是一种方式。还有一种方式我去挂载一个硬盘，如果这个系统有问题的话，我会试图在本地进行重启。当我这个硬盘或者这个东西坏了之后，我可以在本地进行(37：33)，在本机上重新启动，这是另外一种规避的方式。
提问：如果我们现在在docker发布自己应用的话，最好把所有的这个实例的运行状态，在内存当中不要保存更多的信息，全部写入存储系统，对吧，才能做到版本的切换。
嘉宾：对，如果你对那个切换要求很高的话。不是说你本地不能缓存数据，这个缓存不是那种，你只是一个本地化。
提问：我就关注这个，这个Catch的话，一旦你限级的话，Catch里面的数据都丢了。
嘉宾：对。
提问：也就是说我们必须对存储的运行状态全部同步的实时的写入到文件系统当中。
嘉宾：或者是远程的存储，我有一个Redis的集群，我可以把数据写到Redis集群里面去。这其实是比较适合于大规模的互联网的应用，因为它是从谷歌出来的，谷歌从设计他们分布式系统的时候，本身这个程序就没有状态，这是他们的一个设计。但我们还是希望做这个有状态的应用，这个待会下去可以讨论，我们现在有好几个方案可以解决这个问题，这也是我们今年做的大的方向。
主持人：谢谢，再次谢谢讲师。
(结束)
