Google的全球基础设施启动了一个专有系统,当大型数据中不甘心和网络交换负荷出现硬件问题时自动转移和重复负载。
这种分布式的技术最早在今年夏季的一个叫做“Google经典时尚”(classically coy Google fashion)的会议中初露端倪,Google院士Jeff Dean在本月早些时候的一个研讨会上证实了这种技术的存在。
该平台被称为“Spanner”(扳手?)。在Dean的演示文稿中,这个平台被这样描述:“存储和计算系统,涵盖了数据中心自动移动,增强数据的复制和计算使用限制以及模式。”者包括了带宽、数据包丢失、资源限制、能耗以及“失败模式”。
Dean正在谈论的是“一整列机器资源的自动调配”——Google全球现在至少有36个大型数据中心,一些也许还在建。正如之前提到的,Google这个新系统正希望跨越一个大的数据中心舰队。
从Dean的演讲中可以看出,Google希望Spanner能够控制一百万到一千万台服务器,包括10万亿(1013)目录和一千万亿(1018)字节的存储空间。而这所有一切分散在世界各地的数据中心。
想象一下:一个独立的大房子正在通过线缆控制着这个世界上其它的数据中心。
Dean拒绝作出评论。Google的公关部门也没有就此问题给出具体的回复,不过Google工程与架构部门的高级经理Vijay Gill在此前旧金山举办的一个迷你会议上提到过这项技术。
当被问及“如果能够挥动魔杖以创建一个后端网络技术”时,Gill称,“我们现在没有这种技术,”当谈及Google著名的分布式在线基础设施时他略显神秘——Google将数据中心变成了“仓库规模”的机器,当某个数据中心出现超负荷危险时就转移到别的地方。
“我们现在要做的是——当然了这是仓库规模的计算机,”Gill表示,你必须拥有从冷却到整合CPU等所有的权利。”
“有时候,有一个温度的变化,你可能需要一个快速的负载切换去组织温度的变化,你的数据中心有没有冷水机组?你想要降低一些负载,你希望减少一些CPU和一些RAM里的进程数。”
他表示公司可以做自动或者近乎自动不需人工干预的意义,“你怎么做全球范围内管理系统的优化呢?这是一个有趣的现象。”
“我们现在看到,Google大规模以线性规划问题的变量数十万计,几乎都需要实时的计算。当一个数据中心里的温度开始变化时,你没有宝贵的时间去设定其它数据中心的温度,必须得在几秒钟内作出判断。”
当被问及这是否Google正在使用的技术时,Gill回复说这只是Google最乐于见到的情况。“我无法做出评论,”他说,“我也不记得我们发表任何一个文件。”
但是看起来Gill描述的技术就是在说Spanner。而且根据Dean院士的演讲,似乎该技术已经被部署。Google还表示,其位于比利时Saint Ghislain得一个新数据中心也没有机组运行,显然,是用了Spanner技术才使得可以度过炎热的夏季。
Dean表示,Spanner的目的是为50微妙之内的数据传递提供通道。而且,Google至少机会在欧洲部署两套存储设备以存储设备,在美国部署两套,在亚洲部署一套。
显然,Google有做分布式计算的天赋。
【编辑推荐】