Google打造云中Hadoop便捷版 强势对抗AWS

云计算 Hadoop
开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,理论上,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。这将对AWS和它的EC2造成很大冲击。
Google Compute Engine 的虚拟机提供了一种快速、可靠的方式来运行 Apache Hadoop。如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform 上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统。
 
下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 
 
 
在十年前,从Google***次介绍了Google File System (GFS)——Hadoop Distributed File System(HDFS)的基础——Google一直在努力改善Google大数据处理的存储系统。***的成果是Colossus。
 
今天的发行版本提供了准确的——使用了一个简单的连接器库,Hadoop现在可以直接地在Google Cloud Storage运行——一个对象存储创建在Colossus上。这意味着你在大数据处理时可以从Google的这项技术中获益。
 
下面是用Google Cloud Storage运行Hadoop的优势:
 
兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。只要将URL指向你的数据就可以。
 
快速启动:数据准备处理。当你的数据复制到HDFS以及NameNode,你不必等待过长时间来结束这个安全模式。同时,你也不需要花费数据复制VM时间。
 
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性,因为它有独立的Compute Nodes和NameNode。如果虚拟机拒绝(或云禁止、崩溃)你的数据还在。
 
低成本:包括存储和计算:存储,因为没有必要维护两份数据,一个用于备份,另一个用于运行Hadoop;计算,因为你不需要仅仅为服务数据而保持VM一直运行。同时,它是以分钟计费,你可以在多个内核上更快的运行Hadoop,并且你的成本不再是四舍五入为一个小时来计算。
 
没有存储管理开销:鉴于HDFS需要日常维护——比如文件系统校验、重整、升级、反转和NameNode重启——Google Cloud Storage只需要为计算付费。你的数据是安全和一致的,不需要更多的努力。
 
互通性:通过在Google Cloud Storage保管你的数据,你可以从Google上其它已经***融合的服务中获益。
 
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能——因为它没有管理和维护开销。
  
如果想了解Google Cloud Platform到底有哪些优势,可以访问这个简单指导 。 Google很乐意听到你关于如何更好的在Google Cloud Platform运行Hadoop和MapReduce的反馈和想法。
 
写在***:为了与该领域的主要对手 AWS及其EC2竞争,Google已经通过增加一系列得新特性来巩固其平台优势,包括更先进的路由、高达10TB的大型***磁盘、更新App Engine托管服务以及降低成本等。可以预测,这些措施将使Google获得数十亿美元的基础设施市场,同时,我们期待Google能够为App继续开放更大的空间。
责任编辑:鸢玮 来源: CSDN编译
相关推荐

2018-05-07 10:04:55

ServerlessGoogle ClouAzure

2013-03-15 10:16:36

vCloudvCloud混合云服务

2014-02-14 09:22:36

AWSOracle云数据库

2018-12-12 10:31:15

Google网页快照WEB安全

2015-05-04 10:51:04

微软Azure数据仓库

2019-09-14 22:01:43

调查美国众议院苹果

2017-09-13 15:29:22

2020-07-07 10:41:07

数据销毁云计算云安全

2013-01-17 10:51:23

2013-11-07 09:37:29

Rackspace数据云性能服务器性能服务器

2015-10-27 10:33:30

Nutanix软件部署

2015-06-30 14:46:22

2020-02-07 20:44:06

谷歌Android开发者

2013-10-22 09:20:20

2013-10-22 10:36:49

2012-06-04 17:09:05

飞视美视频会议视频会议

2012-05-09 11:56:28

RIM

2015-10-08 10:11:29

AWSAWS re:Inve亚马逊

2014-10-29 15:04:55

Hadoop发行版

2014-08-13 09:39:05

Mesa
点赞
收藏

51CTO技术栈公众号