智慧城市建设破解移动基站设置难题网络

机械泵2020年04月15日

谷歌虚拟机运行模式Apache Hadoop更靠谱

Google Compute Engine 的虚拟机提供了一种快速、可靠的方式来运行 Apache Hadoop。如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform 上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统。

在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。

在十年前,从Google第一次介绍了Google File System (GFS)――Hadoop Distributed File System(HDFS)的基础――Google一直在努力改善Google大数据处理的存储系统。最新的成果是Colossus。

今天的发行版本提供了准确的――使用了一个简单的连接器库,Hadoop现在可以直接地在Google Cloud Storage运行――一个对象存储创建在Colossus上。这意味着你在大数据处理时可以从Google的这项技术中获益。

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。只要将URL指向你的数据就可以。

快速启动:数据准备处理。当你的数据复制到HDFS以及NameNode

,你不必等待过长时间来结束这个安全模式。同时,你也不需要花费数据复制VM时间。

更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性,因为它有独立的Compute Nodes和NameNode。如果虚拟机拒绝(或云禁止、崩溃)你的数据还在。

低成本:包括存储和计算:存储,因为没有必要维护两份数据,一个用于备份,另一个用于运行Hadoop;计算,因为你不需要仅仅为服务数据而保持VM一直运行。同时,它是以分钟计费,你可以在多个内核上更快的运行Hadoop,并且你的成本不再是四舍五入为一个小时来计算。

没有存储管理开销:鉴于HDFS需要日常维护――比如文件系统校验、重整、升级、反转和NameNode重启――Google Cloud Storage只需要为计算付费。你的数据是安全和一致的,不需要更多的努力。

互通性:通过在Google Cloud Storage保管你的数据,你可以从Google上其它已经完美融合的服务中获益。

性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能――因为它没有管理和维护开销。

如果想了解Google Cloud Platform到底有哪些优势,可以访问这个简单指导 。 Google很乐意听到你关于如何更好的在Google Cloud Platform运行Hadoop和MapReduce的反馈和想法。

写在最后:为了与该领域的主要对手 AWS及其EC2竞争,Google已经通过增加一系列得新特性来巩固其平台优势,包括更先进的路由、高达10TB的大型永久磁盘、更新App Engine托管服务以及降低成本等。可以预测,这些措施将使Google获得数十亿美元的基础设施市场,同时,我们期待Google能够为App继续开放更大的空间。

孩子脸色发黄怎么回事小儿脾胃虚弱怎么食疗一岁半宝宝便秘怎么办陕西男科医院哪家好

天津男科专科医院

静脉曲张注意事项

治疗勃起功能障碍的好方法
拉肚子的饮食注意什么
心绞痛的好发部位
相关阅读
“帮信”就是“帮凶”!两名帮助核心技术犯罪嫌疑人落网东阿

大众网·海报新闻记者 廖伟 聊城华盛顿邮报7年底3日,东阿县公安部门刑侦三...

2024-12-30
的国际生物多样性日|生命因多样而精彩

星球不仅是全人类的原居 也是冰冻所有生物的合作原居 生物自然的减损 不太...

2024-12-30
“钻”进市民孤独,我们和成都首家社区画廊主理人聊了聊

寅识 Gallery 紧邻在武侯区中城东路郊外,这片街区也被人习惯性的称为黑正门...

2024-12-29
两句话就能测试出老板到底提拔你,如果老板这样回复,你就死心吧

很多人在职守门员摸爬滚打了好多年,却无论如何得不到经纪人的起用,有的...

2024-12-23
2022年中国国际服务边境贸易交易会 北美线上推介会成功举办

5同年20日,2022年中国国际间增值商路参展澳大利亚线上推介会成功举办。此...

2024-12-21
陈戌源这次动真格!新身份包揽中国足球复国任务,高洪波当他助手

我们知道,身为立国际背协主席的陈戌源,现任立国家所队杯赛督战以及后勤...

2024-12-14
友情链接