Google云计算原理与应用 - 新闻中心 - 福州哈唐网络-福建IDC企业!专注云主机及服务器租用托管13年!

新闻中心

首页 > 新闻中心 > 行业新闻 >

Google云计算原理与应用

时间:2016-11-08 11:01:08   阅读:

 
      Google拥有全球最强大的搜索引擎。除了搜索业务,Google还有Google Maps、Google Earth、Gmail、YouTube等其他业务。这些应用的共性在于数据量巨大,且要面向全球用户提供实时服务,因此Google必须解决海量数据存储和快速处理问题。
 
   Google研发出了简单而又高效的技术,让多达百万台的廉价计算机协同工作,共同完成这些任务,这些技术在诞生几年后才被命名为Google云计算技术。Google云计算技术包括: Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby、分布式结构化数据表Bigtable、分布式存储系统Megastore以及分布式监控系统Dapper等。其中,GFS提供了海量数据的存储和访问的能力,MapReduce使得海量信息的并行处理变得简单易行,Chubby保证了分布式环境下并发操作的同步问题,   Bigtable使得海量数据的管理和组织十分方便,构建在Bigtable之上的Megastore则实现了关系型数据库和NoSQL之间的巧妙融合,Dapper能够全方位的监控整个Google云计算平台的运行状况。本章详细介绍这六种核心技术和Google应用程序引擎。
 
Google文件系统GFS
 
     Google文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为Google云计算提供海量存储,并且与Chubby、MapReduce及Bigtable等技术结合十分紧密,处于所有核心技术的底层。GFS不是一个开源的系统,我们仅能从Google公布的技术文档来获得相关知识。文献是Google公布的关于GFS的最为详尽的技术文档,它从GFS产生的背景、特点、系统框架、性能测试等方面进行了详细的阐述。
 
      当前主流分布式文件系统有RedHat的GFS(Global File System)、IBM的GPFS、 Sun的Lustre等。这些系统通常用于高性能计算或大型数据中心,对硬件设施条件要求较高。以Lustre文件系统为例,它只对元数据管理器MDS提供容错解决方案,而对于具体的数据存储节点OST来说,则依赖其自身来解决容错的问题。例如,Lustre推荐OST节点采用RAID技术或SAN存储区域网来容错,但由于Lustre自身不能提供数据存储的容错,一旦OST发生故障就无法恢复,因此对OST的稳定性就提出了相当高的要求,从而大大增加了存储的成本,而且成本会随着规模的扩大线性增长。
 
      正如李开复所说的那样,创新固然重要,但有用的创新更重要。创新的价值,取决于一项创新在新颖、有用和可行性这三个方面的综合表现。Google GFS的新颖之处在于它采用廉价的商用机器构建分布式文件系统,同时将GFS的设计与Google应用的特点紧密结合,简化实现,使之可行,最终达到创意新颖、有用、可行的完美组合。GFS将容错的任务交给文件系统完成,利用软件的方法解决系统可靠性问题,使存储的成本成倍下降。 GFS将服务器故障视为正常现象,并采用多种方法,从多个角度,使用不同的容错措施,确保数据存储的安全、保证提供不间断的数据存储服务。


闽公网安备 35010002000114号