导读：开源的数据处置平台凭着其低本钱、高扩展性和灵活性的优势已经取得了多数互联网巨头的认同。目前Hadoop将进入更多企业。 IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理软件。上个月Oracle和Microsoft也分别透露了将计划在明年发布基于 Hadoop的商品。两家公司都计划提供帮助部署服务和企业级支持。Oracle已经承诺将会在云数据设施中预装Hadoop软件。

云数据革命正以Apache Hadoop为呼叫系统蓬勃发展的进行着。自从开源分布式数据处置平台在5年前发布时讨论之声就不绝于耳。但在过去的18个月中，Hadoop取得了顾客的认同，并得到海量商业化的支持与海量数据库和数据集成软件商的整理。在海量厂家之中最著名的三个商业数据提供商当属Oracle、IBM和 Microsoft。

Hadoop会在将来成为云数据的重大技术吗？

Hadoop是一个基于Java的分布式密集数据处置和数据剖析的软件框架。Hadoop在非常大程度上是受谷歌在2004年白皮书中讲解的 MapReduce的技术启发。MapReduce工作原理是将任务分解为成百上千块的小任务，然后发送到计算机集群中。每台计算机再传送会自己那部分信息，MapReduce则飞速整理这类反馈并形成答案。

Hadoop的扩展性很出色，Hadoop可处置分布在数以千计的低本钱X86服务器计算节点中的大型数据。同时因为大家都知道的摩尔定律，内存和磁盘的容量也在不断增长。Hadoop对硬件的支持也在加大，目前每一个节点可部署16核的处置器，12TB甚至24TB磁盘。Cloudera透露其推出的商品每一个节点的本钱大约4000USD。这个价格对于关系数据库部署每TB 10000至12000USD来讲极具角逐优势。

这种高容量低本钱的组合引人注目，但Hadoop最吸引人的是其处置混合数据种类的能力。

Hadoop可以管理结构化数据，与诸如服务器日志文件和Web点击流的数据。同时还可以管理以非结构化文本为中心的数据，如facebook和 Twitter。这种处置多种类数据的能力尤为重要。它催生了NoSQL平台和商品。如Cassandra, CouchDB, MongoDB与Oracle最新的NoSQL数据库。而传统关系型数据库如Oracle，IBM DB2，Microsoft SQL Server和MySQL则都不可以处置混合数据种类和非结构化数据。 因为事务处置灵活性的需要，Hadoop获得大部分数据剖析厂家的关注和支持。

Hadoop已被广泛应用

如今，Hadoop已被觉得是非结构化数据的专用技术。低本钱、高扩展性和灵活性等优势已成为处置大规模点击流量剖析和广告定位等互联网巨头（如AOL和comScore）的最佳选择。

AOL三年多时间一直用Hadoop。AOL的研发团队在加利福尼亚州的Mountain View部署了300节点的系统，该系统可以存储天天数十亿事件和超越500TB的点击流数据。点击所带来流数据是高度结构化的，但数据量是很庞大和多样的。所以几乎不可能处置所有些提取、转换和负载工作。AOL为知道决以上问题决定用Hadoop MapReduce处置分布在数百个计算节点的数据过滤和关联任务。因为Hadoop为业务带来的优势，AOL的Hadoop研发团队在今年4月在其总部部署了700节点的系统。

Hadoop适用于所有种类数据的特质注定将使Hadoop在更广泛的范围用。比如提供推广托管服务和中小型企业应用服务提供商SunGrad。他们将计划推出基于云的推广托管服务，旨在帮助金融服务公司处置他们基于Hadoop MapReduce的数据处置。

商用软件厂家Tidemark近期也推出一款SaaS软件，这种基于云的性能管理应用用MapReduce将混合数据源转化为商品或金融规划策略。

三巨头云数据范围齐发力

在上月美国拉斯维加斯举行IOD年度大会上IBM院士、DB2总构造师Curt Cotner宣布IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理软件。他还表示将来的数据库进步方向是非关系数据库NoSQL。现在 谷歌的BigTable和Amazon的Dynamo都用NoSQL型数据库，而传统的关系数据库在应对超大规模、高并发的SNS、web2.0 网站已经心有余而力不足。同时IBM发布了一系列数据剖析软件，包含云计算版本的InfoSphere BigInsights。BigInsights是一套打造在Hadoop上的数据剖析软件，可以处置企业用户采集很多非结构化资料。

Microsoft也在十月12日在西雅图举行的SQL PASS 2011峰会宣布将与从雅虎分拆出来的Hortonworks合作开发Hadoop，并将在Apache Hadoop上达成搭建Windows Azure与Windows Server平台。同时基于Hadoop的Windows Server还会与Microsoft现有些BI工具联合处置任务。

Oracle作为全球最大的关系型数据库提供商也有所行动。其在2011 Oracle全球大会上推出了Big Data Appliance。Big Data Appliance是一个集成了Hadoop、NoSQL Database、Oracle数据库Hadoop适配器、Oracle数据库Hadoop装载器及R语言的系统。

Hadoop的将来

依据现在的情况来看，Hadoop作为企业级数据仓库体系结构核心技术，在将来的数年中将会维持持续增长的势头。包含MapR、Zettaset、 Cloudera、HStreaming、Hadapt、DataStax、Datameer这类与Hadoop有关的新公司已经获得投资，为大家所熟悉，为各种市场带来最新技术。

同时下一代的MapReduce会健全不少之前不尽人如意的地方。第一节点数将从现在的4000增加到6000|10000，第二并发的任务数从现在的40000增加到100000。另外将继续加强对硬件支持，同时构造也会有所改变，包含更多编程模式的支持。

欢迎转载，本文版权归于杭州网站制作（http://www.zjteam.com）

更多IT行业资讯：如何提高商品客户体验?