大数据技术与Hadoop之间的关系

　　大数据技术与Hadoop之间的关系，在现如今，随着面对当前企业级用户对于自建数据中心兴趣的不断扩大，以及大数据正在以惊人的速度增长几乎触及各行各业，而大数据是一种新兴的数据挖掘技术，它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代，很快便可应用于普通企业，在遍地开花的过程中，它将改变许多行业业务经营的模式。但是很多人对大数据存在误解，下面就来缕一缕大数据与Hadoop之间的关系。

　　我们都听过这个预测：到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。根据IDC数据显示，截止到2010年，这个数字已经达到了120万PB，或1.2ZB。如果把所有这些数据都存入DVD光盘，光盘高度将等同于从地球到月球的一个来回也就是大约480,000英里。

　　走进大数据，一种新兴的数据挖掘技术，它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代，很快便可应用于普通企业，在遍地开花的过程中，它将改变许多行业业务经营的模式。在计算机世界里，大数据被定义为一种使用非传统的数据过滤工具，对大量有序或无序数据集合进行的挖掘过程，它包括但不仅限于分布式计算(Hadoop)。

　　大数据已经站在了数据存储宣传的风口浪尖，也存在着大量不确定因素，这点上非常像“云”。我们请教了一些分析人士和大数据爱好者，请他们解释一下大数据究竟是什么，以及它对于未来数据存储的意义。

　　大数据走进历史舞台

　　适用于企业的大数据已经出现，这在部分程度上要归功于计算能耗的降低以及系统已具备执行多重处理的能力这样一个事实。而且随着主存储器成本的不断下降，和过去相比，公司可以将更多的数据存到存储器中。并且，将多台计算机连到服务器集群也变得更容易了。这三个变化加在一起成就了大数据，IDC数据库管理分析师CarlOlofson如是说。

　　大数据技术还没有在有大型数据仓库的公司中得到广泛普及。IDC认为，想让大数据技术得到认可，首先技术本身一定要足够便宜，然后，必须满足IBM称之为3V标准中的2V，即：类型(variety)，量(volume)和速度(velocity)。

　　对于大数据是什么以及大数据能干什么存在很多误会。下面就是有关大数据的三个误解：

　　1、关系数据库无法大幅增容，因此不能被认为是大数据技术(不对)

　　2、无需考虑工作负载或具体使用情况，Hadoop或以此类推的任何MapReduce都是大数据的最佳选择。(也不对)

　　3、图解式管理系统时代已经结束。图解的发展只会成为大数据应用的拦路虎。(可笑的错误)

　　大数据与开源的关系

　　“很多人认为Hadoop和大数据基本上是一个意思。这是错误的，”Olofson说。并解释道：Teradata,MySQL和“智能聚合技术”的某些安装启用都用不到Hadoop，但它们也可以被认为是大数据。

　　Hadoop是一种用于大数据开发工程师的应用程序，因为它是建立在MapReduce基础上的，所以引起了极大的关注。(MapReduce是一种用于超级计算的普通方法，之后经过了主要由Google资助的一个项目的优化，因此被简化并变得考究了）Hadoop是几个紧密关联的Apache项目组成的混合体的主要安装启用程序，其中包括MapReduce环境中的HBase数据库。