求索阁

1.Hadoop

应用最普遍的有：Hadoop，是目前应用最广泛的大数据技术，特别是针对文本及视频等非结构化数据。除分布式文件系统之（HDFS）外，伴随Hadoop同时出现的还有大数据集处理MapReduce架构。

Hadoop是由Apache基金会开发的分布式系统基础架构。用户不用了解分布式底层细节，就可开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop框架核心是：HDFS（分布式文件系统Hadoop Distributed File System）和MapReduce。HDFS为海量数据提供存储；MapReduce为海量数据提供计算。 

Hadoop特点是：高效，通过并行处理加快处理速度，在节点之间动态地移动数据并保证各节点的动态平衡，可处理理PB级数据；

Hadoop框架的核心是：HDFS和MapReduce 。

其特点：高可靠，按位存储和处理数据的能力值得人们信赖；高扩展性，在可用的计算机集群间分配数据，并完成计算任务的，这些集群可以方便地扩展到数以千计的节点中；高容错性，能自动保存数据的多个副本，并且自动将失败的任务重新分配；低成本，可轻松地在Hadoop上开发和运行处理海量数据的应用程序。它可运行在廉价设备

总之，Hadoop是一种分布式数据和计算的框架。特别适于存储大量的半结构化的数据集。

2.Spark

Spark，专为大规模数据处理而设计的快速通用的计算引擎（加州大学伯克利分校AMP lab ）。

拥有Hadoop MapReduce所具有的优点；不同于MapReduce的是：Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此能更好地适用于数据挖掘与机器学习等

Spark是与 Hadoop相似的开源集群计算环境，在某些工作负载方面表现得更加优越。换句话说，它启用内存分布数据集，除了能够提供交互式查询外，还可优化工作负载。

Spark 是在 Scala语言中实现的，将 Scala 用作其应用程序框架。

Spark的特点，主要有三个：高级 API 不用关注于集群本身，Spark 应用开发者可以专注于应用所要做的计算本身；运算速度快，支持交互式计算和复杂算法；是通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，在 Spark 出现之前，我们需要学习各种各样的引擎来分别处理这些速度运算。

3.NoSQL数据库

NoSQL数据库，泛指非关系型的数据库。随着互联网的深入发展，传统的关系数据库在应付超大规模和高并发数据方面，已经显得力不从心，暴露了很多难以克服的问题；因而，非关系型的数据库由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合、多重数据种类带来的挑战，尤其是大数据应用难题。

NoSQL的流行与火起来是近年来的事，但已经开始了第二代的阶段。早期，堆栈代码只能算是一种实验，然而，现在的系统已经更加的成熟稳定，且技术越来越成熟，以至于原来很好的NoSQL数据存储不得不进行重写，这可能就是V2.0版本。

我们生活的时代，相对稳定的数据库市场中还在出现一些新的技术，而且在未来几年，它们会发挥作用。

NoSQL数据库本身就包含了几种新技术。总体而言，它们关注关系型数据库引擎的限制，如索引流媒体和高访问量的网站服务等。在这些领域，NoSQL相较关系型数据库引擎， 效率明显更高。

4.内存分析

内存分析，Gartner评选的2012年十大战略技术之一。内存分析在个人消费电子设备及其他嵌入式设备中的应用得到快速的发展。

随着越来越多的价格低廉的内存应用于数据中心，如何利用内存分析对软件进行最大限度的优化就成为关键的问题。内存分析以其实时、高性能的特性，成为大数据分析时代下的“新宠儿”。如何让大数据转化为最佳的洞察力，也许内存分析就是答案。

集成设备，随着数据仓库设备(Data Warehouse Appliance)的出现，商业智能以及大数据分析的潜能也被激发出来。企业将利用数据仓库新技术的优势提升自身竞争力。

集成设备将企业的数据仓库硬件、软件整合在一起；提升查询性能、扩充存储空间，并获得更多的分析功能；能够提供同传统数据仓库系统一样的优势。在大数据时代，集成设备将成为企业应对数据挑战的一个重要利器。

准确、深入的理解大数据，要从三个层面着手：

理论，是认知的首要途径。从大数据的定义、特征、价值的理解，探讨大数据之所在，洞悉其发展趋势；从隐私的视角，审视人和数据之间的长久博弈。

技术，是大数据价值体现的手段和进步的基础。从云、分布式处理、存储和感知技术的发展，理解大数据从采集、处理、存储到形成结果的整个过程。

实践，是大数据的最终价值体现。从互联网、政府、企业和个人大数据四个方面。展望其的美好景象将实现的蓝图。

大数据应用，是非常广泛的。如：洛杉矶警察局利用大数据，预测犯罪的发生。google利用搜索关键词，预测禽流感的传播。统计学家(Nate Silver)利用大数据，预测美国大选结果；麻省理工学院利用手机定位和交通数据，制定城市规划；梅西百货根据需求和库存数据，建立实时定价机制，对多达7300万种货品进行实时调价；医疗行业通过大数据，特别是处理海量、非结构化数据数据，调配医、药资源和医保资金管理。

大数据发展趋势，大数据是信息化浪潮中的一朵浪花。数据的资源化，大数据成为企业和社会关注的重要战略资源，并成为大家争夺的新领域。与云计算深度融合，云计算为大数据提供了弹性、可拓展的基础平台；大数据技术已开始和云计算技术紧密融合。

物联网、移动互联网等也助力大数据产生更大的影响力。

理论的突破，大数据很可能是新一轮的技术革命，随之兴起的数据挖掘、机器学习和人工智能等可能改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

数据科学和数据产业，数据科学将成为专门的学科。