求索阁

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。 信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。目前...

周涛：对大数据背后的因果追求是人类超越机器之所在 周涛（电子科技大学大数据研究中心主任）：刘德寰老师提到大数据可能变成大忽悠和引来大风险，不管是大忽悠还是大风险，核心问题是我们到底找因果还是找关联。我觉得，我们可以从两个层面看这个问题，一个是从技术层面，我们的确需要找到因果，因为关联有的可能是假的关联，有的关联没有因果在背后是不能发现的。 举个简单例子，比如我们有很多运营商的数据，一个人上飞机起...

为充分运用大数据先进理念、技术和资源，加强对市场主体的服务和监管，推进简政放权和政府职能转变，提高政府治理能力，经国务院同意，现提出以下意见。 一、充分认识运用大数据加强对市场主体服务和监管的重要性 简政放权和工商登记制度改革措施的稳步推进，降低了市场准入门槛，简化了登记手续，激发了市场主体活力，有力带动和促进了就业。为确保改革措施顺利推进、取得实效，一方面要切实加强和改进政府服...

在大数据成为趋势，成为国家战略的今天，如何最大限度发挥大数据的价值成为人们思考的问题。无论是对于互联网企业、电信运营商还是数量众多的初创企业而言，大数据的变现显得尤为重要。谁最先一步找到密码，谁就能够抢占市场，赢得发展。在探索大数据商业模式的同时，大数据正加速在各行各业的应用，大数据不仅为人们的购物、出行、交友提供了帮助，甚至还在高考这样重要的事件中发挥作用。 大数据产业具有无污染、生态友好、...

新技术如社交媒体、电邮、博客、地理信息系统GIS、无线射频识别RFID和智能手机等为基于服务信息构建提供了新的机会。 处理大数据常见的方法和框架是Apache Hadoop，它以批处理的方式运行数据处理任务。现在，如果需要实时处理数据和实时显示数据，那这种基于批处理的方式并不是很适合。 STORM是一个开源框架，来自Twitter公司，其目标是大数据流的实时处理。STORM可以可靠地处理无限的数据流，实时处理Hadoop的批任务。STORM...

麦肯锡认为，大数据团队必须有五种职位： 1）数据卫生员(Data Hygienists) - 这些人，确保数据总是干净的、准确的。 2）数据探索者(Data Explorers) - 这些人在大数据项目找到你真正需要的数据。 3）企业解决方案架构师(Business Solution Architects) - 这些人把收集的数据组织在一起，以便用于分析，他们负责设计数据的结构，以确保数据可以有效地供所有用户检索，有些数据的访问需要数分钟、甚至数小时，例如，需要每分钟或...

有人问我，“你在大数据和Hadoop方面有多少经验？”我告诉他们，我一直在使用Hadoop，但是我处理的数据集很少有大于几个TB的。 他们又问我，“你能使用Hadoop做简单的分组和统计吗？”我说当然可以，我只是告诉他们我需要看一些文件格式的例子。 他们递给我一个包含600MB数据的闪盘，看起来这些数据并非样本数据，由于一些我不能理解的原因，当我的解决方案涉及到pandas.read_csv文件，而不是Hadoop，他们很不愉快。 Hadoop实际上是...

在全社会信息量爆炸式增长的背景下，政府部门该如何拥抱大数据？专家建议，一方面要加强与大数据分析企业、互联网公司的合作，获取更丰富的数据，另一方面要开放一些政府数据给企业，发挥企业的智力资源与技术实力，为政府提供决策支撑。 “这是适应时代需求的必然选择，是智慧城市建设的重要切入点。”中国电子信息产业发展研究院信息化研究中心副主任潘文接受记者采访时表示，公共信息资源中蕴含的经济潜力是惊人的，用好大数...

当今世界，信息革命日新月异，网络融入经济和社会发展的各个方面，互联网已经进入“大智移云”（即大数据、智能化、移动互联网和云计算的统称）的新时代。云计算、大数据是网络化发展的客观结果，必将使得信息网络运行的所谓“虚拟性”进一步还原和强化为信息处理的计算机本质。云计算和大数据散发的魅力使得整个社会运行对科学的依赖程度越来越深。在大数据时代，依托于大数据的“云治理”就成为社会治理的一种新模式。 一、大数据...

云的基础架构 公共云占据优势，感谢Target公司、Sony公司还有金正恩。如果你的公共云遭到黑客攻击，在责怪他人的同时，请记得还有跟你一同遭殃的受难者。公共云使用了大量的企业本地IT资源，因此也会成为巨大的宝藏。 Docker：大家都喜欢Docker，无人不爱。 现在公共云供应商的大型联盟共有两个半，他们的竞争被John Connors戏称为“西雅图之战”（谷歌在西雅图也有大量的云业务） 亚马逊仍以惊人的执行力居于榜首，并且...