现在的位置: 首页 > 自动控制 > 科技·视野 > 正文

行业趋势:大数据时代的潜在价值

2013-03-21 20:10 科技·视野 ⁄ 共 5033字 ⁄ 字号 评论 10 条

    在这春节期间,大家都见证了全球最大的“人类迁移”——车流、物流、人流,它们流淌的同时也是数据,是商机。而大数据,就是这样一种需要借助专有平台实现价值提炼帮助决策分析的海量数据集。鉴于大数据在云计算、移动、社交等多个发展趋势中都具有普遍性和重要性,本文将为广大读者介绍有关大数据的基本内容,以期帮助更多人了解大数据,并从中挖掘更多商机活跃市场。

另类“V字仇杀队”

    谈到大数据,就自然而然会想到大数据的4V特点:Volume(数据量大)、Velocity(实时性强)、 Variety(种类多样)、Veracity(真实性)。另外,通常还大数据还具有Value(价值)的特点,这也是人们纷纷关注大数据的主要驱动力之一。这里的“V字仇杀队”指的是大数据时代下价值的重新定义和挖掘,让数据价值充斥在社会的每个角落。

    大数据是多维的,而且极具复杂性。大数据带来的价值包括但不限于:数据的组织和管理,基础架构,决策支持和自动化界面和分析。随着社交数据、企业内容、交易与应用数据等新数据源的兴起,传统数据源的局限性被打破,企业愈发需要有效的信息治理以确保其真实性及安全性。

大数据的四大要素及挑战

Volume——数据体量巨大。从TB级别,增长到PB级别。截至目前,人类生产的所有印刷材料的数据量是200PB(1PB=1024TB),而历史上全人类说过的所有的话的数据量大约是5EB(1EB=1024PB)。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。
Velocity——处理速度快,1秒定律。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。
Variety——数据类型繁多,络日志、视频、图片、地理位置信息等等。类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,这些多类型的数据对数据的处理能力提出了更高要求。
Veracity——只有真实而准确的数据才能让对数据的管控和治理真正有意义。

广泛的应用

大数据对于每个人来说都是机遇和挑战并存。在大数据科学、网络日志、RFID(无线射频识别技术)、传感网络、社交网络、社交数据、网络文档、互联网搜索、呼叫中心、天文学、气象学、地理学 、生物学和其他数据庞大的学术性领域和民用、军用、视频、电子商务等等,都有着广泛的应用。
大数据科学
大型强子对撞机(Large Hadron Collider)是一座位于瑞士日内瓦近郊欧洲核子研究组织CERN的对撞型粒子加速器,主要作为国际高能物理学展开研究。该实验室分布有1.5亿个传感器,平均每秒传输的 数据多达4000万倍,在每秒钟内有6亿次碰撞。其中有99.999%的数据是经过过滤并没有记录下来的, 也就是仅有100次碰撞(每秒)的数据最具有价值。

大型强子对撞机

    因此,真正需要采集并处理的数据仅为传感器数据中的0.001%。整个LHC实验室的数据年增长为25PB(不考虑数据备份)。
·如果所有的传感器数据都需要记录下来并进行处理的话,那么其工作量将极其庞大并变得难以为继。那样的话,年数据增长将达1.5亿PB,也就是相当于每天500EB。
政府部门
去年,美国奥巴马管理当局宣布成立大型数据研究和发展倡议(Big Data Research and Development Initiative),致力于帮助政府部门如何利用大数据解决重大问题。该倡议包括84个不同的大数据项目工程和6个部门。此外,美国联邦政府还拥有当今世界上最顶级的十大超级计算机中的六个。负责气象模拟的NASA部门,在其发现者号超级计算机集群中也存储有32PB气象观测和模拟数据。这些,其实 也都说明政府部门对大数据的重视,以及为此而展开的应用。

商业领域
在商业领域,大数据解决方案和应用则更是百花齐放百家争鸣。著名的Facebook社交平台,早已开展了基于用户行为分析的数据挖掘和决策分析能够对其所有用户的500亿张照片进行分析处理。沃尔玛每个小时处理的客户交易量超过百万次,这些交易量数据容量高达2.5PB(2560TB)——相当于美国国会图书馆藏书量的167倍。

应用开发
根据广义的信息和通信技术促进发展(ICT4D)的有效应用来看,大数据在社会经济发展中能够发挥重 要贡献。一方面,可以借助大数据提供具有成本效益的决策分析,比如在医疗、招聘、经济发展、预防犯罪、自然灾害、资源管理等领域。另一方面,隐私、互操作性挑战、算法的完善方面,以及由于缺乏技术基础设施和人才资源而产生新的数字鸿沟:以数据为基础的决策支持带来的信息鸿沟。

从这里我们不难看出,大数据在各个行业和领域,由于其面临的应用和业务不同而产生不同的挑战或者机遇,但无论怎么说,大数据都是一种趋势,一种会在短期内带来伤痛的机遇。也正是因为 如此,我们也还需要特别了解,大数据目前的一些解决方案和成功的应用案例。

相比之下,人们更容易看懂Sandy Bridge、Ivy Bridge等处理器架构和USB 3.0、雷电接口等技术规范,而大数据领域的解决方案和产品,由于其涉及规模较为庞杂,而成为了很多人并不熟知的一个新生事物。

大数据需要有不同于传统的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术 ,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台 ,互联网,和可扩展的存储系统。
大数据解决方案,通常都是基于集群的物理设施平台上,通过分布式处理系统来实现对海量数据的处理和分析。也正是如此,这种解决方案更多的是侧重于软硬一体或者分布式的软件系统平台来实现。
在大数据解决方案中,最为常见的当属Hadoop。Hadoop 是一个能够对大量数据进行分布式处理的软件 框架。Hadoop项目包括三部分,分别是Hadoop Distributed File System(HDFS)、HadoopMapReduce 编程模型,以及Hadoop Common。

英特尔:作为与Linux具有一样都具有革命性意义的Hadoop,英特尔还推出了基于该平台的发行版(包括免费发行版),以帮助用户更轻松地构建架构和使用分布式计算平台,开发和处理海量数据。

IT盲也毫无压力 大数据必知精粹合集

Intel Hadoop发行版

在英特尔所提出的大数据方案之中,至强处理器将为大数据分析提供原动力。英特尔还展示了其即将发行的Hadoop发行版——Intel Hadoop Manager 2.0。英特尔的Hadoop发行版着重对英特尔平台上的Hadoop进行了优化,企业可即时实施,安装、配置都非常简单。

微软:为帮助企业快速采用其大数据解决方案,微软将在 Microsoft Windows Azure平台上提供基于云端的Hadoop服务,同时在 Windows Server 上提供基于本地的 Hadoop 版本。 Hadoop 的丰富洞察可以与 Microsoft Business Intelligence (BI) 平台无缝结合,使客户能够借助Office和SharePoint以及公用的数据和服务来丰富他们的模型。

Windows Azure Hadoop优势

EMC:Greenplum统一分析平台(UAP)结合Greenplum DB 和Greenplum Hadoop为企业构建高效处理结构化,半结构化,非结构化数据的大数据分析平台。并且客户可 以以此平台为基础利用Greenplum行业和数学统计方面 的专家,充分挖掘自身数据价值,实现数据资产从成本 中心到利润中心的转变,以数据驱动业务。

甲骨文:提供了大数据软硬一体优化集成解决方案,其行业解决方案包括移动应用用户行为统计分析、基于日志和访问内容的用户画像、机顶盒用户使用习惯和精准营销、语义分析和搜索引擎实时处理、海量指纹识别以及人脸识别查询系统、分布式大数据存储和管理系统、海量历史数据分析平台、基于互联网的舆情监控系统等。Exadata就是一个预配置的软硬件结合体,可提供高性能的数据读写操作。

IBM:IBM 提供了全面的大数据解决方案,InfoSphere大数据分析平台包括BigInsights和 Streams,Streams采用内存计算方式分析实时数据,可以动态地分析大规模的结构化和非结构化数据。BigInsights基于Hadoop,增加了文本分析、统计决策工具,同时在可靠性、安全性、易用性、管理性方面提供了工具,并且可与DB2、Netezza等集成。

SAP:和甲骨文Exadata类似,SAP提供了一个高性能的数据查询功能,用户可以直接对大量实时业务数据进行查询和分析的软硬一体化解决方案HANA。

“信息将成为‘二十一世纪的石油’。”(Gartner,2010年)“数据正在成为商业的新型原材料:经济投入几乎相当于资本与劳动力。”(援引《经济学家》,2010年)。这些,无不说明大数据带来的巨大商机和潜在价值。在本文,主要给读者介绍大数据带来的两方面益处:更智能;更富有。
更智能和更富有,有时候并不等同。随着各大企业业务的扩展和市场经济节奏的加快,人们在制定市场策略的时候,需要更多的真实有效的数据作为决策支撑平台。而在大数据带来的致富方面,不仅对于商家来说是潜在商机,对于个人来说,也是创业实现自身价值的良好途径。手中握有数据的公司基 于数据交易即可产生很好的效益;其次,基于数据挖掘会有很多商业模式诞生

大数据成智能手段

君不见,各大网站的广告都会根据网民行为而展示、推送类似用户曾经浏览过的商品的宣传内容?比如一个网民经常浏览单反相机及其配件类产品,在访问其他网站的时候,就很容易看到类似镜头、单反相机和闪关灯之类的广告展示。
这种情况,在当今的社交媒体(比如微博)平台上,则会显得更为普遍的。因为大数据时代下,展示给每一个微博用户的品牌、产品宣传内容,这种无差异化的市场营销行为不仅无利于精准挖掘潜在客户,而且还有害于微博平台本身的用户体验。
谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。挖掘用户的行为习惯和喜好,凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化。大数据也日益显现出对各个行业的推进力。
此外,大数据还可以帮助实现智能交通、智能城市,帮助银行及时准确评估客户消费和信用信息等等。

大数据成致富捷径

未来,数据可能成为最大的交易商品。未来大数据将如同基础设施一样,有数据提供方、管理者、监管者,数据的交叉复用将大数据变成一大产业。

相比传统的致富资本——原材料、资金等等,它们一般都具有排他性,但数据却能够很容易地实现共享,并且通过共享实现更大的价值。此外,此数据和彼数据如果能有机地结合到一起,可能就会产生新的信息和知识,并且实现大幅增值。麦肯锡的报告就曾经指出:“已经有越来越多令人信服的证据表明:大数据将成为竞争的关键性基础,并成为下一波生产率提高、创新和为消费者创造价值的支柱”。

可以预见,基于知识的竞争,将集中表现为基于数据的竞争。而这种数据竞争,将成为经济发展的必然。随着全球竞争的不断深化,企业的地理优势也将淡化,各种国家和地区性的保护措施也将逐步取消,一项专利很快会被模仿、复制、推广,创新将越来越艰难。但在除去这些要素之外,还有一点可以构成企业竞争的基础,那就是以“低成本、高效率”的方式来开展公司的业务。这种竞争,要求公司制定流线型的商业过程,各个过程之间必须无缝隙、无摩擦地对接,并保证每一个商业决策明智、正确,在竞争的过程中不犯错误。(引自:美国信息经济领域的著名教授托马斯·达文波特)
要做到这些,企业必须广泛推行以事实为基础的决策方法,大量使用数据分析来优化企业的各个运营环节,通过基于数据的优化,将业务流程中的价值充分得到提炼,从而最大化节约成本、实现效益最优最大。

编后语:

本文主要围绕大数据的特点、行业应用和面临的挑战、相应解决方案和未来潜在价值这几个最为重要的领域展开论述,由于大数据这个话题本身很“大”很宽泛,也不可能面面俱到,因此主要在于通过这些内容的讲解,给广大网民和读者提供普及性的分享。

另外一个特别值得关注的事实是,大数据时代已经真真切切的来了,它已经存在我们的现实生活中,未来也将会在个人、企业、政府、教育、科研和军事等各种领域全面展开普及应用。

来源: 中关村在线

目前有 10 条留言    访客:6 条, 博主:0 条 ,引用: 4 条


  1. 管理员
    求索阁 2013年03月23日 10:09 上午  @回复  Δ1楼 回复

    10多年前,一台常见的个人电脑的存储空间只有40MB,而如今家用电脑的硬盘就可能高达1TB(1TB=1048576MB)。  量变导致质变,不断增加的数据带来的不仅是挑战,也是机遇,通过对于海量数据的深入分析,科学家能够发掘出原本难以发现的趋势。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产


  2. 管理员
    求索阁 2013年03月23日 10:23 上午  @回复  Δ2楼 回复

    虽然接下来的一个浪潮叫“大数据”,但并不意味着数据一定要达到多么大的规模才能有用。例如,一个利用谷歌分析的网站,是有能力收集一些诸如访问人数、访问来源、位置、页面浏览量、停留时间,等等,诸如此类能轻易获取的数据还有很多,取舍是个问题。  数据种类多了,并不意味着你要全都用到,只用你需要的就行了,或者说只用那些有潜在商业导向价值的数据。例如,你可以根据用户在你网站上的停留时间,决定是否使用工具向用户发起对话。在商业活动中,正确评估自身的需求和目标,并设计出因地制宜的数据策略,是非常关键的。

  3. 爱求索 2013年03月23日 10:24 上午  @回复  Δ3楼 回复

    要善于从你的小数据流中获得灵感,并将其落实为具体行动。例如,你可以设法采集一项数据,即访问你网站的访客中有多少点击了活动链接。用户在你网站上主动填写表格,或许可以作为一个特别提示,随之激发来自销售员的主动对话。  一个正在浏览不完整版网页超过一定时间的访客,可以为其提供一个完整版网页的下载按钮。电子商务网站,都可以配置具备如此功能的活动按钮。

  4. 爱求索 2013年03月23日 10:25 上午  @回复  Δ4楼 回复

    我们通常用数据来分析并改善销售和市场行为,数据同样也可以用来给顾客提供更好的服务。应该多利用一些顾客导向型的数据来改善服务质量。  可以利用数据分析所得的结论,来适时激发一些提醒框,以方便顾客在订阅一些虚拟服务时,不必到处去找注册和支付按钮,填写那些繁琐的信息,从而失去购买兴趣。有时候,良好服务所能产生的效益是惊人的。

  5. 爱求索 2013年03月23日 10:25 上午  @回复  Δ5楼 回复

     今年是大数据年,这是十年磨一剑的结果。人们现在太依赖电子表格了,不仅用其收集数据,更用其展示数据,到最后,数据的美感也失去了,灵感也迷失在一连串枯燥无味的数字之中。  可以用崭新的形式给顾客,也给自己提供赏心悦目的数据呈现形式,一目了然。现在人们在大量使用图表和图片,这种形式是非常值得提倡的,这给人们从另一个角度,生动地讲述了数据中蕴藏的故事。

  6. 爱求索 2013年06月22日 2:40 下午  @回复  Δ6楼 回复

    大数据分析可以帮助通信运营商分析海量的客户行为,针对性推出产品和服务,也可以帮助终端厂商分析用户习惯,研发新的产品。统计显示,过去两年间产生的数据占目前全球数据的90%,新的数据正在以每天2.5EB的量级高速增长。各行业企业正面临着同样的难题——如何利用更简便、经济的方式分析业务数据、了解客户购买行为、减少客户流失、开展需要大量数据支持的市场推广活动以及实时发现欺诈行为……IBM认为,大数据将成为对于企业而言至关重要的“未来新石油”,成为企业竞争优势的基础,改变企业决策、价值创造和价值实现的方式。调研指出,56%中国企业正在计划部署大数据,1/4的中国企业已经开始进行大数据实践。大数据与分析已经迈进“实践阶段”。

外部的引用: 4 条

  • 移动互联网:大数据时代的社会变革 « 求索阁
  • 行业趋势:视频监控展威力 技术人性待平衡 « 求索阁
  • 行业趋势:电力行业的大数据 « 求索阁
  • 大数据时代:家庭互联网的商业价值 « 求索阁

给我留言

留言无头像?