原题:大数据竞争前沿动态
大数据以其“浅显易懂”的概念和巨大的应用前景,正成为继云计算、物联网之后信息技术领域的又一热点。为把握大数据带来的新机遇,需要全面深入地理解大数据,并在此基础上推动大数据发展与应用。
大数据在当前为何受到前所未有的重视
大数据的概念并非近期才出现。20世纪90年代初,数据仓库之父比尔·恩门就对此津津乐道。2005年,约翰·韦伯斯特和克里斯·斯塔库提斯联合撰写的书籍《无所不包的数据》中,讲述了大规模收集数据如何改变企业的业务和人们的生活。但受限于当时的信息技术水平,大数据的理念未能真正落地。之所以大数据在当前受到前所未有的重视,归纳起来有三方面原因。
首先,大数据已成为一种普遍现象。全球的数据总量正呈指数增长,过去3年间产生的数据量超过以往总和。2011年,全球被创建和被复制的数据总量达1.8ZB;预计2020年将增至35.2ZB。同时,企业级用户的数据拥有量快速增长,搜索引擎企业百度拥有的数据总量已达到100PB,每天要处理30PB的数据量;电子商务网站淘宝每天的活跃数据量已经超过50TB。随着移动互联网、物联网等的迅速发展,新的数据源将不断出现,GPS、传感器等数据会持续、大量产生。而数据产生成本、获取成本、存储成本和处理成本的下降,也推动了数据体量的膨胀。
其次,发展大数据已成为经济增长的重要途径。麦肯锡全球研究院于2011年6月发布题为《大数据:下一个创新、竞争和生产力的前沿》的研究报告,提出“大数据时代已经到来”,并指出,数据正成为与物质资产和人力资本相提并论的重要生产要素,大数据的使用将成为未来提高竞争力、生产力、创新能力以及创造消费者盈余的关键要素,成为领军企业与其他企业之间最显著的差别。与之相呼应,各类企业也越来越重视对规模化数据的分析和使用。电信、金融等行业已经达到“数据就是业务本身”的发展阶段;社交媒体、电子商务、云计算、物联网等新应用的兴起,要求企业不能再仅对价值链单个环节的数据进行分析。这种情况下,企业用户迫切需要借助大数据战略,更为全面地了解运营情况及运营环境,获得更多经济价值。
第三,发展大数据已成为国家发展的重要战略。2012年3月,美国奥巴马政府宣布“大数据的研究和发展计划”,涉及6个联邦政府部门,承诺投资超过2亿美元。如此兴师动众,是因为美国政府认为大数据技术事关美国国家安全、科学和研究的步伐。美国对大数据的重视引发了世界各国的广泛关注,各国均认为,未来国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力,数字主权将成为继边防、海防、空防之后另一个大国博弈的空间。美国奥巴马政府宣布投资大数据领域,是大数据从商业行为上升到国家战略的分水岭,表明大数据正式提升到战略层面,大数据在经济社会各个层面、各个领域都开始受到重视。
大数据的内涵应当是数据、技术与应用三者的统一
尽管“大数据”一词已被广泛使用和讨论,但目前尚无统一的定义,不同厂商、不同用户,所处角度不同,对大数据的理解也不一样。全面来看,大数据应当是数据、技术与应用三者的统一。
其一,从对象角度看,大数据是大小超出传统软硬件采集、储存、管理和分析等能力的数据集合。大规模的数据集合是大数据分析的对象和基础,正是由于使用常规的软硬件技术和产品无法对大数据进行全面处理,所以必须采用新技术。但同时,大数据也是一个相对的概念,没有一个严格的标准限定多大规模的数据集合才称得上是大数据。事实上,随着时间推移和数据管理与处理技术的进步,符合大数据标准的数据集合的规模也在并将继续增长。而对于不同行业领域和不同应用而言,“大数据”的规模也不统一。这就要求不能简单地用PB、EB等规模标准去衡量大数据。
其二,从技术角度看,大数据技术是从各种各样类型的大数据中,快速获得有价值信息的技术及其集成。“大数据”与“大规模数据”、“海量数据”等类似概念间的重要区别之一,就在于“大数据”这一概念中包含着对数据对象的处理行为。为能从大数据对象中快速挖掘更多有价值的信息,使大数据对象“活起来”,就需要综合运用先进的、多学科的技术方法,包括数据分析、数据挖掘、分布式处理等,而这就需要拥有对各类技术、各类软硬件的集成应用能力。可见,大数据技术是使大数据中所蕴含的价值得以发掘和展现的重要工具。
其三,从应用角度看,大数据是对特定的大数据集合,集成应用大数据技术,获得有价值信息的行为。一方面,“大数据”本身和“数据挖掘”、“智能分析”等技术都已存在较长时间,所以大数据成为当前热点,就在于各个行业领域具有了对大数据分析和利用的巨大现实需求和具体应用需求。如果不与具体应用相联系,大数据的作用和价值就无从谈起。另一方面,由于业务需求存在差异,对于不同领域、不同业务,甚至同一领域不同企业的相同业务来说,由于数据集合和分析挖掘目标存在差异,所运用的大数据技术和大数据分析处理系统也可能存在相当大不同。正由于与具体应用紧密联系,甚至是一对一的联系,才使“应用”成为大数据不可或缺的内涵之一。
可见,对象、技术与应用是相互关联、互为支撑的,忽视了任何一个,大数据的价值就无法充分发挥。
|