迄今为止,大数据尚没有一个公认的定义,也就是说,你说的大数据和我说的大数据可能不是一回事情,但这并不能够阻止大数据应用成为公认的发展趋势。据IDC报告显示,未来四年大数据市场显著增长,在此期间在线数据信息将呈爆炸式增长。据IDC预测,2017年大数据技术和服务市场复合年均增长率(CAGR)预计为27%,市场规模达到324美元(详见:2017年大数据市场价值324亿美元),其增幅度是ICT(信息和通信技术)市场6倍。其中,IDC亚太区(不含日本)大数据市场规模将会从2012年的5.48亿美元增加到2017年的23.8亿美元,年复合增长率达到34.1%,超出全球平均增幅(详见:2017年大数据技术和服务市场规模23.8亿美元)。所有迹象表明,大数据时代正在向我们走来。 大数据技术和服务驱动力 大数据成为趋势意味着巨大的市场商业机会。大数据特性可以用数据量大(Volume)、数据种类多样(Variety)、要求实时性强(Velocity)和蕴藏商业价值大(Value),也就是4个V来概括。这4个V也对数据处理和存储提出了新的要求。 为了应对大数据技术和服务新挑战,很多厂商都推出了大数据一体机平台,如IBM的Netezza一体机、Oracle的Exadata一体机、EMC的Greenplum一体机、浪潮云海大数据一体机和曙光的XData大数据一体机等。这些大数据一体机大多以Hadoop为管理平台,针对海量非机构化数据进行分布存储和管理,实现了数据分布式存储和本地化就近处理,具有横向灵活扩展的功能和特性。为增加应用的针对性,这些平台厂商与应用软件方案商合作,为用户提供大数据应用整体解决方案。 软件系统厂商也是大数据应用的积极推动者。数据分析、挖掘原本是传统数据库厂商、数据仓库和BI厂商的强项。以往其应用主要针对结构化数据,而海量非结构化、半结构化数据因为价值密度低,不适用传统方法,其成本过高。但是随着计算、存储等硬件成本的不断降低,特别是Hadoop、NFS等分布式数据存储和处理技术的成熟,通过Map/Reduce等数据处理方式,使得大数据处理成为了可能。在这种情况下,无论是IBM、Oracle、SAP等数据库厂商,还是Teradata、Informatica等数据仓库厂商,还是传统BI厂商,如SAS等,都针。 对大数据应用提供针对性的技术和方案。基于自然意义的理解,对于数据进行筛选、抽取和聚合,这原本就是这些厂商的优势,针对大数据应用需求原本也不存在更多难题 除了传统软硬件产品供应商之外,以Splunk、ICTCLAS为代表国内外大数据应用软件厂商和技术,也提供了落地解决方案。此外,Apache Drill、Storm等开源工具,MySQL、Hlive等开源数据库在互联网行业广泛使用。 数据开放是关键 大数据应用之所以得到广泛追捧,全数据分析是关键。专家指出,数据不怕多,哪怕是错误的数据,数据越多越好,透过大数据分析,会有一些意想不到的效果。 大数据所研究的不仅是数据本身,也包括数据之间的关系。互联网行业在大数据应用方面处于领先的定位,无论Ad Network、Ad Exchange、DSP、SSP、RTB、DMP等广告精准投放方式,还是电商的消费者者行为分析、商品推荐,互联网金融等都是建立在大数据分析的基础 之上,因此在互联网行业,大数据应用早已经不是概念,而是一个个落地的项目和商业模式。 大数据应用也是在互联网行业的推动下,像更加广阔的领域延伸。以互联网为楷模,大数据应用可以帮助传统行业/企业改善服务,提高市场的竞争力。大数据应用强调的是结果,有时候,你可能不知道原因,但大数据会告诉你结果和结论。一些争论不休的问题,可以通过大数据分析得到结果。例如透过对吸烟和癌症发病的数据分析比对,科学家发现,吸烟并没有导致癌症发病率显著提高。这是一个结果,其科学原因还有待研究和挖掘。 大数据分析结果的正确率有赖于数据的完整性。传统行业多年积累了大量数据,也是数据的持有者。但从整体来看,某一个企业或者行业也仅仅是数据的 部分持有者,为了最大化发挥数据价值,数据开放就是必然之路。奥巴马在谋求总统连任的过程中,就把促进政府部门数据开放作为目标策略之一。 可以预见,大数据软硬件技术的成熟,数据共享和开放将成为十分迫切的问题,在数据开放的同时,如何做到数据的合理使用,同时保护数据的隐私问题,将成为大数据发展的新 课题,需要相关的法律制度。数据开放将成为大数据应用的催化剂,也有可能成为大数据的应用的绊脚石。 专家指出,在当今环境条件下,行业/企业一方面要加强对于社会化大数据,如互联网、智慧社区数据的利用;另外一方面,行业/企业也应该尽可能实 现企业管理的数字化,特别是加强对于email、即时通讯软件等数据的管理和保护,因此,大数据应用需求将极大提升行业/企业数据管理和保护的意识,这些 将是无形的财富,也保持行业/企业竞争力的数据基础。 |