依托云计算,挖据大数据背后的价值

大数据

       云计算是信息技术发展和信息社会需求到达一定阶段的必然结果。云计算技术的创新带动了新的商业模式的成功，对现有电子信息产业及应用模式产生了巨大的震动，有着深远的影响.iDC预测，未来3年全球云计算领域将有8000亿美元的新业务收入。整个“十二五”期间，我国云计算领域的产业规模预计可达7500~10000亿元人民币。目前，全球各大IT厂商正竞相进入云计算领域，以占据新一代信息技术的制高点。

　　云计算需避免两大误区

　　在政府和业界的双重推动下，云计算已经变得炙手可热，成为新兴产业中最热门的领域。这说明云计算已经从“不知所云”到深入人心，同时也存在隐忧和困扰。其中的问题主要体现在两个方面：

　　一方面是对于“云泡沫”的担忧。据有关调查，很多地方投巨资建成了所谓的“云”系统，但资源利用率却不足20%，云计算中心成了形象工程，甚至成了变相的商业地产项目。云计算本身是一种绿色计算，不是比规模、比设备、比厂房，发展云计算不能变成简单的圈钱圈地，而要尽可能避免重复建设和资源浪费，将云计算产业落到实处，让消费者受益于云计算。因此，云计算的创新应用，是云计算产业健康发展的试金石。

　　另一方面是云计算被作为万能包装过度渲染，仿佛什么都可以云化，在互联网上什么都是云计算，以至于消费者和投资者常常困扰于对真“云”和假“云”的辨别。云计算的本质特征是什么？首先，云计算是一种基于互联网、大众参与的计算模式，云计算的基本应用场景应该直接面向互联网，所需要的资源不在客户端而是来自网络，即通过网络提供企业和个人所需要的计算力、存储空间、软件功能和信息服务等;其次，云计算的服务一定具有较高的可伸缩能力，云计算的服务资源能够随着应用需求自动地动态调整，既能够在几分钟甚至数秒之内，自动地增加服务资源的数量、提升服务能力来应对网络的尖峰流量，又能随着应用的减少，动态减少服务资源。

　　云计算支撑大数据发展

　　大数据(Big Data)这个概念近年来在越来越多的场合被越来越多的人提及，并且经常是和云计算联系在一起。大数据无疑将给人类社会带来巨大的价值，科研机构可以通过大数据业务协助进行研究探索，如环境、资源、能源、气象、航天、生命等领域的探索。那么云计算和大数据之间到底是什么关系呢？概括而言，没有互联网就没有云计算模式，没有云计算模式就没有大数据处理技术。

　　然而，云计算环境同样对大数据处理技术提出了新的挑战，这主要反映在传统的关系数据库不能满足大数据处理的要求，比如海量用户的高并发读写、海量数据的高效存储和访问、系统的高可用性和高扩展性等。为此，业界一些厂商先后研发了一批包含分布式数据缓存、分布式文件系统、非关系型数据库和新关系型数据库等新技术来解决上述问题。

　　同样，由于海量数据的大数据量和分布性的特点，使得传统的数据处理技术不适合于处理海量数据。这对海量数据的分布式并行处理技术提出了新的挑战，开始出现以MapReduce为代表的一系列新处理技术，像数据并行处理技术、增量处理技术、流式计算技术等。

　　云计算时代会有更多的数据存储于计算中心。数据是资产，云是数据资产保管的场所和访问的渠道。大数据的处理和分析必须依靠云计算提供计算环境和能力，挖掘出适合于特定场景和主题的有效数据集。比如，《纽约时报》用云计算转换了1851年到1922年超过40万张扫描的图片，通过把任务分配给几百台电脑，这项工作在36个小时内就完成了;信用卡公司Visa计算两年的纪录，包括730亿笔交易、高达36TB的数据，处理时间用传统方法需要1个月，而采用基于Hadoop的处理技术只要13分钟。

　　挖掘数据背后的价值

　　在互联网时代，特别是进入移动互联网时代后，人们只有通过数据挖掘才能从海量的低价值密度的数据中发现其潜在价值。移动互联网时代的大数据挖掘，主要是网络环境下的非结构化数据挖掘，这些数据形态反映是鲜活的、碎片化的、异构的原生态数据。这种非结构化数据有什么特点呢？它常常是低价值、异构、冗余的数据，甚至有部分数据放在存储器里没再用过。与此同时，数据挖掘关注的对象也发生了很大改变，挖掘关注的首先是小众，只有先满足小众挖掘的需求，才谈得上满足由更多小众组成的大众的需求，因此移动互联网时代数据挖掘的一个重要思想，就是“由下而上”胜过“由上而下”的顶层设计，强调挖掘数据的真实性、及时性，要发现关联、发现异常、发现趋势，并最终发现价值。

　　事实上，互联网上交互的大众，不仅在享受服务，也在提供信息。公众的在线行为已经不能仅仅用浏览、搜索或挖掘来表征，正在演化为迅速地创造内容，涌现出群体智能。小众的局部积聚特性又可以形成较大范围的“大众”特性，小众成为大众的基础。对公众、大众和小众的认识为我们认知人类在不同尺度上的所谓微观、中观或者宏观的群体行为，为认知群体中的竞争与协作提供了机会。因此人们在进行数据挖掘的过程中要注重网络化大数据挖掘的方法，也即社区与社区发现。例如，无线T恤公司(Threadless)是一个在线T恤零售商兼创作聚落，该网站透过用户设计及用户投票选出得票最高的T恤，让使用者能够分享自行设计的T恤图案的同时，也让获胜者得到一定的酬金.threadless已经成为商业和社区模式双赢的典范，每周都能收到800多个新的设计方案，每天有超过1000名新注册用户来进行设计和艺术方面的讨论，并根据设计方案所激发的灵感提交配套的音乐和视频。

　　今天，互联网带宽正以每6个月翻一番的速度在发展，它比每9个月翻一番的存储发展速度和每18个月翻一番的计算发展速度都要快，带宽的迅猛发展让人类进入了交互时代，而交互又带动着计算和存储加速前进。

　　大数据标志一个新时代的到来，这个时代的特征不只是追求丰富的物质资源，也不只是无所不在的互联网带来方便的多样化的信息服务，同时还包含区别于物质的数据资源的价值挖掘，以及价值转换等等。而大数据也将在云计算技术等的支撑下发掘出更多的价值。