搜索
查看: 1905|: 0

我们应更积极地迎接DT时代的到来

[复制链接]

215

主题

13

回帖

2181

积分

金牌会员

积分
2181
发表于 2015-7-29 16:29:38 | 显示全部楼层 |阅读模式

可以说,如今互联网已经影响到了人们衣食住行甚至是政务等方方面面。
这是一个IT时代!
对于这个定论,或许大部分人都不会反对。但是有一天,有人突然对你说:人类正在从        IT时代步入到DT时代。
DT时代,数据科技时代。我们一只脚已经踏入了数据科技时代?为何这么突然?!
这并不突然,这一切的一切都是那么有预见性!
DT时代来临——变革在悄然发生
或许,真如马云所言:人类正从IT时代走向DT时代!
在数据处理需求急剧上升的今天,是什么在支撑着数据的变现?
DT时代的骨骼——大数据处理平台的衍变
是的,正是数据处理平台,或者换种说法:一套完整的数据处理流程。
从数据的采集、清洗、流式实时计算、数据落地。在大多数时候,这一套完整的流程过后(或许会没有流式实时计算),这才真正进入数据的价值挖掘阶段,包括了数据的离线计算,通过一系列的建模挖掘其隐含的商业价值。
当然,在大数据遍地的今天,数据的收集也好、处理也好、挖掘也好,我们想必也要加一个“大”字了。
那么,在DT时代来临的今天,能够支撑这一流程得以流通的正是数据平台,或者说是大数据处理平台。
它将是支撑DT时代来临的骨骼!
当然,大数据处理平台也不是一开始存在的,它也必然经历着一系列的衍变。才形成今天我们看到的,或这或那的数据平台形式。
就在不久前,我曾在storm-分布式-IT技术群中发起了一次近千人的话题讨论(当然,实际参与讨论的人远没有这么多,很大一部分人还是喜欢静静的围观的),其核心就是当前互联网公司中大数据平台发展的现状。
当时的讨论过程很剧烈,汇聚了各个企业公司的大牛小牛、程序猿、设计狮、产品狗,总之各种动物都有,众说纷纭,各有各的观点看法,但总体来说就目前几种大数据平台的形态,大家还是有比较一致的看法的。
灵玖软件010-62648067 公众号:lingjoin09,也是在大数据搜索挖掘领域成长起来的一家高新企业,他们的大数据搜索与挖掘技术已经应用于全球三十余万家机构,包括国家统计局、中国证监会、中国邮政集团、国家气象局、国家新闻办公室、最高人民法院等国家单位,中国上市公司协会、中国对外承包工程商会、北京市园林局、解放军某部等事业与机关,以及海航集团、上海电信、中国网、富基融通eFuture、四维图新、缔元信等大中型企业。
(1)大数据处理平台的终极形态--深度挖掘
数据已经完美流通,包括了完整的大规模数据采集系统、数据预处理清洗系统、数据流式实时计算系统、大规模数据存储系统、大规模离线计算系统;拥有全面的数据监控调度系统,能够方便地低成本地进行数据流程监控、调度,实时掌握数据的动态变化;拥有完善符合自身业务需求的机器学习算法库,数据挖掘层面,已经进入了数据深层挖掘阶段。
其中以BAT为代表。在国内,BAT一向是技术的引领者,因此他们在数据价值挖掘这一方面,也确实做到了领先地步。
(2)其次是大数据平台完善,处于数据浅层挖掘状态
同样,这种形态的企业公司,数据平台的数据已经完全打通,他们已经在开始尝试挖掘数据的潜在价值,意图达到数据的变现。
当然,或许是由于技术积累的问题,或许是人力物力的原因,他们并没有能力做深一层的探索、挖掘,但是他们却一直在努力。他们缺少是一套完善的,适合自己的,又能够方便使用的数据挖掘库。
处于这种形态的公司也不少,诸如CSDN、去哪儿、艺龙等等,他们在个性化的道路上孜孜不倦地探索着。
(3)数据流通,处于数据统计分析阶段
这种形态的数据中心,大规模数据处理平台已经基本搭建,数据已经能够流通,处于大规模数据的统计分析阶段。
这种类型的公司,他们更多倾向于对数据仓库的建立,对大批量数据进行存储、统计并且分析数据的走势以及变化。所以,就Hadoop生态来说,他们可能更倾向于使用Hive之类的技术或者工具。
处于这种形态的公司是占大多数的,典型如刚组建大数据部门的短短一年时间的360,当然还有很多很多类似的公司,数不胜数。
他们希望摸清楚自己到底掌握了什么样的数据,这些数据到底是怎么变化的,通过对这些数据的了解以及掌控,他们才能更好做出更合理的商业决策。
在不久的将来,在他们已经充分掌握了数据的规律,他们也必然会向数据潜在价值挖掘方向努力。
(4)数据整合,平台搭建阶段
这种形态下,数据尚未流通,整个体系尚未搭建起来。
或者说,很多企业公司,在以往的情况下,各个部门产品,其数据都是分开维护的。需要维护多份数据,成本高;数据的利用率低,数据不连通。
他们意图将数据进行整合,有一套完整的收集、清洗以及落地的流程,因此,他们尤其缺少懂得数据收集、数据清晰以及数据大规模落地的人才。或者,换个更通俗的说法,他们缺少懂得hadoop生态平台的人。
这种公司也不少,诸如金山的西山居,智能手机界的黑马小米等。
(5)数据量不够,但然仍意图搭建一个大数据处理平台
这一部分公司大部分都是小公司,在数据量层面上,他们并没有很急切的需求,去搭建起一套完善的数据处理平台。
或许是受大数据潮流影响,但是,从长远的角度来看,随着数据量的增长,这也必然是一个趋势。
所以,他们往往也会花费少量的人力物力,在这一方面上进行技术预研,或者搭建起一个简单的小规模数据处理平台。
其实,简单来看,这是大数据处理平台的五种不同形态,但这又何尝不是大数据处理平台的一个衍变过程呢?!
在DT时代来临的今天,你是否清楚自己处于一个什么的位置,将来又将向何处发展变迁?
只有将骨骼搭建起来了,我们才能、才有资格去谈论如何挖掘数据的潜在价值。
我们不止需要骨骼来支撑DT这一体系,更需要源源不断的血液来激发它的活力。
DT时代的血液——数据从何处而来
是的,前面我们说了很多很多,但一个关键的问题不可忽视:数据从何处而来?
如果说大数据处理平台是支撑DT的骨骼,那么数据就是DT的血液。那么如何造血就是大家所关注的问题了。
(1)企业的业务数据
数据最直接来源就是各个企业公司自己产生的业务数据,或许是某些公司拥有很强的预见性,多年前就已经开始收集自己的数据,也或许是他的无意之举。
但不管怎么样,他把自己的历史数据给保留了下来。当然,有部分公司,本身产生数据的速度就足够快,数据量也足够多,他们就不必担心这个问题了。
(2)互联网的隐藏数据
前不久,有一个朋友在群里问了一个比较复杂问题,是关于数据抓取解析方面的。
可能是他问的问题太深奥,也可能是恰巧群里大牛都不在,总之就是没有人解决。
人就问了:哥们,你研究这个这么深干吗?他回答了一句:抓取数据啊,难道你们研究处理的数据不是从网上抓取的吗?
这句话让我猛然惊醒:有人已经开始向互联网这座公共金山动手了。
十几年的底蕴,隐藏了多少数据财富?在DT时代来临的今天,必定会越来越多的人去挖掘它的价值,只不过这需要一定的技术、一定手段而已。
(3)移动互联网数据的暴涨
相对于互联网,移动互联网的发展历史并不长,但他的发展可谓是日新月异。
如今,随着智能手机的普及,3G、4G网络的推广,移动互联网产生的数据正在处于爆炸似得增长。
同样,这是一座新的数据金山,需要我们去开采它。
(4)传统以及线下数据的接入整合
随着总理的一句“互联网+”,传统行业开始纷纷与互联网进行结合,这带来的最直接影响是:线下数据的接入与整合。
或许有人会说:传统行业能有多少数据。可千万不能小看传统行业的数据,毕竟他们有着近乎数十年,远超于互联网的历史,其累计的数据量亦不可小看。
随着“互联网+”的进一步发展,线下接入的数据也将是DT时代的血液之一。
(5)网连万物--万物都可以产生数据
说道物联网,其实很多年前就有人说他一定会火起来,但是之前却一直没有火起来。究其因,不在乎两个:一是移动网络成本过高;二是终端感应技术尚未发展到这个阶段。
但如今不一样了,随着3G、4G网络的普及,移动网络成本大幅度下降;智能终端感应技术的快速发展也让物联网这一技术方向不再是概念。
我们可以看到,众多互联网公司已经开始纷纷布局智能领域了,包括智能家居、智能交通、智慧城市、智能办公等等。
在DT时代,感应终端也将是一个巨大的数据产生源,一个DT时代造血的源头。
在DT时代即将来临的今天,不止是数据处理以及数据获取这两个方面值得我们反思,还有其他的方方面面需要我们去思考。
通过不断的反思,不断的改进,我们做好最充分的准备,迎接DT时代的到来!

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-11-15 06:45 , Processed in 0.073346 second(s), 24 queries .

快速回复 返回顶部 返回列表