|
一、国内外大数据的发展状况及应用 1、大数据已深耕于经济领域且创造了巨大的经济价值 美国的大数据产业已经创造了巨大的价值，具体表现在： 1）大数据使美国医疗服务质量得到提高。 对于医疗服务的提供方和支付方来说，在减少医疗成本的同时不断提高医疗质量和效率仍然是一个难以实现的目标，而这也是改善民生的重 大机遇。2010年，全美医疗支出占国内生产总值的17.9%，比2000年增长13.8%。而且，某些慢性疾病如糖尿病的患病率正在增加，正在消耗 更多的医疗资源。 对这些疾病和其他相关健康服务的管理将深刻地影响国家的福祉。在这方面大数据可以发挥作用。为在广大人群中取得最有效的医疗效果， 更多地使用电子健康记录（电子健康档案），并与新的分析工具相结合，将提供挖掘信息的机会。研究人员可以利用信息寻找有效的统计趋 势，并依据真实的医疗服务质量开展医疗评估。 2）大数据使美国的交通更加便利。 通过完善信息和自动驾驶功能，大数据有可能在许多方面彻底改变交通的面貌。开车的人多，交通堵塞就多，其后果是浪费能源，造成全球 气候变暖，耗费时间和金钱。手持设备、车辆和道路上的分布式传感器则可以提供实时交通信息。这些信息，再加上更好的自动驾驶功能， 可以使驾驶更安全，交通堵塞更少。智能汽车日益互联的新型交通生态系统有可能彻底改变道路使用方式。 3）大数据使美国的教育质量得到提升。 大数据可以对美国教育及其在全球经济中的竞争力产生深远影响。例如，通过深入地跟踪和分析学生的在线学习活动-精细至每个鼠标点击 动作，研究人员能够确定学生的学习方式和提高学习的方法。这种分析可以针对成千上万的学生进行，而不是孤立的小型研究。课程和教学 方法，无论是在线的，还是传统的，都可以根据大规模分析所收集到的信息进行修订。 4）大数据提高了美国的征税效率。 由于迅速发现异常的能力日益增加，政府税务部门可以缩小“税收缺口”，即纳税人应付税款与其自愿缴税额之间的差额，并且对于那些试 图进行不当纳税申报的人，会深刻地改变他们的行为方式。大多数税务机构实行“自愿缴税与追讨欠税并举”的模式。在这种模式下，它们 接受纳税人的纳税申报单并办理退税，并对一部分纳税申报单进行抽查，以找出有意或无意欠税的情况。 大数据则能够提高欺诈检测的水平，在纳税申报之初就揭露违规情况，减少问题退税的发放。资料表明，在医疗领域每年产生3000亿美元的 潜在价值；在公共管理部门，每年产生2500亿美元的潜在价值；在个人位置数据领域，每年产生1000亿美元的市场；在零售业能够增加60% 的营业额；在制造业部门，能够降低50%的产品开发及装配成本。 5）大数据在欧洲公共管理部门得到深入应用。 大数据在OECD组织中的欧洲国家公共管理部门创造了1500到3000亿欧元或更高的潜在经济价值，这些经济价值主要通过政府公共管理机构开 支的减少、转移支付的下降及税收的增加来实现。三是全球大数据人才需求将上升并且出现供需缺口。Gartner咨询公司预测，到2015年， 大数据人才需求达到440万人，人才需求缺口将达到三分之一。 2、欧美等发达国家把数据资产上升到国家信息战略高度 1）美国已经布局大数据产业。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。2012年3月，美国奥巴马政府宣布 投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为 大数据是“未来的新石油与矿产”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。 以美国科学与技术政策办公室（OSTP）为首，国土安全部、美国国家科学基金会、国防部、美国国家安全局、能源部等已经开始了与民间企 业或大学开展多项大数据相关的各种研究开发。美国政府为之拨出超过2亿美元的研究开发预算。奥巴马指出，通过提高从大型复杂的数字 数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，改变教学研究，加强国家安全。 据悉，美国国防部已经在积极部署大数据行动，利用海量数据挖掘高价值情报，提高快速响应能力，实现决策自动化。而美国中央情报局通 过利用大数据技术，将分析搜集的数据时间由63天缩减到27分钟。 2012年5月美国数字政府战略发布，更是提出要通过协调化的方式，所有部门共同提高收集、储存、保留、管理、分析和共享海量数据所需 核心技术的先进性，并形成合力；扩大大数据技术开发和应用所需人才的供给。以信息和客户为中心，改变联邦政府工作方式，为美国民众 提供更优公共服务。 2）欧盟及日韩将会紧随其后。 继美国率先开启大数据国家战略先河之后，欧盟、日本及韩国等国家也将跟进，预计不久相应的战略举措也将出台。数据规模及运用数据的 能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间争夺的焦点。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政 府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同 合作，投入3亿欧元资金用于推动大数据领域的发展。 法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二 天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目 的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无 二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题，日本总务省于 2012年7月新发布“活跃ICT日本”新综合战略，今后日本的ICT战略方向备受关注。其中最为关注的是其大数据政策（从各种各样类型的数 据中，快速获得有价值信息的能力），日本正在针对大数据推广的现状、发展动向、面临问题等进行探讨，以期对解决社会公共问题作出贡 献。 2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和 大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。 3、我国大数据的国家战略 争夺新一轮技术革命制高点的战役已经打响，中国政府在美国提出《大数据研究和发展计划》的2012年也批复了“十二五国家政务信息化建 设工程规划”，总投资额估计在几百亿，专门有人口、法人、空间、宏观经济和文化等五大资源库的五大建设工程。我国的开放、共享和智 能的大数据的时代已经来临！ 2012年8月份国务院制定了促进信息消费扩大内需的文件，推动商业企业加快信息基础设施演进升级，增强信息产品供给能力，形成行业联 盟，制定行业标准，构建大数据产业链，促进创新链与产业链有效嫁接。 同时，构建大数据研究平台，整合创新资源，实施“专项计划”，突破关键技术。大力推进国家发改委和中科院基础研究大数据服务平台应 用示范项目，广东率先启动大数据战略推动政府转型，北京正积极探索政府公布大数据供社会开发，上海也启动大数据研发三年行动计划。 当前，在政府部门数据对外开放，由企业系统分析大数据进行投资经营方面，上海无疑是先行一步。2014年5月15日，上海市自今年起推动 各级政府部门将数据对外开放，并鼓励社会对其进行加工和运用。 根据上海市经信委印发的《2014年度上海市政府数据资源向社会开放工作计划》，目前已确定190项数据内容作为2014年重点开放领域，涵 盖28个市级部门，涉及公共安全、公共服务、交通服务、教育科技、产业发展、金融服务、能源环境、健康卫生、文化娱乐等11个领域。 其中市场监管类数据和交通数据资源的开放将成为重点，这些与市民息息相关的信息查询届时将完全开放。这意味着企业运用大数据在上海 “掘金”的时代来临，企业投资和上海民生相关的产业如交通运输、餐饮等，可以不再“盲人摸象”。 在立足国家战略和产业政策推动大数据收集和分析技术快速发展的同时，我们也应清醒地认识到避免数据垄断和保护数据安全的重要性，及 早开展相关法律法规的探讨和研究。 伴随着大数据时代的来临，世界各国对数据的重视提到了前所未有的高度。套上大数据的光环后，原本那些存放在服务器上平淡无奇的陈年 旧数一夜之间身价倍增。按照世界经济论坛报告的看法，“大数据为新财富，价值堪比石油”。正如大数据之父维克托所预测，“虽然数据 还没有被列入企业的资产负债表，但这只是一个时间问题。” 今天的国家将大数据视为国家战略，并且在实施上，也已经进入到企业战略层面，这种认识已经远远超出当年的信息化战略。我们上面介绍 了许多国外的动态，末了自然也要落脚到本国，思考本国可能采取的发展道路。但是，尚未见到网络安全战略和信息化发展战略全文（据说 两会期间公布，也就是这几天），我们也不妨先总结国外的情形，以便进行比较。 2014年2月27日中央网络安全和信息化领导小组宣告成立，组长习近平指出，没有网络安全就没有国家安全，没有信息化就没有现代化。建 设网络强国，要有自己的技术，有过硬的技术；要有丰富全面的信息服务，繁荣发展的网络文化；要有良好的信息基础设施，形成实力雄厚 的信息经济；要有高素质的网络安全和信息化人才队伍；要积极开展双边、多边的互联网国际交流合作。从话的另一方面也说明目前我们没 有自己的过硬技术，网络文化还有点问题，基础设施还是太差，人才队伍素质跟不上需求，也没有可靠的盟友，信息经济实力太弱。 毫无疑问，中国的底子太薄了。但是，大数据是信息化时代的“石油”。开发大数据资源的能力将影响未来国家的核心竞争力。我国不能幻 想走在别人修好的道路，更不能等靠，只能依赖自身能力加速前行，这种能力就是将数据转化为信息和知识的速度与技术，而这种转化速度 和技术，则决定了大数据技术能力的高低。 
二、我国大数据的发展趋势及误区 1、我国大数据的发展趋势 在全球经济、技术一体化的今天，我国IT行业已经开启了大数据的起航之旅，大数据已经在经济领域发挥重要作用。据计世咨讯预测，2012 年，政府、互联网、电信、金融等领域市场规模占据近一半的市场份额。大数据在主要经济领域的发展趋势如下： 1）大数据在经济预警方面发挥重要作用 在2008年金融危机中，阿里平台的海量交易记录预测了经济指数的下滑。2008年初，阿里巴巴平台上整个买家询盘数急剧下滑，预示了经济 危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警，为预防危机做好了准备。 2）大数据分析成为市场营销的重要手段 与传统的市场研究方法不同，大数据的市场研究方法不再局限于抽样调查，而是基于几乎全样本空间。例如，百度拥有中国最大的消费者行 为数据库，覆盖95%的中国网民，搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具，帮助宝洁精准的定位了消费者的 地域分布、兴趣爱好等信息，根据百度分析的结论，宝洁适时地调整了营销策略。 3）大数据在临床诊断、远程监控、药品研发等领域发挥重要作用 我国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据 ，医院能够精准地分析病人的体征、治疗费用和疗效数据，可避免过度及副作用较为明显的治疗，此外还可以利用这些数据进行实现计算机 远程监护，对慢性病进行管理等。 4）大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑 大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台，导入客户社 交网络、电子商务、终端媒体产生的数据，从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析，进而获取用户的消费习惯、 风险收益偏好等。针对用户这些特性，银行等金融部门能够实施风险及营销管理。 当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技 术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情， 把握规律，实现科学发展，做出科学决策具有重要意义。 中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和 机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息， 应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。 2、我国大数据行业的误区 误区一：只有搞大数据技术开发的，才是真正“圈内人”。 笔者曾经参加过若干会议，70%是偏技术的，在场的都是国内各个数据相关项目经理和技术带头人，大家讨论的话题都是在升级CDH版本的时 候有什么问题，在处理Hive作业的时候哪种方式更好，在Storm、Kafka匹配时如何效率更高，在Spark应用时内存如何释放这些问题。参会 者都一个态度：不懂大数据技术的人没资格评论大数据，您要不懂Hadoop2.0中的资源配置，不懂Spark在内存的驻留时间调优，不懂Kafka 采集就别参加这个会！对了，最近Google完全抛弃MR只用Dataflow了，您懂吗？不懂滚粗！ 在这里我想说，技术的进步都是由业务驱动的，某宝去了IOE才能叫大数据吗，我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的 人，用什么按摩手法进行全流程治疗，就不叫大数据分析了吗？技术发展到什么程度，只有一小部分是由科学家追求极致的精神驱动，大部 分原因是因为业务发展到一定程度，要求技术必须做出进步才能达成目标的。 所以，真正的大数据“圈内人”至少要包含以下几种人： 1）业务运营人员。 比如互联网的产品经理要求技术人员，必须在用户到达网站的时候就算出他今天的心情指数，而且要实现动态监测，这时候只能用Storm或 者Spark来处理了；比如电信运营商要求做到实时营销，用户进入营业厅的时候，必须马上推送短信给用户，提示他本营业厅有一个特别适 合他的相亲对象（呈现身高、三围、体重等指标），但是见面前要先购买4G手机；再比如病人来到银行开户，银行了解到用户最近1周曾经 去医院门诊过两次，出国旅游过3次，带孩子游泳两次，马上客户经理就给客户推荐相关的银行保险 理财产品。这些业务人员，往往是驱动 技术进步的核心原因。 2）架构师。 架构师有多么重要，当一个业务人员和一个工程师，一个说着业务语言，一个说着技术术语在那里讨论问题的时候，工程师往往想着用什么 样的代码能马上让他闭嘴，而架构师往往会跳出来说“不，不能那样，你这样写只能解决一个问题并且会制造后续的若干问题，按照我这个 方案来，可以解决后续的若干问题！”一个非技术企业的IT系统水平，往往有70%以上的标准掌握在架构设计人员手里，尽快很多优秀的架 构师都是从工程师慢慢发展学习而来的，IT架构的重要性，很多企业都意识到了，这就是很多企业有CTO和CIO两个职位，同样重要！架构之 美，当IT系统平稳运行的时候没人能感受到，但是在一个烟囱林立、架构混乱的环境中走过的人眼中，IT开发一定要架构现行，开发在后！ 3）投资人。 老板，不用说了，老板给你吃穿，你给老板卖命，天生的基础资料提供者，老板说要有山便有了山，老板说要做实时数据处理分析，便有了 Storm，老板说要做开源，便有了Hadoop，老板还说要做迭代挖掘，便有了Spark…… 4）科学家。 他们是别人眼中的Geek，他们是别人眼中的高大上，他们是类似于霍金一样的神秘的早出晚归昼伏夜出的眼睛男女，他们是驱动世界技术进 步的核心力量。除了世界顶级的IT公司（往往世界技术方向掌握在他们手中），其他公司一般需要1-2个科学家足以，他们是真正投身于科 学的人，不要让他们去考虑业务场景，不要让他们去考虑业务流程，不要让他们去计算成本，不要让他们去考虑项目进度，他们唯一需要考 虑的就是如何在某个指标上击败对手，在某个指标上提高0.1%已经让他们可以连续奋战，不眠不休，让我们都为这些科学家喝彩和欢呼吧。 在中国，我认为真正的大数据科学家不超过百人…… 5）工程师。 工程师是这样一群可爱的人，他们年轻，冲动，有理想，又被人尊称为“屌丝”“键盘党”，他们孜孜不倦的为自己的理想而拼搏，每次自 己取得一点点进步的时候，都在考虑是不是地铁口的鸡蛋灌饼又涨了五毛钱。他们敏感，自负，从来不屑于和业务人员去争论。工程师和科 学家的不同点在于，工程师需要频繁改动代码，频繁测试程序，频繁上线，但是最后的系统是由若干工程师的代码组合起来的。每个自负的 工程师看到系统的历史代码都会鄙视的发出一声“哼，这垃圾代码”，之后便投入到被后人继续鄙视的代码编写工作中去。 6）跟风者。 他们中有些是培训师，有些是杀马特洗剪吹，有些是煤老板有些是失足少女。他们的特点就是炒，和炒房者唯一不同的就是，他们不用付出 金钱，他们认为只要和数据沾边就叫大数据，他们有些人甚至从来没碰过IT系统，他们是浑水摸鱼、滥竽充数的高手，他们是被前几种人鄙 视的隐形人。不过我想说，欢迎来炒，一个行业炒的越凶，真正有价值的人就更能发挥自己的作用。 误区二：只有大数据才能拯救世界 大数据目前的技术和应用都是在数据分析、数据仓库等方面，主要针对OLAP（OnlineAnalyticalSystem），从技术角度来说，包含我总结的 两条腿：一条腿是批量数据处理（包括MR、MPP等），另一条腿实时数据流处理（Storm、内存数据库等）。 在此基础上，部分场景又发现MR框架或实时框架不能很好的满足近线、迭代的挖掘需要，故又产生了目前非常火的基于内存数据处理Spark 框架。很多企业目前的大数据框架是，一方面以Hadoop2.0之上的Hive、Pig框架处理底层的数据加工和处理，把按照业务逻辑处理完的数据 直接送入到应用数据库中；另一方面以Storm流处理引擎处理实时的数据，根据业务营销的规则触发相应的营销场景。同时，用基于Spark处 理技术集群满足对于实时数据加工、挖掘的需求。 以上描述可以看出，大数据说白了就是还没有进入真正的交易系统，没有在OLTP（OnlineTransactionsystem）方面做出太大的贡献。至于 很多文章把大数据和物联网、泛在网、智慧城市都联系在一起，我认为大数据不过是条件之一，其余的OLTP系统是否具备，物理网络甚至组 织架构都是重要因素。 最后还想说，大数据处理技术，再炫如Google的Dataflow或成熟如Hadoop2.0、数据仓库、Storm等，本质上都是数据加工工具，对于很多工 程师来说，只需要把数据处理流程搞清楚就可以了，在这个平台上可以用固定的模版和脚本进行数据加工已经足够。毕竟数据的价值70%以 上是对业务应用而言的，一个炫词对于业务如果没有帮助，终将只是屠龙之术。任何技术、IT架构都要符合业务规划、符合业务发展的要求 ，否则技术只会妨碍业务和生产力的发展。 随着时代变迁，大浪淘沙，作为数据行业的一员，我们每个人都在不同的角色之间转换，今天你可能是科学家，明天就会变成架构师，今天 的工程师也会变成几年后的科学家，部分人还终将步入跟风者的行列。 
三、我国大数据发展的机遇和困境 1、大数据迎来大发展的机遇 大数据的快速发展，使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算，国外大数据行业约有1000亿 美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元，2013年增速将达到138%， 达到11.2亿元，产业发展潜力非常巨大。 1）政府积极介入推动 2009年，联合国启动“全球脉动计划”，借大数据推动落后地区发展。2012年1月，世界经济论坛年会把“大数据、大影响”作为重要议题 。美国从开放政府数据、开展关键技术研究和推动大数据应用三方面布局大数据产业。美国在开放政府上非常积极，通过Data.gov开放37万 个数据集，并开放网站的API和源代码，提供上千个数据应用。除了推动本国政府数据开放，美国倡导发起全球开放政府数据运动，已有41 个国家响应。美国政府还投资两亿美元促进大数据核心技术研究和应用，把大数据放在与集成电路、互联网同等重要的位臵，从国家层面推 进。 2）资本市场也对大数据钟爱有加 2012年4月，大数据分析公司Splunk高调宣传大数据，引发投资者关注。12月初，为企业市场提供Hadoop解决方案的创业公司Cloudera获得 6500万美元融资，估值约为7亿美元。近期，高盛联席主席斯科特。斯坦福说：“投资大数据及其运用回报率最高”。大数据领域的企业并 购热度也在上升，单笔平均并购金额方面，大数据超过云计算位居IT领域榜首，在总并购额上也位居第二。 3）人才需求巨大 据一家国际咨询公司，盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要 深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更 大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。 4）各方积极参与 大数据的火爆，也带动了国内学术界、产业界和政府对大数据的热情。2011年以来，中国计算机学会、中国通信学会先后成立了大数据委员 会，研究大数据中的科学与工程问题，科技部的《中国云科技发展“十二五”专项规划》和工信部的《物联网“十二五”发展规划》等都把 大数据技术作为一项重点予以支持。 其中工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖 掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术 ，也都与“大数据”密切相关。 应用方面，中国三大通信运营商都在结合自身业务情况，积极推进大数据应用工作，并取得了较好的进展。电子商务企业阿里巴巴提出要做 中国数据分析第一平台，通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。据透露，截 至目前阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。 研发企业方面，我国能够处理大数据的企业并不是很多。北京永洪科技在这方面做的不错。永洪科技在大数据、分布式计算、数据分析等领 域具备核心竞争力、自主创新并拥有多项发明专利。推出的Z系列产品在大数据的应用分析中在国际上也是领先的。 大数据的热潮触发了一场思想启蒙运动，使得“大数据是资产，不是包袱”、“要拿数据说话”等观念逐步深入人心，改变了以往不重视数 据积累，不相信数据分析等认识。有了这种思维模式的改变，大数据的应用就有了希望。 2、大数据落地面临的困难 应该说，全球来看，对大数据认识、研究和应用还都处于初期阶段。特别是对我国来说，大数据真正落地，还需要迈过三道坎。 1）数据是否足够丰富和开放 丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政 府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大 大降低了数据的价值。 同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受 行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要 因素是政策法规不完善，大数据挖掘缺乏相应的立法，无法既保证共享又防止滥用，一方面欠缺推动政府和公共数据的政策，另一方面数据 保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的第 一道砍。 2）是否掌握强大的数据分析工具 要以低成本和可扩展的方式处理大数据，这就需要对整个IT架构进行重构，开发先进的软件平台和算法。这方面，国外又一次走在我们前面 。特别是近年来以开源模式发展起来的Hadoop等大数据处理软件平台，及其相关产业已经在美国初步形成。 而我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。如果把大数据比作石油，那数据分析工具就是勘探 、钻井、提炼、加工的技术。我国必须掌握大数据关键技术，才能将资源转化为价值。应该说，要迈过这道坎，开源技术为我们提供了很好 的基础。 3）管理理念和运作方式能否适配数据化决策 大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场 管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管 理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。 
四、对我国发展大数据产业的建议 大数据有巨大的社会和商业价值，就看会不会挖掘，是否善于运用数据分析的结果。同时，它又是一个应用驱动性很强的服务，要做好大数 据产业，为经济发展提供更大的动力，需要从以下几人方面入手。 1、建立一套运行机制。 大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合 ，搞好顶层设计。 2、规范一套建设标准。 没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息 互通、资源共享奠定基础。 3、搭建一个共享平台。 数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数 据共享。 4、培养一支专业队伍。 大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。 
五、结论 目前，大数据在电信、智慧城市、电子商务及社交娱乐等行业已经出现规模化应用，中国大数据市场将进入高速发展时期。大数据真正的价 值体现在从海量且多样的内容中提取用户行为、用户数据、特征并转化为数据资源，对数据资源进一步加以挖掘和分析，增强用户信息获取 的便利性，实现从产品价值导向到以客户体验价值为中心导向的转换，客户体验的提升也正是激发信息消费的根本原因。 中国信息消费市场规模量级巨大，增长迅速。在网络能力的提升、居民消费升级和四化加快融合发展的背景下，新技术、新产品、新内容、 新服务、新业态不断激发新的消费需求，而作为提升信息消费体验的重要手段，大数据将在行业领域获得广泛应用。 大数据已经渗透到各个行业和业务职能领域，成为重要的生产因素，大数据的演进与生产力的提高有着直接的关系。随着网速的大幅提升， 数据也将迎来爆发式增长，快速获取、处理、分析海量、多样化的交易数据、交互数据与传感数据，从而实现信息再价值化，对大数据的利 用将成为企业提高核心竞争力和抢占市场先机的关键。大数据因其巨大的商业价值正在成为推动信息产业变革的新引擎。 中国发展大数据，具有得天独厚的优势，主要体现在我国的特殊的国情，拥有独特的位势和经济社会高速稳定发展，给大数据及其应用带来 了巨大的发展空间。大数据在我国各领域和不同行业的应用潜力巨大、机遇重大。大数据的核心技术进展和大数据应用有可能带来我国新兴 战略性产业发展的新机遇。
| 
发表于 2014-11-14 15:34:18
