大数据时代数据驱动决策的挑战

idata

　　决策可以由三种方式分别或混合驱动：直觉、经验和逻辑。虽然有时直觉和经验在决策过程中是无可替代的，例如乔布斯对苹果产品需求的直觉把握，或者招聘者对应聘者从业经验的要求，但通过逻辑方式做出决策通常被认为具有高确定性的特点，更易于被接受。数据是填充逻辑过程的基石。

　　自计算机和网络进入商业应用以来，以信息化技术对数据进行分析来驱动决策的努力就已开始。企业信息化管理系统不断发展，按照时间顺序,先后出现了库存控制（IC）、物料需求计划（MRP）、制造资源计划 （MRPII）、企业资源计划（ERP）、供应链管理（SCM）、客户关系管理（CRM）、决策辅助（DSS）、商业智能（BI）等主流体系。其发展历程大致可分为三个阶段，分别是数据处理阶段、知识处理阶段和智能处理阶段。早期的信息化系统以管理内部数据、维护企业相关信息资源为主。从企业资源计划（ERP）开始，信息化系统开始加强、改进和再造业务流程，并逐渐将业务上、下游企业数据和关联企业数据纳入系统，跳出了传统企业内部的边界。随着数据仓库技术和数据挖掘技术的发展，进一步有效利用数据形成决策的洞察力成为可能，商业智能系统（BI）得以发展。典型商业智能系统（BI）的模式，是通过对数据进行抽取、转换和装载（即ETL过程），合并到数据仓库里，利用合适的数据挖掘技术、查询和分析模型、联机处理（OLAP）工具等进行分析和处理，将数据转化为知识，为决策服务。广义上的BI（商业智能），覆盖、发展了之前企业处理数据的信息化系统思想，代表了“大数据”前期可商业化推广的数据分析模式和技术主流。

　　“大数据”夯实决策基础

　　在“大数据时代”之前，虽然数据分析的重要性也被普遍认可，但局限于“小”数据的特点，关系数据库中的结构化数据多年来一直主导着信息化应用。企业信息化系统在提高生产和管理效率方面发挥了作用，但远未形成可做决策依据的洞察力。直觉和经验在决策过程中的地位仍无可替代。

　　互联网、物联网、移动通讯的快速发展，以及遍布物理世界的RFID、无线传感器催生了“大数据时代”的来临。海量数据使得支持某些决策的“全样本”数据成为可能，“小”数据分析依赖的假设前提可能不复存在。同时，几何级增长的非结构性数据、流数据使得分析对象发生改变，传统数据管理和分析技术难以适应要求。大数据环境下企业需要应用新的分析模式。在成本可承受的条件下，通过快速采集、发现和分析，从海量、多类别的数据中提取价值，并形成有效的可做决策依据的“洞察力”，将是信息化系统的发展方向。当前阶段从非结构化数据和流数据中探求知识和进行洞察的计算机工具正在快速发展，比如自然语言处理、模式识别以及机器学习等，预示着数据驱动决策模式的美好前景。

　　目前大数据刚刚步入企业的应用阶段，几乎对于所有行业，应用大数据分析都是创造新的竞争优势之源。随着时间的推移，那些能更好地利用大数据的组织将有可能实现更多的创新，并保持敏捷性。麦肯锡的调查显示：数据驱动型的公司在生产率和盈利水平方面普遍好于竞争者。在“大数据时代”，对于某些类型的问题，机器和信息化系统可以比人做出更好的决策。这种数据驱动决策的模式已经初露端倪，比如在金融市场领域，计算机基于大数据做出了相当大部分的投资决策。可以预料，随着数据的不断变“大”，数据驱动决策的重要性会越来越高。

　　数据驱动决策在大数据趋势下面临的挑战

　　一是大数据本身的局限。首先是数据质量，不能反映真实情况或者在关键点上隐藏错误的数据无疑是极具危害的，保证数据质量需要有效的制度和法律环境。另外，数据本身仍可能局限决策的洞察力。例如那个著名的例子，如果你在汽车出现以前能使用大数据来分析社会对交通工具的需求，你可能得出一个结论，那就是需要更快的马车。得出这个结论后，没过多久，福特造出了汽车。大数据尽管够“大”，但它不能基于没有的事件。过分依赖于数据的决策，有可能忽略那些不需要数据驱动、而依靠直觉和经验形成的创新。当然，目前基于大数据进行创新的例子也比比皆是，比如谷歌的语言翻译系统。这就需要综合考虑数据类型和决策类型，明确大数据在驱动决策中的优势和劣势，设定明确的目标，向大数据问正确的问题。

　　二是大数据分析技术的局限。虽然目前在分析数据的大容量、异质性、实时性方面仍存在技术上的困难，但技术总在进步，某些来自数据本身特点的困难可能最终被克服。真正的局限性也许内置于大数据分析技术本身。比如，信息化系统的预测性模型中，缺陷常常来自模型假设本身。虽然有研究声称：大数据分析不需要那些有假设缺陷的模型，但大数据分析技术仍需要算法和机器学习。机器学习通常假设环境是稳定的，对作为复杂系统的环境进行稳定假设是不完美的，由此可能带来与实际情况偏离的结果。如果假设环境是不稳定的，就难以穷尽不稳定的因素。再比如，大数据分析是对观测数据之间规律的分析，其对相关性的洞察力必然要强于对因果性的洞察力，而忽略因果关系的决策依据，是有局限性的。

　　三是对决策管理模式的挑战。在数据缺乏的时候，组织内核心管理人员的直觉和经验在决策过程中发挥重要作用。从直觉和经验驱动决策向数据驱动决策转化的过程，也是决策主体从精英阶层转向团队及社会公众的过程，这个过程可能并不顺畅，那些没有足够灵活性来适应大数据趋势、创造数据驱动决策模式和文化的企业可能在竞争中失败。信息化系统在大数据分析中可能会强调协作分析和过程公开，这就需要企业创造适宜的数据驱动文化，并根据业务内容把握好直觉和经验驱动决策与数据驱动决策的关系。

　　巴菲特在投资忠告中说 “警惕那些使用公式的怪家伙”（Bewareofgeeksbearingformulas）。我们可以理解为这是对不需要直觉和经验的决策的敬畏，也可以理解为这是对脱离直觉和经验的决策的不信任。无论如何，大数据正在改变决策的驱动方式。