从数据模型到商业智能的实现

hulala93

---------热点讨论分享--------

最近发现有朋友研究和讨论数据建模了，也有讨论数据分析方法和着眼点的，其实合在一起就接近“商业智能”了。提出商业智能系统的时候，正是普及OLAP的时候，其主要满足的需求是用户多视角看数据，这个数据既可以是基础实事数据，也可以是统计分析过的加工数据。

我认为商业智能本来的原意，就是把数据分析和统计运算的结果，以多角度的方式存储，然后在OLAP平台上形成一个个面向不同业务需要的数据产品，让高层可以通过看及时和合适方式展示出来的信息来决策，让基层可以用统计运算后的数据进行精细化运营（如精准营销和准确按时采购补货）。让数据自动输出与业务的需要接轨，可称之谓商业智能。

-------数据模型思路探讨------

最近有些朋友分享了数据模型的一些想法，例如以人行为为线索的数据模型构架，以事件ID贯穿事实表，例如搜索事件、网站点击事件、购物车事件、订单事件等，我想这样设计他们可能有2个目的，一是把各个业务事件、网站产品都分别分类描述了，便于数据管理，二是通过事件ID，次序ID、时间等，方便之后进行客户行为分析发现用户干了哪些事情，以及行为先后关系等。缺点是如果没有分到类的事件，或新事件就要建新表了，不同事件类型之间关系相对比较松。

还有朋友分享了用信息特征来建模，我的理解是这样的，数据模型首先尊崇原始的行为，以不同特征分类，例如访问了网页是一类信息特征，用户之间社交数据是一类，客户状态及其变化是一类数据。这样的构思最大的问题就是难落地，不同类型之间容易交叉，我也没想明白这个思路如何数据建模为好。但我想这里有一个思路核心是数据相似性，例如网站访问，都是用户在什么时候访问了什么网页；社交数据，都是用户和用户什么关系，他们如何分组定义，什么时间通过什么方式交互了什么内容，这些在建模思路上应该有一致性。

------数据模型与商业智能------

早期BI都是DW/OLAP模式，为客户提供OLAP平台，开发一些仪表盘，后台ETL自动刷新，然后打完手工。在数据仓库事实中，我们可以看到DW层为存储、管理数据而设计，数据集市为OLAP分析而设计，其中数据集市就是DW层数据Join和Aggregate的数据集。

在后来的发展中，我们听到BI的声音越来越少，数据分析和数据挖掘作为独立的声音出现了，因为原来的BI做这事有些吃力。在过去只是不同角度看统计指标的时代，这种老方法是没有问题的，但在新的时代，决策要看原因，要看过程，执行要依据统计挖掘精确执行，所以不得不单独提出这些声音，其实本质目的，和过去所谓BI是一样的，所以BI体系也需要大幅改进。

要改进的第一步，就是OLAP要有更细致的数据，并包含统计挖掘的结论，最常见的就是客户、产品，过去的客户维表和产品维表，以及他们的相关维度事实表中，我们只能看见直接的统计数据，例如客户总消费多少钱，客户订单次数，客户平均客单价、客户最近订单时间等等。在我们最新的数据分析和挖掘世界，就对客户进行了聚类分析并对客户细分，发现他们的特征，那我们可以把这些数据都存储在客户相关数据表中嘛，例如A客户是潜在大客户，B客户是流失预警客户。这样在OLAP展现中，决策中可以方便看到客户情况，而不用每次都要加工出一个分析报告，详细解释一通，决策者每日/周/月/季一大早就可以看到相关统计挖掘过的数据报告。同时基层员工可以根据这些数据，自动对预警客户进行精准服务，可对接服务的业务系统输出挖掘数据。

当然你会说统计挖掘的数据参数变化快、公信度需要认可，这就需要ETL中对参数有灵活设计的模型，OLAP中有详细元数据描述，让决策者一眼就看到，这是认可的细分方法，认可的统计方案。

-------数据分析与商业智能-----

说到商业智能BI，人们总会联想到过去一堆人做项目的情景，那时候大家都一起开发设计，最后客户能不能用，好不好用，根本未知数，所以后来给人一种冒险投资的IT项目的感觉。而数据分析不同，人们会认为拿着数据，针对需求进行分析、诊断，然后就有建议输出，给人一种短平快的印象，容易出成果，比较靠普的感觉。

其实这两者不矛盾，最后殊途同归，在互联网时代，还是按项目制开发BI，是难以有人买单的，但如果按照数据分析方式，又难以让数据价值最大化，虽然可能出一些成果了，就数据分析师一个人在玩数据，长远看不利于企业对数据分析的发展。

所以高明的办法，应该是由资深数据分析师，先开出良方，给没尝到甜头的业务用户一些效果，让公司对BI前景有信心，同时数据模型、统计挖掘的结果反馈到数据模型，并用合适的OLAP展现出来的数据产品平台需要设计和搭建，在合适的时机分阶段推出成果，在一年半载后，数据分析成果将大批量产出，而不是一个需求一个需求慢慢产出。

很多同行担心，两线作战，有能力做么？这就是重要的事情和紧急事情的差异，业务高层是不会管你数据分析还是BI，他们只需要数据的不断输出价值，期望会越来越高，那么在做数据分析、做分析报告、业务建议的同时，BI架构和数据产品就要抽时间思考和设计了，然后有数据分析效果后抽时间开发，时间总会挤出来，数据分析必然要与商业智能殊途同归，否则数据驱动都会成为短板，不同的是一种容易夭折，一种容易长期呆滞不前。

---------数据应用总结--------

数据建模是一种业务抽象为数据的艺术，数据分析和挖掘是一种挖掘数据价值的艺术，两个艺术合在一起，就是BI的艺术。