大数据小数据，一天实现可视化分析

小雨涵

      「王桐」：今天非常巧，前面两家公司都是我们永洪科技的客户，今天我们话题是大数据小数据，一天实现可视化分析，大数据这个概念最近比较火，大家都比较关注。大数据概念谈了很多年，有的人觉得它不够落地，比较忽悠，有人认为它是未来发展的趋势。其实无论大家对大数据的概念是如何进行理解的，实际上这个概念本身火热对整个中国商业社会还是起到了非常大的积极的推动作用，因为这个概念的火热才让广大的中国各个行业的企业真正对数据的重视提升到了一个前所未有的高度，这是一个非常正能量的事情。
       但是我们谈到了数据，无论我们的数据量是大还是小，但是我们的数据到底应该如何去进行分析？这个问题可能很多用户或者很多企业实际上都是没有把这个事情想的特别清楚，也是大家会非常多的形成疑问的地方，数据到底如何去进行分析，其实通常来讲我们可以把这个事情分成三个环节，就是我有数据，我有分析的方法，我需要一个工具把我分析的方法最终去落地，最后给我一个分析出来的结果，所以这是三个要素。现在大数据概念炒的这么热，企业对数据的重视达到一个非常高的高度，对数据的采集和整理其实比以前要做得更加成熟和完善，很多企业我们的情况是我们手上已经有了大量的数据，然后有部分企业也已经知道了我应该怎么样去分析这些数据，大家更多的是我需要有一个技术工具来帮助我们把这个进行落地，我们本身并不提供数据，数据是企业自己所拥有的，我们实际上是提供一个工具，帮助企业能够更好地理解他所拥有的数据，所蕴含什么样的这种价值，所蕴含了什么样的背后的信息，这个可能是我们做的认为一个比较有价值的事情。
       过去我们谈到数据分析，可能大家的印象都是这是技术人员做的事情或者至少是数据科学家做的事情，但是实际上有分析想法和有分析需求的人其实往往不一定是IT用户，而往往是我们的业务用户，或者是我们的一些管理层用户。过去的话可能我们有分析的想法，但是我们不知道怎么样具体地去进行操作，这个其实不是用户的问题，而是因为技术相对比较复杂，传统的数据分析的做法是什么样呢？是一个重度的由IT人员进行参与的过程，可能大家对一些比较关键的术语不是特别熟悉，这个也不是我们今天介绍的重点。过去数据分析的做法是由IT人员事先理解业务人员想要怎么分析数据的需求和想法，事先通过技术手段搭建好一个分析模型，提前把我们数据进行汇总，然后让我们业务人员在浏览器前端直接看到一个分析结果的在线，有可能是一个可视化报表有可能是图表，有可能是其他形式，这是过去这么多年来我们做数据分析的做法。这个做法有什么样的问题呢？就是业务人员我看到的报表相对来讲是比较静态的，也就是说我分析的这个纬度的组合和想看到的指标是怎么计算的，这是我跟IT人员提需求就必须想好的，这些东西都是在技术建模的阶段就去设好的。相对来说不太容易更改，出现另外一个问题，我的分析需求一旦发生了变化，我的业务人员是不能直接去调整我分析的这个纬度和指标的计算方式的，我需要重新给IT人员提一个需求打一个报告，你帮我重新建一个模型，或者把之前做预算的分析模型帮我修改一下，IT人员又有他日常繁重的其他工作，所以这个报表需求就会排队，最后是一个耗时非常长，可能要花几周时间才能把业务人员的需求进行变更得到响应。这个是大数据企业做数据分析的时候可能面临比较常见的问题。有的企业数据量不是那么大，相对比较小，因为数据分析技术流程就是这样的，所以即使它的数据量很小，也需要按照这样一个流程去进行数据分析，相对来讲它的投入和分析其实比大企业浪费更多。
       这个问题的本质原因根源是什么呢？本质原因是因为在过去这么多年以来实际上我们对于大数据海量数据的计算能力是不能够达到一个比较理想的要求，所以我们才需要通过IT人员用一个比较技术的方式，通过建模或者任何方式提前把我们数据通过模型给它计算汇总好，也就是说因为过去不能够做到我已有用户在这个浏览器上点击一下就能出现结果，不能做到这么快的响应速度，我就要提前做预算，我就要告诉计算机怎么样运算这些数据，所以我需要IT人员帮我建模型，随着现在大数据的技术相对来讲都日趋成熟和完善，并且这个生态圈也都非常壮大了，所以我们有了更多更好的先进技术架构，让我们去改变过去这么繁重的事情，所以我们新的解决方案在IT界有一个词叫的敏捷的商业智能，我们来看一下敏捷商业智能跟传统商业智能的区别是什么？最大一个区别就是敏捷商业智能是一个不需要IT人员参与的过程，是由业务人员按照自己的想法直接通过非常简单的方式，而不是IT写程序的方式。左边这张图是过去传统的商业智能和数据分析的方法，如果说大家都是业务用户的话一看就非常头疼，其实IT人员一看这样的复杂的图也会非常头疼，我们现在不建模或者简单地建模，把所有的分析工作直接交给业务人员分析就可以了。如果这个事情这么简单地就能完成的话，为什么过去还要那么复杂地做呢？是我们的数据处理能力的影响，现在随着分布式的计算，内存的计算包括在存储方面，通过这样一些比较先进的目前比较成熟的一些技术这种架构，我们实际上就有了一个实现敏捷化比较简单的数据分析可能性的大前提，我们采用这种新的办法去处理数据的性能，比以前有几十倍甚至更高的提升。所以我们现在有能力做到让业务用户在前台我看到一个数据分析的结果我想去调整一下我分析的角度，我想去改变一下我某个指标计算方式，我在我的浏览器端只要点击一下，无论你是几亿条数据还是几十亿条数据都能在几秒钟之内出现一个结果，所以能够达到这样一个速度就能够做到一个真正的可交互的分析，整个分析的链条使它变得更加简单，让业务用户有想法可以直接进行操作落地。
       所以总结一下，技术来讲发生了比较大的变革，过去来讲分析报告是只能看不能动的，但是有分析需求的人员看到了数据的展现这是起点，因为我看到了数据是什么样的，我才能知道下一步应该怎么样改变分析的视角，还要去补充哪些分析的指标，要看哪些不同的纬度，所以我看到了数据才能够发现问题，才能进一步找到我想要的答案。数据报告和数据载体应该是一个交互过程，这个交互要足够快。大家想象一下如果我每次点击都要三五分钟才能出一个结果，这个交互是没有办法进行的，所以对于数据都要达到秒级的响应，这样才能实现交互的分析顺畅地进行。另外分析的需求其实往往产生于业务部门，分析的报告应该让业务用户，不是像以前一样把所有的分析报告需求都提交给IT部门然后去排队，等着IT部门用技术方法帮我实现。现在操作是非常简单，不需要IT部门做建模。
       顺丰快递王院长说了一句话，有的时候仅仅是快就能改变一个行业，我们刚才提到了传统的商业智能跟敏捷的商业智能我们现在计算速度比以前快了几十倍，仅仅快这一个点就让我们把数据分析的流程和链条有了这么重大的改变，所以说有时候只是说快就能去改变甚至颠覆过去的一个行业。这里边我们举一个实际场景，就拿艾瑞作为我们今天分享案例，因为艾瑞也是我们比较大非常重要的客户，因为艾瑞在分析的实力上是非常强大，所以艾瑞体现它的理念，可能也代表了大部分企业对分析的需求。艾瑞现在是国内最大的互联网媒体研究机构，除了给提供一些通用的报告以外，艾瑞还会给一些客户提供定制化分析咨询报告，客户定制化分析需求往往是多变的，可能在一开始提出来的分析需求是你要把我跟同行业的媒体做一个对比，我要看几个纬度，可能一个需求仅仅是这样有结束了。但是当我们把他做的报告提供给用户的时候，用户看到这个报告又会产生新的想法，提出修改的需求。如果IT人员参与的话实际上这个报告变更过程是非常繁琐的，因为要改程序要改模型，所以过去生成一个PDF报告的话要花几周时间，如果给客户开发一个软件系统，让他在这个界面看到结果，这个要花几个月的交互过程。因为这个周期比较长，所以对这个客户来讲他反复迭代的过程就会非常繁杂。
       所以我们看一下我们能够怎么样去改进这个过程，我们总结一下相关的需求，可能我们要给客户做定制化分析的时候我们要有很多纬度的数据拉到一起进行分析，比如时间的纬度，包括用户的停留，页面访问此等等，我们把这么多数据组合在一起进行分析，在这种情况下，我们把总共的三个月比如说51条分析都倒到分析工具里面直接没有IT人员参与工作，直接让业务人员开始把他的想法都可以呈现出来。这个是最后通过这种工具，艾瑞有自己的数据和自己的分析方法，通过这个工具给不同的企业主去提供他的定制化咨询报告，这些报告现在可以基于我们的工具非常便捷快速地去生成，可能给每个客户因为分析需求是不一样的，所以分析的样子也是多种多样的，我们做了这样一个报告的速度比以前多了几倍。采用这样一种新的技术以后，对比以前实际上效率会极大地提高，也就意味着我们做报告做分析的周期有了一个非常大的程度衰减。同时对于做报告的分析方来说，我的这个项目来源跟收入空间因为我效率的提升会比以前有了一个非常大的飞跃，以前一些需求不是特别确定的项目其实我是不敢接的，因为我不知道它未来的需求变化是怎样的复杂程度，我不知道能不能在规定的期限之内给它做一个分析结果的交付，现在因为有了这么快速的方式，业务人员直接用这样一个工具在几个小时或者是一两天之内就可以把客户需求完全实现了。所以我就可以用一个敏捷的开发方式来去做我的数据分析，我可以用快速迭代的办法做我的数据分析，对于企业分析自己的数据时候，一开始不是很清晰，我们先做一版出来，当我们看到了这些数据结果往往就有很多想法迸发出来，我们知道还想看哪些指标，分析纬度还想有怎样的变化，这时候迭代出第二个版本，等到第四第五个版本的时候其实就已经打动了企业主或者分析需求方的想法，所以这样的话相当于我们以前用更快速更敏捷的方法，比以前更加有效更加方便的这样的数据分析。
       现在稍微给艾瑞打一个广告，非常感谢艾瑞给我们提供这么一个交流平台。过去可能大家很多人还都是买的艾瑞PDF的报告，现在艾瑞已经基于我们工具做了云服务平台，大家可以以后去买艾瑞的帐号，登录到艾瑞指定的链接里面用交互式看实时数据分析结果，在分析过程当中我想看某一个时间段的数据，都可以在上面通过点击快速地去查看一个实时的结果，所以比起以前看PDF的结果来看，它是一个动态的可交互的报告。今天因为时间比较有限，所以只是简单举了其中一个例子，就是艾瑞的案例，实际我们在很多行业里面都有不同的案例，而且他们使用场景跟分析目的都各有千秋，都十分丰富。现在大家有人会称之为这是一个大数据的时代也是一个大数据掘金的时代，都有大量的数据，这些都是宝库等待着掘金者去发掘这个宝库里所蕴含的数据价值，掘金者在掘金过程当中实际也需要有人为他有好的铲子，我们做的事情无论是大数据还是小数据，我们是帮助用户提供一把数据分析的好铲子的这样一家公司。
       刚才梁总也说了一开始可能采取主观的方式去建立一套规则可能效果不是特别理想，最终通过了这种数据挖掘数据分析的方式我们对不同标签的组合反复地测试反复地进行迭代，最终我们会对电影票营销在电信这边有26倍效果的提升，反复迭代的过程就需要是一个非常快捷便捷的过程，让业务人员直接快速地在几个小时甚至是几分钟之内就做出一个相关的这种结果，看到一个分析的结果。然后他再去进行改变，把标签稍微换一换，加上几个标签或者减掉几个标签，反复迭代这么测试，最终才能形成好的规则，以后按照好的规则我去做电影票的精准营销。所以在精准营销产品里面建立两个最重要的规则其实就是通过数据分析方法可以去进行实现的。在其他的行业里面大家也可以去自主思考，在我们企业里面我有哪些数据我有什么样的分析需求可以帮助我的业务去实现更好的目标和价值。