如今，人们的消费方式已经少不了一样东西，那就是网购。据艾瑞统计数据显示，2013年中国电子商务市场交易规模9.9万亿元，同比增长21.3%，预计2014年后未来几年增速放缓，2017年电子商务市场规模将达21.6万亿元。

在如此激烈而又庞大的市场中，电商们迫切想知道的想必就是用户需求。当这个用户登陆网站的瞬间，就能猜出来这个用户今天为何而来，然后从电商的商品库里面把合适的商品找出来并推荐给他，进而展现出符合客户需求的产品都有哪几款。这种服务是消费者想要的，但是谁能帮助电商们做到呢？

坐在百分点北京总部的运营副总裁韩志勇先生给了我答案，这就是百分点公司的核心产品推荐引擎所做到的。起初记者对这个答案深有疑惑，数据的准确性是最先怀疑的，因为基于以往的购物经验中，并不乏买鞋给推荐帽子的事情发生过。百分点是如何获取高质量的数据，如何对这样的数据进行快速处理，获得实时分析的呢？疑惑也伴随着对于百分点错误的认识中获得解决。

一错 百分点获取的数据并非一家电商企业而是千家

百分点作为一家大数据初创公司，成立于2009年，那时候大数据的概念在中国还未发展起来。但是数据的价值，是创业者苏萌所认识到的，他也就是如今百分点科技公司的董事长。在互联网的生态圈里面，一切都是数据化，通过挖掘所获取的数据能够为企业带来更多商业价值。也就是基于这种想法开始做起了推荐引擎。

百分点科技公司董事长苏萌先生

但是这种引擎的准确性如何呢？火起来的电商企业似乎并没有这种数据认识，或者说基于一家的数据何谈准确性呢？数据质量，单一浏览网站中的个人偏好问题，是不可能全面的保证引擎能够推荐出最精确的产品。通过了解知道，目前百分点已经与一千家电商企业签约合作，如果一家的数据不准确，那么一千家绝对在一定程度上减少了错误比率。

同时丰富的数据资源更有助于行业间的交叉互用。比如苏萌讲到的例子，百分点曾遇到一家金融公司，给网站做全网的用户画像。它可以查到浏览该网站的用户都看了什么样的股票，什么样的理财产品，同时还能追踪到该用户之前所应用的黄金、期权类网站，进而推算这个用户在全网的消费能力如何，是高价值客户还是低价值客户。

如此这样，数据似乎也有些恐怖，让消费无隐私，或许是每个网民的担忧。对于数据安全问题，韩志勇谈到安全对百分点来说是个先决条件。百分点通过匿名的方式采集数据。所以一个客户的名字只是一个代码而已，甚至不知道这个人物理的性别是男还是女。同时百分点内部数据的分层架构，也保证原始数据的绝对安全。

二错 百分点实时提供消费者数据而并非在第二次浏览中

千家的电商合作企业，也就是千家的数据。这意味着数据量可以用三个字来表示，那就是大数据。大数据可不只是数据量大，还有数据分析。这用在百分点自身业务上，更具有特殊的挑战意义。需要将千家可能是跨行业跨领域的数据融合，在毫秒级的实时响应时间内，做到用户无肉眼感知。

实现这些的百分点该是怎么样的一个大数据平台呢？它所构建的大数据处理平台包含了数据存储和数据处理两个层次。底层的基础架构自然少不了hadoop,但它也只是其中的一个组件，这包括分布式文件系统（Hadoop HDFS）、分布式SQL数据库（MySQL）、分布式NoSQL数据库（Redis、MongoDB、HBase）、分布式消息队列（Apache Kafka）、分布式搜索引擎（Apache Solr）以及必不可少的Apache Zookeeper。

数据处理层由四个部分组成。其中Web应用云包含了所有直接面对用户的Web服务，每个Web应用都会产生Web日志以及其他实时数据，这些数据一方面会及时交由实时计算框架进行处理，另一方面也会定期同步至离线计算框架；实时计算框架会处理接收到的实时数据，并将处理结果输出到数据查询框架或者离线计算框架；离线计算框架则定期对数据进行处理，并将处理结果输出至数据查询框架；数据查询框架提供了一系列应用接口供程序调取需要的各项数据，同时提供了一些Web工具帮助业务人员对海量数据进行统计、汇总和分析。

尤其是百分点引以为豪的实时计算，关于这一部分的组件架构和数据流如上图。数据采集服务会将收集到的实时数据推送到消息队列Kafka中；Kafka中的数据会被两个处理平台BDM CEP（Big Data Management Complex Event Processing）和Storm消费并处理。其中Storm是百分点在2013年中开始运用，它是当下比较流行的开源流处理框架，主要负责数据的清洗、统计和分析，而在这之前，百分点所有的实时计算都是基于BDM CEP进行的。

也就是基于这样的架构，当我们在浏览网站时，才能获得肉眼无感知的性能。据悉，目前对于一些知名的电商网站来说，所采用的用户偏好计算只能在隔天获取，对于讲求高效性的网络时代，无形中流失的客户可想而知。

三错 百分点并非只专注电商企业而是消费者行为

写在这里，回头一看似乎在无意间传达了一个错误的信息，但这也是起初我对于百分点公司的误解。但正如标题所说，百分点并非只服务于电商企业，所运用的大数据其实偏向于消费者行为的认知和预测。这跟创立者的背景不无关系，同时身为北大光华教授的苏萌，在消费者行为洞察，消费者行为研究和预测建模方面深有研究。

而大数据技术在此就是一种研究手段，苏萌讲道，从去年7月25日百分点正式宣布推进大数据的技术，大数据管理和大数据应用。为了部署大数据战略，百分点花了4年多的时间完善大数据底层技术系统。比如百分点大数据管理系统，其中流处理平台，批处理平台等，这些平台都是百分点自主研发的。

也借由此，苏总透漏作为2014年的战略方向之一，将会推出一款主打产品——百分点数据管家，相当于帮助每个企业建立了一个大数据管理系统。通过整合第一、二、三方的用户数据，对数据进行清洗、加工和建模，为线下零售、金融证券、品牌制造和品牌渠道等企业的战略、运营、管理、市场、营销等提供各种数据产品和应用。

2014年，百分点大事件之二，就是开放数据平台，苏总向记者讲述了初衷，作为独立第三方的企业，并不会因为利益关系有所偏僻，不论任何行业还是企业的需求，百分点希望能够通过大数据技术发挥大数据的价值所在。这似乎与百度技术开放日上推出的大数据平台有异曲同工之处，虽然相比之下，百分点还是处于成长中的幼儿。

当然这样的大数据幼苗是需要灌溉的，这也是百分点今年的一件大事，据悉从去年7月25日的B轮融资成功，预计到今年的7月25日，也即将展开C轮融资，但是具体细节苏萌并未透漏。

大数据热，大数据投资也不会冷清。针对这种现象，苏萌谈了自己的看法，“现在我们看到这个市场似乎鱼龙混杂，大数据投资也有非常大的泡沫存在，但这种泡沫成分是有必要的。因为这会激发大量的优秀人才，资金和资源涌入，进而沉淀出一些优秀的公司，他们将引领着商业，推动商业发展，就像起初的阿里巴巴和京东一样。”他认为这种热现象还会持续一段时间。

如大家所共识，大数据的热将不会只满足于热炒概念，是否为企业带来价值，拉来更多的销售进单，是否能为企业节省成本，让企业把广告放在该放的位置，这才是大数据真正的应用价值。正如苏萌所说“数据在未来是商业里面最核心的价值，我们做的所有的事都是希望让数据能够变现”。