大数据杂谈

mavisfine

21世纪时代的宠儿是什么？非大数据莫属。要知道他有热门，只要在百度上搜索大数据，就可以看到各种各样关于大数据的言论，应用，经验……似乎大数据的触角已经伸到了各行各业，什么领域运用了大数据都能有突破性进展。

那么大数据究竟是什么？从何而来？又将去往何处？它和商业智能又有怎样的关系？

中国工程院院士倪光南解释了大数据产生的原因： “由于数据产生和发送的速度和频率在急剧增长，数据源的数据和种类在不断上升，产生了海量数据。”

这些新的数据源主要包括搜索、新闻、博客、微博等社交网、移动电话和短信、热线电话和监控数据、通测数据等等。这些数据大多数为我们日常社交生活或是语音通信时产生。尽管这些数据以前就一直存在，但是现在随着数据处理技术以及云计算技术的发展，为大数据的提供了合适的发展环境。

让我们简单来看看大数据的几个应用案例（放心，我不会再跟你谈啤酒与尿布的故事了）

1. 梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。

2. Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用KXEN软件来分析数十亿计的交易以及客户的特性，然后通过预测模型对特定用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN。

3. 沃尔玛的搜索。这家零售业寡头为其网站Walmart.com自行设计了最新的搜索引擎Polaris，利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法，语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说，这就意味着数十亿美元的金额。”Laney说。

4. 快餐业的视频分析。该公司通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。

5. Morton牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark机场（他将在一天工作之后抵达该处）时，Morton就开始了自己的社交秀。首先，分析推特数据，发现该顾客是本店的常客，也是推特的常用者。根据客户以往的订单，推测出其所乘的航班，然后派出一位身着燕尾服的侍者为客户提供晚餐。

6. PredPol Inc.。PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。

7. Tesco PLC（特易购）和运营效率。这家超市连锁在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析，进行更全面的监控并进行主动的维修以降低整体能耗。

8. American Express（美国运通，AmEx）和商业智能。以往，AmEx只能实现事后诸葛式的报告和滞后的预测。“传统的BI已经无法满足业务发展的需要。”Laney认为。于是，AmEx开始构建真正能够预测忠诚度的模型，基于历史交易数据，用115个变量来进行分析预测。该公司表示，对于澳大利亚将于之后四个月中流失的客户，已经能够识别出其中的24%。

这样看来，大数据和BI商业智能，数据挖掘的应用真的有很多共通之处。 当然，大数据和BI商业智能分析还是有很多不同，以下以表格进行对比区分

商业智能与大数据的区别

细心的可以注意到表格中关于大数据来源一栏中“实时”二字。但这个实时也只是一个近似的说法，仍然存在一个可被接受允许的反馈过程，相对时间。 尽管大数据几乎被捧上了神坛，但是它仍面临着重重挑战与困难，比如数据获取的隐私问题，比如信息的整合清洗…… 因此在看到大数据闪光的时候，也要看到大数据的短板，寻找到自身企业大数据的切入点，不可盲目跟风，也不可缩手缩脚。