机器学习-大数据的关键

bigdatas

Splunk的用户大会已经接近尾声。三天时间的会议里，共进行了160多个主题研讨，涵盖了从安全、运营到商业智能，甚至包括物联网，会议中一遍又一遍出现相同的中心主题：大数据的关键是机器学习。

存储不再是一个问题。从运行Hadoop兼容节点的专用存储硬件，到数百台使用普通硬盘的计算机组成的集群，毫无疑问，我们具备了处理这类存储问题的能力。另一方面，像Splunk这样的分析和可视化工具也应运而生。如果你知道你要找什么，这些工具可以很快给你所需要的答案。

但是，你应该找什么呢?对于绝大多数的基层供应商来说，问题的答案就在机器学习里面。无论你是在谈论网络流量、用户行为，或者是消费趋势，这都不要紧，你能真正洞察你所监控的东西的方式是找到数据中的模式和相关性。虽然人类操作员可以通过试错法蹒跚而行，但他们相信，可以通过训练计算机来得到结果，并且速度更快和不带偏见。

当然，这并不是说人类已经过时。必须有人来确认相关性不只是种巧合，并找出对信息采取行动的方法。而这也正是前面所提到的可视化工具可以发挥作用的地方。

大数据和机器学习的主要用例

虽然大数据的潜力几乎是无限的，但不可避免的是一或两个行业会在前面带头冲锋。如果再过一年问我，我可能会说不同的话，但现在的预测是，无论是安全还是运营，都会处在第一线。

只要比那些只收现金的咖啡亭大的公司，都需要考虑信息的安全性。即使他们没有知识产权可言，但他们都在处理一些敏感信息，如信用卡号码。有方法可以可靠地检测和阻止那些正在发生的违约行为，对公司的长期成功是至关重要的。基于机器学习的安全产品承诺提供这种能力，并且它的易用性接近“交钥匙工程的水准。

与此类似，运营分析将会流行起来。现在你就可以买到工具来监视你的网络，解码数据包，或向你精确呈现一个给定的REST调用是如何经过服务器的中间层一路到达数据库或文件系统的，然后把它和一周，一个月或一年以前的行为做对比。这不是未来的概念，而是今天现成的东西，并可以在一周内运行起来。

其它领域的研究将会继续下去，但不会有如此快的速度。欺诈检测是非常重要的，但大多数公司会依靠他们的金融机构来设计和实施必要的控制措施。我预计在这方面不会有太多商业化的、现成的产品。

商业智能是另一个会看到大量金钱投入的研究领域。但可口可乐与百事可乐公司用来确定下一个流行口味的算法，看起来一点也不像通用和福特公司用来预测每种尺寸的车型会有多少量的算法。如此类推，商业化产品对大数据的运用目前可能会主要局限于基本的分析和可视化方面。

其他的会议思考

总而言之，Splunk举办了一次非常好的会议。一切都组织得很好，每个人，从初学者到最高级的数据挖掘工程师，都会有相关的议题研讨。我唯一的抱怨是，议题研讨没有记录。因为有这么多的内容，人们势必会因为冲突错过一两个重要的议题。

即使你对Splunk本身不感兴趣，但对大数据、机器学习以及相关主题感兴趣的任何人来说，这都是一次重要的会议。