自动分析工具：数据科学家的终结者

林伯海

       数据科学家目前可谓是炙手可热的职业。 关于数据科学家的职业发展的讨论有很多。最近Louis Dorard在GigaOM上发表了一篇关于数据科学家职业发展的博文。观点是随着数据科学的发展， 目前数据科学家的许多工作将被自动化的工具取代。 而数据科学家这个职业也将不复存在。文章编译如下：
　　数据科学家的工作的一部分就是把他们的工作自动化。 比如说通过一些预测性的API工具来实现工作的自动化。 然而， 这些API已经在某些领域开始取代数据科学家的工作了。这对这个职业来说可不是什么好事。
　　我们现在处于大数据2.0时代。 利用机器学习来进行预测性分析的需求越来越强劲。正如InsightsOne的CEO Waqar Hasan指出的那样“预测分析是大数据时代的‘杀手级应用’。”而麦肯锡也预测说在今后的几年内，关于机器学习的人才将会出现短缺。 与此同时， 我们也开始看到有一些公司开始针对大众提供机器学习和预测分析的服务。 例如Apigee在收购了InsightsOne后就推出了预测性分析的API平台。
　　我在上大学计算机科学的时候学到的第一课就是“我们的工作的终极目标就是要让我们自己没有工作。”我们的工作就是要让程序把我们现在的工作做得更快，更好，更可靠。数据科学也是如此。
　　技术将取代数据科学家
　　数据科学家的绝大部分工作花在了建立预测模型：选取与预测相关的变量。选择合适的模型，确定最优的参数等等。目前，这类的工作已经能够有一些自动化的解决方案了。如Emerald Logic的FACET以及Google和Erastz Labs提供的API。这些API把复杂的机器学习模型从数据中抽象出来。用户可以专注于数据的采集以及清洗，而把数据送给这些API，就能够生成一个预测模型了。
　　这些新的工具意味着，在这种新的模式下，不需要数据科学家的参与了，公司里的每个人都能够参与数据科学的项目。高管确定战略方向，中层经理们确定分析预测的具体目标，软件工程师可以专注于项目实施。这里需要每个人都多少懂一些机器学习。不过如果不去深究算法和理论，只关注基本概念和一些具体的应用实例的话，机器学习即使对于非技术人员来说也能够很快了解。
　　事实上，如果由具体应用领域的专家来负责机器学习项目的话，往往能够更好地将应用领域的知识结合到机器学习项目中去，比如能够更好的选出那些合适的特征变量，从而能够做出更好的预测模型。
　　机器学习是“人工智能“的技术。通过数据来建立更好的”智能“。那么我们在人工智能领域还需要手工去进行模型和算法的选择吗?我们当然有智能的自动的方式来实现。在人工智能领域有一个趋势，就是”元人工智能算法(meta AI Algorithm)“，也就是对给定问题，能够自动的找到合适的人工智能算法和合适的参数。
　　利用这种方式来进行机器学习的原理就是利用如概率推理来进行参数设定以及对特征变量设定不同权重等等。也可以采用穷举的方法来进行。今天我们的计算能力已经足以让我们进行这样大量的测试。穷举测试可以采用常规的交叉验证，或者采用类似于FACET那样的渐进式技术。
　　测试可以从对数据的最简单分析开始，比如如果我们发现数据在二元分类时有明显的不平衡性时，我们可以试着选择异常检测的算法。
　　数据科学家将来做什么呢?
　　有人会说， 目前不能自动化的领域太多了。 确实，把所有机器学习领域都自动化是很困难的。 不过， 目前API在预测方面已经能够比拟那些“传统“的分析技术了。 这方面API创造的价值巨大。
　　由于这些新的工具的出现， 数据科学家的角色也在发生变化。现在要成为数据科学家可能要比以前容易了。 由于预测性API的出现， 原来由数据科学家来做的工作变得更加容易了。这些工作可以由数据库工程师或者软件工程师来进行了。 这也就是有些人说的“数据科学不是科学”。 而我要说的是， 数据科学正在不断演进。
　　在预测API领域，数据科学家依然在团队里扮演重要角色。 他帮助团队成员自主地使用这些API。 他们更多地是作为一个主管的角色来指导大家使用，而不像以前那样需要亲自动手。
　　更重要的是， 数据科学家还需要不断开发机器学习的自动化工具。例如，出来目前的“监督学习(Supervised Learning “的API外，也开始出现了“强化学习(Reinforcement Learning)“的API。此外， 还需要提供一些工具能够使得具体应用领域专家能够把他们的知识更方便地融入到算法中去。