数据挖掘的六大步骤

IT市场

数据挖掘(Data Mining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。

此过程包括以下六个基本步骤进行定义：

1.      定义问题

2.      准备数据

3.      浏览数据

4.      生成模型

5.      浏览和验证模型

6.      部署和更新模型

1、定义问题

该步骤包括分析业务需求，定义问题的范围，定义计算模型所使用的度量，以及定义数据挖掘项目的特定目标。 这些任务转换为下列问题：

·        您在查找什么？ 您要尝试找到什么类型的关系？

·        您要尝试解决的问题是否反映了业务策略或流程？

·        您要通过数据挖掘模型进行预测，还是仅仅查找受关注的模式和关联？

·        您要尝试预测哪个结果或属性？

·        您具有什么类型的数据以及每列中包含什么类型的信息？ 或者如果有多个表，则表如何关联？ 您是否需要执行任何清除、聚合或处理以使数据可用？

·        数据如何分布？ 数据是否具有季节性性质？ 数据是否可以准确反映业务流程？

若要回答这些问题，可能必须进行数据可用性研究，必须调查业务用户对可用数据的需求。 如果数据不支持用户的需求，则还必须重新定义项目。

此外，还需要考虑如何将模型结果纳入用于度量业务进度的关键绩效指标 (KPI)。

2、准备数据

数据可以分散在公司的各个部门并以不同的格式存储，或者可能包含错误项或缺少项之类的不一致性。 例如，数据可能显示客户在产品推向市场之前购买该产品，或者客户在距离她家 2,000 英里的商店定期购物。

数据清除不仅仅是删除错误数据或插入缺失值，还包括查找数据中的隐含相关性、标识最准确的数据源并确定哪些列最适合用于分析。 例如，应当使用发货日期还是订购日期？ 最佳销售影响因素是数量、总价格，还是打折价格？ 不完整数据、错误数据和输入看似独立，但实际上都有很强的关联性，它们可以以意想不到的方式影响模型的结果。

3、浏览数据

浏览技术包括计算最小值和最大值，计算平均偏差和标准偏差，以及查看数据的分布。 例如，通过查看最大值、最小值和平均值，您可以确定数据并不能代表客户或业务流程，因此您必须获取更多均衡数据或查看您的预期结果所依据的假定。 标准偏差和其他分发值可以提供有关结果的稳定性和准确性的有用信息。 大型标准偏差可以指示添加更多数据可以帮助改进模型。 与标准分发偏差很大的数据可能已被扭曲，抑或准确反映了现实问题，但很难使模型适合数据。

4、生成模型

通过创建挖掘结构定义要使用的数据列。 将挖掘结构链接到数据源，但只有对挖掘结构进行处理后，该结构才会实际包含数据。

5、浏览和验证模型

在将模型部署到生产环境之前，您需要测试模型的性能。 此外，在生成模型时，您通常需要使用不同配置创建多个模型，并对所有这些模型进行测试，以便查看哪个模型为您的问题和数据生成最佳结果。

6、部署和更新模型