理想VS现实的数据分析流程

菜鸟之家

理想数据分析过程

数据分析师的工作流程，理想情况下，可以分为四个步骤。
1、提取数据。利用SQL语言从数据仓库中提取你分析需要的字段。所以数据分析师一定要对SQL语言相对比较精通。
2、处理数据。提取出来的数据，一般都要进行一些预处理。例如：对缺失值、异常值进行处理、数据进行转换（例如：文字转换成数值，男->1）、数据离散（例如把年龄根据分析的目标分为不同的年龄段）。
3、分析数据。通过作图、进行基本统计，分析数据异常背后的发生了什么。许多时候你需要用到各种各样的模型，例如：聚类，分析会员的类型，不同类型的会员有什么特点。你可能会把数据放在EXCEL、SAS、SPSS等上进行分析。
4、分析报告。数据分析的结果最终一般都会以报告的形式呈现。在分析报告中，根据数据进行问题进行描述，或者说发现问题的所在，同样的通过数据你找到解决问题的办法或者方向，说明你的观点。
实际工作流程     


但是现实与理想总是存在那么、那么、那么大的差距，在实际工作中，数据分析是一个循环、迭代的过程（如图2）
在你处理数据的时候，你有可能发现你提的数据有问题，可能是缺少字段、或者时间不对。或者发现数据的逻辑有问题，在写SQL的时候可能出现重复数据。
在进行数据分析步骤后，你可能发现，根据分析的问题，你可能需要提取更多的数据来进行支持。特别对数据分析是针对探索性的问题时候。
有分析数据的时候，你可能发现，你的数据预处理没有达到目的，例如你的年龄分段可能之前是按5岁来进行等距分隔的，现在你希望是按等箱进行分析隔，或者你希望按用户的所处阶段（学生、职场新人、白领、结婚、有小孩……）从而你需要又回到前面那个步聚。
甚至在你完成分析告诉后，你会收到这样的需要说，我觉得某个问题可能需要从其它维度进行分析，从而更深入的了解这个问题，这个时间又回到定义问题的阶段。
所以数据分析不是一蹴而就的事情，而是一个迭代、循环的过程。