本文将会按照以下四个部分来讲述如何从业务数据中分析数据,建立模型,希望对大家有所帮助!
- 数据从哪来
- 如何分析数据
- 机器学习算法简介
- 预测效果评估
Part1: 数据从哪来
你眼中的大数据分析和实际的大数据分析实际上是非常不一样的
你眼中的大数据分析和实际的大数据分析
一般来说,实际业务的数据都是无法直接拿来进行数据建模的,我们需要进行一系列的分析和转化,才能够得到建模所需要的数据.
数据分析项目中数据分准备工作需要花费整个项目60%~70%的时间,而建模可能恰恰是数据分析项目中最(相对)轻松的事情
试想一下,如果你的leader让你去分析某一个业务数据,对你而言你仅仅只是知道这部分数据叫什么名字,你会怎么做?会有哪些问题? 数据安全,权限,部门沟通,业务理解,每一个环节都是一个"坑"!
常见的数据准备的工作:
- 理清业务逻辑: 理清业务表的字段含义,关联逻辑, 跨部门,跨职级,理解的差异
- 设定训练目标: 了解业务目标,根据实际数据确定模型训练的目标
- 数据样本评估: 极端值,,数据分布,方差,信息熵
- 特征工程: 用数据去表达数据,建立建模所需的大宽表
- 建模: 建模是最轻松的事情?
Part2: 如何分析数据
从传统的统计学角度,我们可以对数据进行一系列的探索
Part3: 机器学习算法简介
在进行建模之前我们需要搞懂一个最最简单,也是最最基础的问题,什么是预测: 用数据和统计科学做预测,不仅做量化推断,还量化推断的确定性/不确定性
除此之外,为了能够更好地理解模型,我们还需要知道一些建模的术语比如: 损失函数,梯度下降等
sklearn的官方文档,为算法选择提供了一个很好的路线路图
Part4: 预测效果评估
很多时候,准确率并不能满足我们对模型预测性的评估,因为样本存在不平衡,所以我们需要其他的评估方法,比如ROC,AUC,KS
