数据分析-异常数据识别
本文摘要
异常数据识别在数据分析和数据挖掘中，是经常会遇到的问题。本文会介绍不同场景下，异常数据识别的方法有哪些，以及他们之间的区别。
一、使用场景
当前异常数据识别的使用场景主要有以下2方面：
1、数据分析和数据挖掘在正式分析前的数据处理，识别异常数据后，删除或者修正异常数据，避免异常数据影响分析结论；
2、 风控业务，通过数据识别异常用户、异常访问、异常订单、异常支付等，避免黑产团队入侵。
二、单变量数据异常识别
1、简单统计量分析
对变量做描述性统计，然后再基于业务考虑哪些数据是不合理的。常用的统计量是最大值和最小值，判断这个变量是否超过合理的范围。例如：用户的年龄为150岁，这就是异常的。
2、3倍标准差
定义：如果单变量数据服从正态分布，异常值被定义为与平均值偏差超过3倍标准差的值。
原因：是因为在正态分布的假设下，偏离均值3倍标准差出现的概率小于0.003，是一个小概率事件。
在实际分析中，我们也不一定要拘泥于3倍标准差，可以根据实际严格程度定义，如偏离均值的4倍标准差。
3、BOX-COX转化+3倍标准差
如果原始数据的分布是有偏的，不满足正态分布时，可通过BOX-COX转化，在一定程度上修正分布的偏态。转换无需先验信息，但需要搜寻最优的参数λ。
Box-Cox变换的一般形式为：
1）式中y(lambda)为经Box-Cox变换后得到的新变量，y为原始连续因变量，lambda为变换参数。
2）以上变换要求原始变量y取值为正，若取值为负时，可先对所有原始数据同加一个常数a，使其（y+a）为正值，然后再进行以上的变换。
Box-Cox的python实现如下，可直接通过函数boxcox找到最优的lambda和转化后的值：
4、箱线图
它能显示出一组数据的最大值、最小值、中位数及上下四分位数；
箱线图提供了一种数据识别的标准：异常值通常被定义为小于下边缘或者大于上边缘的数据为异常值。如下图所示：
上四分位数：1/4的样本值取值比他大
下四分位数：1/4的样本值取值比他小
上边缘=上四分位数+1.5*（上四分位数-下四分位数）
下边缘=下四分位数-1.5*（上四分位数-下四分位数）
箱线图识别异常数据的优势：
1）箱线图根据数据的真实分布绘制，他对数据不做任何限制性的要求，比如要服从正态分布等；
2）箱线图异常数据识别依赖于上四分数和下四分位数，因此异常值极其偏差不会影响异常值识别的上下边缘。这一点是优于3倍标准差方法的。
三、时间序列数据异常识别
日常工作中还有一种场景，是需要对时间序列数据进行监控，如：订单量、广告访问量、广告点击量；我们需要从时间维度识别出是否异常刷单、刷广告点击的问题。像广告投放场景下，如果发现渠道刷量，会及时停止广告投放，减少损失。
对于时间序列数据异常识别，根据数据不同的特点，识别方法不同。
1、设置恒定阈值
如果时间序列呈现平稳分布状态，即时间序列数据围绕中心值小范围内波动；我们可以定义上下界的恒定阈值，如果超过上下阈值则定义为异常。
2、设定动态阈值-移动平均法
所谓动态阈值是指，当前时间的异常阈值是由过去n段时间的时序数据计算决定的；通常对于无周期，比较平稳的时间序列，设定动态阈值的方法是移动平均法。
所谓移动平均法是：
就是用过去n个时间点的时序数据的平均值作为下一个时间点的时序数据的预测，
异常数据识别即是：确定固定移动窗口n，以过去n个窗口的指标平均值作为下一个窗口的预测值；以过去n个窗口的指标的平均值加减3倍方差作为监控的上下界。
3、STL数据拆解法
如果时间序列数据是周期性数据，可使用STL算法将时序数据拆解成趋势项、周期项和余项。即每个时刻的时序数据等于当前时序趋势项、周期项和余项的和（或者乘）。
趋势项（T_v）：涵盖了这个时序数据的趋势变化；
周期项（S_v）：涵盖了时序数据的周期变化；
一般使用STL需要确定2个点：
1）确定数据周期，外卖业务的一个常规周期为7天，在周一至周五又可以将数据周期缩短为1天。
2）拆分规则，是选择加法方式还是乘法方式。
加法方式：原始数据 = 平均季节数据 + 趋势数据 + 余项这种方式，随着时间的推移季节数据不会有太大的变化，在以七天为一大周期的业务数据更适合这样的拆分方式。
乘法方式：原始数据 = 平均季节数据 * 趋势数据 * 余项
这种方式，直观感受是随着时间的推移季节数据波动会非常明显。
至于如何要判断某事的时序数据是否异常，是根据STL分解后的余项来判断；一般情况下，余项部分的时序数据是平稳分布状态，我们可对余项设置恒定阈值或者动态阈值，如果某个时间节点的分解余项超过设定阈值，则是异常数据。
python可以用seasonal_decompose可以将时间序列数据拆解成三部分，具体函数代码如下：
import statsmodels.api as sm
from statsmodels.tsa.seasonal
import seasonal_decomposeimport matplotlib.pyplot as plt
# Multiplicative Decomposition
result_mul = seasonal_decompose(data1, model='multiplicative', extrapolate_trend='freq')
Actual_Values = result_mul.seasonal * result_mul.trend * result_mul.resid
# Additive Decomposition
result_add = seasonal_decompose(data1, model='additive', extrapolate_trend='freq')
Actual_Values = result_mul.seasonal + result_mul.trend + result_mul.resid
四、多变量数据异常识别
所谓多变量数据异常识别是指：不只从一个特征去判读数据异常，而是在多个特征下来判断其是否异常。多变量异常数据识别的方法很多，比如聚类模型、孤立森林模型、one-class svm模型等。下面主要介绍简单高效，更容易使用的孤立森林模型。
1、孤立森林
基本介绍：
孤立森林iForest （Isolation Forest） 是一个可扩散到多变量的快速异常检测方法。iForest 适用于连续数据的异常检测，将异常定义为“容易被孤立的离群点——可以理解为分布稀疏且离密度高的群体较远的点。用统计学来解释，在数据空间里面，分布稀疏的区域表示数据发生在此区域的概率很低，因而可以认为落在这些区域里的数据是异常的。
iForest属于Non-parametric和unsupervised的方法，即不用定义数学模型也不需要有标记的训练。
算法逻辑介绍：
假设现在有一组一维数据（如下图所示），我们要对这组数据进行随机切分，希望可以把点 A 和点 B 单独切分出来。具体的，我们先在最大值和最小值之间随机选择一个值 x，然后按照 <x 和 >=x 可以把数据分成左右两组。然后，在这两组数据中分别重复这个步骤，直到数据不可再分。显然，点 B 跟其他数据比较疏离，可能用很少的次数就可以把它切分出来；点 A 跟其他数据点聚在一起，可能需要更多的次数才能把它切分出来。
我们把数据从一维扩展到两维。同样的，我们沿着两个坐标轴进行随机切分，尝试把下图中的点A'和点B'分别切分出来。我们先随机选择一个特征维度，在这个特征的最大值和最小值之间随机选择一个值，按照跟特征值的大小关系将数据进行左右切分。然后，在左右两组数据中，我们重复上述步骤，再随机的按某个特征维度的取值把数据进行细分，直到无法细分，即：只剩下一个数据点，或者剩下的数据全部相同。跟先前的例子类似，直观上，点B'跟其他数据点比较疏离，可能只需要很少的几次操作就可以将它细分出来；点A'需要的切分次数可能会更多一些。
上面其实就是 Isolation Forest（IF）的核心概念。而具体的IF采用二叉树去对数据进行切分，数据点在二叉树中所处的深度反应了该条数据的“疏离”程度。整个算法大致可以分为两步：
-
训练：抽取多个样本，构建多棵二叉树（Isolation Tree，即 iTree）；
-
-
预测：综合多棵二叉树的结果，计算每个数据点的异常分值。
训练：构建一棵 iTree 时，先从全量数据中抽取一批样本，然后随机选择一个特征作为起始节点，并在该特征的最大值和最小值之间随机选择一个值，将样本中小于该取值的数据划到左分支，大于等于该取值的划到右分支。然后，在左右两个分支数据中，重复上述步骤，直到满足如下条件：
数据不可再分，即：只包含一条数据，或者全部数据相同。
二叉树达到限定的最大深度。
预测：根据估算它在每棵 iTree 中的路径长度（也可以叫深度），计算数据 x 的异常分值，通常这个异常分值越小越异常。
Isolation Forest 算法主要有两个参数：一个是二叉树的个数；另一个是训练单棵 iTree 时候抽取样本的数目。实验表明，当设定为 100 棵树，抽样样本数为 256 条时候，IF 在大多数情况下就已经可以取得不错的效果。这也体现了算法的简单、高效。
具体python实现如下：
from sklearn.ensemble import IsolationForest
IsolationForest(*, n_estimators=100, max_samples='auto', contamination='auto', max_features=1.0, bootstrap=False, n_jobs=None, random_state=None, verbose=0, warm_start=False)
参数介绍如下：
1、n_estimators ：int，optional（默认值= 100）
模型拟合中的二叉树数量。
2、max_samples ：int或float，optional（default =“auto”）
每棵二叉树训练需要的样本量。
如果是int，则绘制max_samples样本。
如果是float，则绘制max_samples * X.shape [0]样本。
如果是“auto”，则max_samples = min（256，n_samples）。
如果max_samples大于提供的样本数，则所有样本将用于所有树（无采样）。
3、contamination ：float（0.，0.5），可选（默认值= 0.1）
数据集中异常值的比例。在拟合时用于定义决策函数的阈值。如果是“自动”，则确定决策函数阈值，如原始论文中所示。
4、max_features ：int或float，可选（默认值= 1.0）
训练每棵二叉树的特征数。
如果是int，则绘制max_features特征。
如果是float，则绘制max_features * X.shape [1]特征。
5、bootstrap ：boolean，optional（default = False）
如果为True，则单个树适合于通过替换采样的训练数据的随机子集。
如果为假，则执行未更换的采样。
6、n_jobs ：int或None，可选（默认=无）
适合和预测并行运行的作业数。
7. random_state ：int，RandomState实例或None，可选（默认=无）
如果是int，则random_state是随机数生成器使用的种子;
如果是RandomState实例，则random_state是随机数生成器;
如果没有，随机数生成器所使用的RandomState实例np.random。
下图是我用孤立森林拟合数据识别异常值的可视化图，左边表示原始数据的呈现，右边表示孤立森林异常识别（黑色表示异常，黄色表示正常）；从左右对比可看出，离散点都能识别出，但是也有一些偏离中心的正常点也被识别为异常数据。
以上就是我要介绍的异常数据识别的方法，上述方法可以覆盖日常中80%的异常数据识别；所以要熟悉掌握这些方法哦，具体细节可加微信继续沟通探讨。
本文由 嗖客传媒 发布，文中观点不代表本网立场，转载联系作者并注明出处：http://www.sooker.cn/dspyy/628.html
《免责声明》如对文章、图片、字体等版权有疑问，请联系我们 。 / 快抖营销获客 /
