马氏距离(Mahalanobis Distance)是度量学习中一种常用的距离指标，同欧氏距离、曼哈顿距离、汉明距离等一样被用作评定数据之间的相似度指标。但却可以应对高维线性分布的数据中各维度间非独立同分布的问题。

什么是马氏距离

马氏距离(Mahalanobis Distance)是一种距离的度量，可以看作是欧氏距离的一种修正，修正了欧式距离中各个维度尺度不一致且相关的问题。

单个数据点的马氏距离 $$ D_M(x)=\sqrt{(x-\mu)^T \Sigma^{-1}(x-\mu)} $$

数据点 $\mathrm{x}, \mathrm{y}$ 之间的马氏距离 $$ D_M(x, y)=\sqrt{(x-y)^T \Sigma^{-1}(x-y)} $$ 其中 $\Sigma$ 是多维随机变量的协方差矩阵， $\mu$ 为样本均值，如果协方差矩阵是单位向量，也就是各维度独立同分布，马氏距离就变成了欧氏距离。

马氏距离实际意义

那么马氏距离就能能干什么? 它比欧氏距离好在哪里?

先举个比较常用的例子，身高和体重，这两个变量拥有不同的单位标准，也就是有不同的scale。 比如身高用毫米计算，而体重用干克计算，显然差 $10 \mathrm{~mm}$ 的身高与差 $10 \mathrm{~kg}$ 的体重是完全不同的。 但在普通的欧氏距离中，这将会算作相同的差距。

当然我们可以先做归一化来消除这种维度间尺度不同的问题，但是样本分布也会影响分类 举个一维的例子，现在有两个类别，统一单位，第一个类别均值为 0 ，方差为 $0.1$ ，第二个类别均值 为5，方差为 5 。那么一个值为 2 的点属于第一类的概率大还是第二类的概率大? 距离上说应该是第一类，但是直觉上显然是第二类，因为第一类不太可能到达2这个位置。 所以，在一个方差较小的维度下很小的差别就有可能成为离群点。就像下图一样，

$\mathrm{A}$ 与 $\mathrm{B}$ 相对于原点的距离是相同的。但是由于样本总体沿着横轴分布，所以B点更有可能是这个样本中的点，而 $\mathrm{A}$ 则更有可能是离群点。

还有一个问题——如果维度间不独立同分布，样本点一定与欧氏距离近的样本点同类的概率更大吗？

可以看到样本基本服从f(x) = x的线性分布，A与B相对于原点的距离依旧相等，显然A更像是一个离群点

即使数据已经经过了标准化，也不会改变A，B与原点间距离大小的相互关系。所以要本质上解决这个问题，就要针对主成分分析中的主成分来进行标准化。

将变量按照主成分进行旋转，让维度间相互独立，然后进行标准化，让维度同分布就可以了 由主成分分析可知，由于主成分就是特征向量方向，每个方向的方差就是对应的特征值，所以只需要按照特征向量的方向旋转，然后缩放特征值倍就可以了，可以得到以下的结果:

资料来源