一般谈到马氏距离是不能脱离开样本分布的,题主说的“互相关张量”应该指的是样本的协方差矩阵,这个也是和样本分布密切相关的,来看个例子:
左下角在二维空间中由一个分布产生的方块样本,这个分布的一条等高线如虚线的椭圆框所示,图中还有一个不属于该分布的圆圈样本。这是是一个典型的欧式距离会把分布外样本算的更近的例子,比如把绿色和蓝色样本单拎出来,就是左上角的图,蓝色小圆圈和中心的绿色方块更近了,这是因为单纯的欧式距离无法反应方块的分布。这种情况下,考虑用马氏距离。这里默认方块的分布可以由协方差矩阵很好描述(比如是个多维高斯分布),那对于任意两点x和y马氏距离的计算就是下面:
就是协方差矩阵,这样计算出的距离就像
@王赟 Maigo说的一样不再是各向同性,对于方块的分布而言有个良好性质是分布的等高线上到中心的马氏距离相等了,因为马氏距离包含了方块本身分布的信息。进一步来理解,马氏距离可以表示为下面这样:
其实等效于做了个线性变换,然后在变换后的空间中求了下欧式距离,其中可以表示为,其中是个对角矩阵,对角线元素分别为协方差矩阵本征值的倒数开方,的行向量就是协方差矩阵的本征值。无论多少维,协方差矩阵的计算都是一样的,可以参考wiki上协方差矩阵的定义:
Covariance matrix。关于为什么,为什么协方差矩阵就是这个椭圆的理解可以参考另一个答案
主成分分析PCA算法:为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”? - 達聞西的回答 - 知乎