百科问答小站 logo
百科问答小站 font logo



特征工程中的「归一化」有什么作用? 第1页

  

user avatar   qinlibo_nlp 网友的相关建议: 
      

为什么要进行归一化处理,下面从寻找最优解这个角度给出自己的看法。

例子

假定为预测房价的例子,自变量为面积,房间数两个,因变量为房价。

那么可以得到的公式为:

其中 代表面积, 代表房间数变量。

首先我们祭出两张图代表数据是否均一化的最优解寻解过程。

未归一化:

归一化之后

为什么会出现上述两个图,并且它们分别代表什么意思。

我们在寻找最优解的过程也就是在使得损失函数值最小的theta1,theta2。

上述两幅图代码的是损失函数的等高线。

我们很容易看出,当数据没有归一化的时候,面积数的范围可以从0~1000,房间数的范围一般为0~10,可以看出面积数的取值范围远大于房间数。

影响

这样造成的影响就是在画损失函数的时候,

数据没有归一化的表达式,可以为:

造成图像的等高线为类似椭圆形状,最优解的寻优过程就是像下图所示:

而数据归一化之后,损失函数的表达式可以表示为:

其中变量的前面系数几乎一样,则图像的等高线为类似圆形形状,最优解的寻优过程像下图所示:


从上可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。

这也是数据为什么要归一化的一个原因。

上面的梯度方向都应该和等高线方向,因为找不到原图,文字进行修正一下。




  

相关话题

  如何看待 Larrabee 之父 Tom Forsyth 重加入 Intel?英特尔为何下注独立显卡? 
  概率论中,为什么XY独立,X²Y²也独立? 
  什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)? 
  本科数学,目前在读计算机研一,毕业的时候想要应聘数据挖掘工程师,看了对数据挖掘工程师的招聘要求,感觉太宽泛了,希望能具体说一下现在应该准备哪些知识(算法?编程语言?其他?),谢谢! 
  怎样求贝叶斯估计的先验分布? 
  深度学习底层开发对数学有哪些要求? 
  对自己深度学习方向的论文有idea,可是工程实践能力跟不上,实验搞不定怎么办? 
  Kaggle如何入门? 
  为什么正态分布公式中会有 π 呢? π 为什么应用得地方那么多,应该怎么理解 π ? 
  KL散度衡量的是两个概率分布的距离吗? 

前一个讨论
放弃保研是一种什么体验?
下一个讨论
在线教育网站(Coursera、网易云课堂、腾讯课堂等)有哪些值得推荐的 Python 课程?





© 2025-04-27 - tinynew.org. All Rights Reserved.
© 2025-04-27 - tinynew.org. 保留所有权利