百科问答小站 logo
百科问答小站 font logo



神经网络,分类和回归问题,在网络结构上的区别是什么?分类比回归多一层softmax吗?诚心求教? 第1页

  

user avatar   huo-hua-de-41 网友的相关建议: 
      

感觉现在已有的回答还没说到点上。例如,0-1的回归,我把0-1分成100个bin,每0.01当作一个类,然后用变成100类的分类任务,是不是就只是精度差异呢?进一步可以衍生几个问题:

  • 为什么回归任务常使用mse作为损失函数?
  • 为什么分类任务常用交叉熵作为损失函数?

首先,我们要知道,使用特定损失函数的前提是我们对标签的分布进行了某种假设

二分类问题的常见假设就是标签服从伯努利分布,多分类问题背后的假设是多项分布(Multinomial Distribution)。根据数据分布,结合最大似然估计就可以推导出交叉墒的公式。

同样的,回归问题背后的假设是标签服从正态分布,这时候根据数据分布,结合最大似然估计就可以推导出mse的公式。

然后实际问题中,我们遇到的标签不一定真的服从正态分布。根据样本分布不同,大家还提出了tweedie loss、possion loss等损失函数替代mse。我说这么多,只是抛砖引玉,详细的推到大家可以看看 @马东什么 的文章




  

相关话题

  已有大量编程基础,如何速成python用于学习机器学习? 
  机器通过主动学习能为人类生活带来怎样的改变? 
  如何理解空洞卷积(dilated convolution)? 
  生成对抗网络的毕设怎么上手? 
  机器学习,数据挖掘在研究生阶段大概要学些什么? 
  2020年,多标签学习(multi-label)有了哪些新的进展? 
  机器学习中的PR曲线一定会过(1,0)这个点吗? 
  如何评价基于游戏毁灭战士(Doom)的AI死亡竞赛大赛结果? 
  使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法,两者分别有什么优缺点? 
  c4.5为什么使用信息增益比来选择特征? 

前一个讨论
python中[[3,5],[2,3]]怎么转化为[['3','5'],['2','3']]?
下一个讨论
对于智力和勤奋程度都一般的人来说,博士毕业有多难?





© 2025-04-09 - tinynew.org. All Rights Reserved.
© 2025-04-09 - tinynew.org. 保留所有权利