大四年级，完全没接触过高数，目前对机器学习产生浓厚兴趣，该如何学习数学？ 第1页

谢邀。

在入门阶段，题主口中的数学主要有四门课：微积分、线性代数、概率与统计、最优化算法。其实我真的很不建议一口气把这四门课学完，那样很容易打击到学习兴趣。所以我尽自己最大的努力安排了一个学习计划/入门指导，贴在这里。

史上最萌最认真的机器学习/深度学习/模式识别入门指导手册(一)

史上最萌最认真的机器学习/深度学习/模式识别入门指导手册(二)

史上最萌最认真的机器学习/深度学习/模式识别入门指导手册(三)

如果非要先学完全部数学的话，就可以按照下面的来啦。

先抛开微积分不谈，先说剩下的（因为剩下的我已经详细写了，2333，有时间了再把微积分补充在这里）。

线性代数

• 前置课程
• 中学代数
• 主参考资料
• 《线性代数应该这样学》(英文叫《Linear Algebra done right》)
• 辅助参考资料（有先后顺序）

1. 《Deep Learning》Bengio等，第二章（中译本勉强能看，链接https://github.com/exacity/deeplearningbook-chinese 呜呜好想赶紧开通原创功能插超链接）；
2. Wiki百科（翻墙不用教吧...）；
3. 《矩阵分析与应用》张贤达
4. 重点内容（无先后顺序）：

• 向量及向量空间
• 内积与范数
• 线性映射
• 矩阵
• 张成、线性相关、线性无关
• 特征值与特征向量
• 特征分解

1. 高级内容（最起码要了解）：

• 谱定理
• 奇异值分解（SVD）
• 矩阵的迹
• 行列式

1. 学习方法
2. 适当参考小夕总结的重点内容，细细的品味《线性代数应该这样学》（这本书真的棒呆了）。
3. 对于书中依然理解不了的部分，参考其他辅助资料哦。另外如果大家有哪方面难以理解，可以告诉小夕，小夕会尽量解答，若有必要的话直接写一篇小文章帮助大家理解哦。
4. 主要意义
   线性代数是机器学习的不能更基础的数学基础。不仅仅是因为矩阵是机器学习中运算的基本单位，而且一些线性代数中的高级理论也被借鉴吸收到了机器学习算法中，比如用SVD（奇异值分解）来对特征降维，迹运算可以加深对PCA及某些聚类算法本质的理解等。

概率与统计

• 前置课程
• 微积分
• 主参考资料
• 《概率论与数理统计》陈希孺（注意不是浙大的那本！）
• 重点内容：
• 整本书！
• 学习方法
  这本书写的超棒！虽然学校的概率统计用的浙大那本教材，但是学完也有好多地方似懂非懂。直到在图书馆无意间遇到了这本书。。。所以认真读咯，是不是一想到小夕也读过这本书，就迫不及待想开始了呢【捂脸】
• 主要意义
  这门课程不需要谈意义了吧╮(╯▽╰)╭这门课都没有掌握，那只能处于计划一的大忽悠水平咯~

最优化算法-上

• 前置课程
• 微积分（高等数学）
• 线性代数
• 主参考资料
• 《Deep Learning》第四章（中文版链接见手册（一））
• 《Numerical Optimization》Jorge Nocedal等
• 辅助参考资料
  《最优化理论与方法》袁亚湘，孙文瑜（这本书已绝版，但某宝有卖复刻版；在学校的同学可去图书馆借，没收藏这本书的大学应该可以取消数学和计算机专业了吧）
• 重点内容：
• 一阶无约束优化算法
• 梯度下降法（简单了解步长的确定方法）
• 二阶无约束优化算法
• 牛顿法
• 约束优化算法
• 线性规划概念与应用
• 二次规划概念与应用
• 拉格朗日乘子法的简单认识
• 高级内容（依照自身数学基础，尽可能深的理解）
• 一阶无约束优化算法
• 梯度下降法（仅掌握线搜索法，学嗨了可以看信赖域法）
• 二阶无约束优化算法
• 共轭梯度法
• 拟牛顿法
• 约束优化算法
• 线性规划（仅掌握单纯形法，学嗨了可以看内点法）
• 二次规划（仅掌握对偶法，学嗨了可以看积极集法）
• 学习方法

1. 小夕考虑到最优化算法对机器学习而言虽然至关重要，但是对数学基础要求很高。因此在本计划中采用个性化定制的方式：
1. 如果您的数学基础很好，强烈建议您尽可能的完成高级内容，这对后面机器学习算法的透彻理解极其重要。
2. 如果您的数学基础不够，只需完成重点内容即可。但是希望在业余再加深一下对微积分、线性代数等知识的理解哦~方便以后突破瓶颈呐。
2. 对于重点内容，只需要认真研究理解《Deep Learning》中的4.3节和4.4节，这两节信息量很大，请务必认真阅读每一句话。如果这两节都感到寸步难行的话，请补习最优化的前置课程哦。
3. 对于高级内容，《Numerical Optimazation》是极其合适的，这本书很偏工程实践，讲了很多practical的问题。也是我们学校最优化课的教材。这本书貌似没有中文版，不过相信您的数学基础都那么好啦，看英文资料也没有问题哒~
4. 主要意义
   小夕在指导(一)中提到的机器学习瓶颈就是指的这门课！
   小夕第一次学机器学习时，以为各个机器学习模型是孤立的，有的用梯度下降，有的二次规划的，当时也不知道，结果学完之后机器学习体系特别散。
   直到上了这门课，才恍然大悟，竟然有这么一个数学体系将机器学习中的“寻最优参数”（即最优化）问题全都聚拢到一起了！
   所以，这门课之于机器学习的重要性，小夕只能说重中之重呀。

最后，欢迎关注我的订阅号【夕小瑶的卖萌屋】查收更多机器学习，NLP相关的资料和入门建议。

内容过于专业和良心，胆小者慎入！