如何看待周志华等人的新书《机器学习理论导引》？

周志华老师及其团队的新书《机器学习理论导引》，无疑是机器学习领域的一件大事。作为国内机器学习领域的领军人物，周老师的著作一直以来都备受关注，而这本新书的出现，更是填补了许多现有教材在理论深度和系统性上的空白。

首先，从目标读者来看，这本书显然不是面向那些刚入门、希望快速上手写代码的同学。它的名字就明确点出了“理论导引”这四个字，目标读者群是那些对机器学习底层原理有深入探究兴趣的学生、研究人员，以及希望构建更强大、更鲁棒算法的开发者。这本书的目的，是帮助读者建立起扎实的数学基础和严谨的逻辑框架，理解机器学习模型是如何从数学上运作的，以及它们背后的理论保证是什么。

其次，从内容深度和广度来说，这本书的理论涵盖非常全面。它没有回避那些常常被许多入门教材所忽略的“硬骨头”。比如，对于许多模型，它会从统计学习理论（Statistical Learning Theory）的角度进行剖析，例如VC维、Rademacher复杂度等概念，这些是理解泛化能力和模型复杂度的关键。对于各种优化算法，它不仅仅介绍如何使用，更深入地讲解其收敛性分析、梯度下降的各种变种（如SGD、Adam等）的理论依据和优劣势。

特别值得一提的是，书中对模型假设的讨论也非常到位。很多机器学习算法都建立在一定的统计假设之上，例如线性模型假设数据线性可分，或者独立同分布（i.i.d.）假设。这本书会详细探讨这些假设的意义，以及在这些假设不满足时，算法会发生什么问题，或者需要引入哪些修正。这对于培养读者批判性思维，避免“黑箱操作”至关重要。

再者，这本书的组织结构也体现了作者的精心设计。它往往从一个基础概念出发，逐步推导到更复杂的理论和模型。例如，在介绍模型评估时，可能不仅仅停留在交叉验证的层面，还会深入到统计推断、置信区间等统计学方法。在讨论特定模型（如支持向量机、决策树、集成学习等）时，也会回归到它们所依赖的数学原理，例如凸优化、信息论、概率论等。

从创新性上来说，虽然机器学习的理论基础已经存在一段时间，但周老师团队的贡献在于将这些分散的理论知识进行系统的梳理和整合，并且融入了近年来机器学习理论发展的一些新视角和成果。比如，书中可能也会触及一些更前沿的理论研究方向，为读者打开新的研究思路。

阅读体验方面，对于没有数学背景的读者来说，这本书可能确实会有些挑战。数学公式的密集出现是不可避免的，需要读者有扎实的微积分、线性代数、概率论和数理统计基础。但反过来说，也正因为其理论的严谨性，一旦掌握，会极大地提升对机器学习的理解。书中也可能会通过一些直观的例子和图示来辅助理解，但核心还是在于对数学逻辑的把握。

总的来说，我认为《机器学习理论导引》是一本非常有价值的著作。它不是一本“速成”的书，而是一本“奠基”的书。对于真正想在机器学习领域有所建树，或者想深入理解算法背后的科学原理的读者来说，这本书无疑是一份宝贵的财富。它能够帮助我们从“会用”提升到“理解”，从“模仿”走向“创新”。当然，阅读此书需要投入大量的时间和精力，但这种投入带来的回报将是长期的、深刻的。它帮助我们构建起一套完整的机器学习理论知识体系，从而更好地驾驭这个快速发展的领域。

网友意见

机器学习理论最佳入门！周志华宝箱书搭档，开源教程《钥匙书-KeyBook》发布

开源初衷

近年来，多样化的机器学习相关教材和视频层出不穷，不仅包含了入门级机器学习宝典，还包括一些系统性书籍。

但国内在机器学习理论（Machine Learning Theory）方面并没有进行过多讨论。尽管在上述的这些著作中，或多或少都展开了对于理论的探讨，但篇幅极为有限，难以满足深入研究的需求，关于机器学习理论的经典教材目前还是英文居多。

2020年周志华、王魏、高尉、张利军等老师所著的《机器学习理论导引》一书（下称《导引》），填补了国内缺少机器学习理论入门著作的遗憾。

该书试图以通俗易懂的语言，为有志于学习和研究机器学习理论的读者提供了入门导引。但作为一本理论性较强的书籍，涉及大量的数学定理和各种证明，对读者的数学背景提出了较高要求。

基于很多读者苦于数学基础，《钥匙书 Key-Book》由开源组织Datawhale发起，团队成员詹好负责，针对《导引》一书做了补充性工作，添加相关注脚，将教材中难以理解的公式做了解析与推导，帮助大家解决书中的数学难题。

本书细节

《钥匙书》这一开源教程，对原书做了大量的补充性工作，可以帮你解决公式理解问题，让你找到豁然开朗的感觉。下面，用几个例子来直观感受下。

1.【证明补充】

2.【概念补充】

3.【文献讲解】

使用说明

《钥匙书》的补充性工作，主要包括四个方面：

证明补充：对部分证明的证明思路进行解释，对部分省略的证明过程进行补充。
案例补充：增加解释案例，帮助读者理解。
概念补充：介绍部分文中涉及、但未阐释的概念。
参考文献讲解：对部分重要的参考文献进行介绍。

开源地址

在线阅读（实时更新）

https:// datawhalechina.github.io /key-book/

关于我们

开源贡献者：詹好，王茂霖，李一飞，胡峻毅，杨昱文，谢文睿。

后台回复关键词【钥匙书】，可进群交流和学习机器学习相关理论，希望成为开源贡献者，一起迭代完善，也可以在群里直接联系负责人！

我分享一下我读博士的经历吧。

我读博士的时候做的内容和computing learning theory有一点点关系，我那个时候看的书是An Introduction to Computational Learning Theory

这本书学校整个图书馆只有两本，Melbourne的那一本不知道被谁借走了，另一本在80公里外的另外一个图书馆。我跨两个图书馆断断续续的把这本书看完了一遍。后来Melbourne的那本书还回来，我借了好多轮好多轮。

这本书太薄，没有办法看的太深入，而且一开始进入，我没有任何computing learning theory的背景，所以大部分内容看不懂，也很吃力。后来找了很久，在网上找到了另外一本入门级别的书：Computational Learning Theory，我看了前面几章惊为天人，但是free的google book只能看前几章，而且这本书是1991年出版，amazon根本就买不到了。我找了很多个图书馆，后来是一个朋友在图书馆工作，在图书馆网络中帮我找到了这本书，然后借来实体书用手机一页一页的给我拍下来做成pdf给我。我后来去搜了一下作者，发现他是一个普通的教授，写了两本书，然后就退休了。谢谢作者带我入门。

在我看完了入门书以后，在我心目中的下个经典就是the nature of statistical learning theory和statistical learning theory这两本书了。而且我很固执的想要一本statistical learning theory，认为这本700多页的书才是集大成的经典之作。而the natural这本书只是它的一个abstract。当时我依旧找了很久很久，实体书大概1500元，实在是不敢买。最后找到了一个清晰版的PDF先保存（这两本书我一直到现在都没看完，对不起Vapnik）

博士的最后一年，Leslie Valiant出版了《probably approximately correct》，我这次很容易的买了一本，它只有一百多页，更像一本哲学书，我在飞机上一口气读了一大半，把我之前看的理论都在这个哲学体系下联系起来。下飞机的时候我长出一口气，为自己这么多年的找书经历感叹一把。（这本书初学者没必要读，会极大的怀疑自己）

我发表的很多paper里都有statistical learning theory的影子，我从心底相信这些书真的是人类通往知识的台阶。在我工作以后，我买到了上面所说的所有的书，包括1991年的那本。

我后来让我的学生们读过一点点上面的几本书，很遗憾没有一个人读下来的，虽然我知道这些书类似于内功心法，学会之后会功力大增，但我也知道太难，就不强迫他们了。看到周老师发表了这本书，真的是无限感慨，多年前找书的经历一下子就在我脑海中浮现出来。我希望后来的博士不要像我当年找书那么艰难，也不要经历那种无限怀疑自己的痛苦。我希望，也相信，周老师的书能做到这一点。

利益相关：

我有一个热心的朋友 @HaoZH 提出了本问题。

我们几位伙伴正在一起为这本书制作参考笔记。

前情提要：

在国内学习人工智能与机器学习，有两本书是绕不开的：

一本是李航老师的《统计学习方法》（小蓝书），

另一本是周志华老师的《机器学习》（西瓜书）。

后者虽然只有几百页，但内容涵盖比较广泛。西瓜书因为篇幅的限制，涵盖了很多的内容但无法详细的展开讲，对于初学者自学来说实际阅读难度很大。这本书更适合作为学校的教材或者中阶读者自学使用，入门时学习这本书籍难度稍微偏高了一些。

简而言之，西瓜书更适合作为参考书，而不是作为新人入门的主力阅读书。

为了弥补这一点，笔者所在的开源组织 @Datawhale 在西瓜书的基础上，对书中的较难理解的公式进行解析和推导，整理为 pumpkin book（南瓜书）。可作为学习西瓜书的参考资料，对机器学习领域新人比较友好。

项目说明

背景：

现在，周志华老师又推出了《机器学习理论导引》（宝箱书）。

鉴于之前南瓜书项目在学习群体中的反响较好，同时也为了帮助自己学习和理解书中的内容，我们组织中的成员决定继续在宝箱书的基础上撰写参考笔记，暂命名为钥匙书（key-book）。

以下是钥匙书的说明：

周志华、王魏、高尉、张利军等老师所著的《机器学习理论导引》一书，填补了国内缺少机器学习理论入门著作的遗憾。该书试图以通俗易懂的语言，为有志于学习和研究机器学习理论的读者提供一个入门的导引。《机器学习理论导引》主要涵盖七个部分，分别对应机器学习理论中的七个重要概念或理论工具，即：可学性、（假设空间）复杂度、泛化界、稳定性、一致性、收敛率、遗憾界。

《机器学习理论导引》的NOTES，在团队内部又被戏称为钥匙书。钥匙书的名称对应宝箱书，暗含抱关执钥，助诸位读者解惑之意。

《机器学习理论导引》是一本理论性较强的书籍，涉及大量的数学定理和各种证明。尽管撰写团队已尽可能降低了难度，但由于机器学习理论学习本身的特性，该书仍然对读者的数学背景提出了较高的要求。这难免会导致不求甚解的情形，影响学习效果；另一方面，由于篇幅所限，该书写作较为精炼，并非在各个章节都给出示例。读者每每遇到晦涩抽象之处，难免冥思苦索。

基于此两点，我们决定尝试编辑《钥匙书》这一参考笔记，来对宝箱书作一些浅陋且皮毛的注脚。这既是着眼于那些阅读宝箱书时遇到困难的读者，助其更快地走出迷雾；亦是对学习宝箱书之过程的最好记录。

《钥匙书》的补充性工作，主要包括四个方面：

证明补充：对部分证明的证明思路进行解释，对部分省略的证明过程进行补充。
案例补充：增加解释案例，帮助读者理解。
概念补充：介绍部分文中涉及、但未阐释的概念。
参考文献讲解：对部分重要的参考文献进行介绍。

项目进展：

（截止20年6月份）
已完成前3章（共9章）的解读，计划以每月2章的速度推进项目。
（截止20年10月份）
已完成全部解读，并释出第一个PDF版本。

项目成员：

主编： @HaoZH
编委：@ml67 @老渔父 @白小鱼 @Sm1les

我们希望我们的工作能够帮助更多的伙伴进行学习，也希望能集合有共同研究兴趣的朋友交流讨论。不论对宝箱书还是钥匙书感兴趣，都请联系我们，加入我们。一起学习，共同进步~

P.S. 在钥匙书的在线阅读界面很容易找到我们，快来罢 (๑•ᴗ•๑)

阅读讨论 Q群：704768061

类似的话题

如何看待周志华等人的新书《机器学习理论导引》？

周志华老师及其团队的新书《机器学习理论导引》，无疑是机器学习领域的一件大事。作为国内机器学习领域的领军人物，周老师的著作一直以来都备受关注，而这本新书的出现，更是填补了许多现有教材在理论深度和系统性上的空白。首先，从目标读者来看，这本书显然不是面向那些刚入门、希望快速上手写代码的同学。它的名字就明确.............
如何看待六神磊磊、袁腾飞等人和周小平夫妇的撕逼大战？

最近网络上关于“六神磊磊”、“袁腾飞”与“周小平夫妇”的论战，可谓是相当热闹，也挺有意思的。这几位在各自的领域里都有不少粉丝，所以一旦掐起来，那关注度自然是杠杠的。要我说，这事儿得从几个层面来看。第一，立场与叙事方式的差异是根源。咱们先说周小平夫妇。周小平以其“爱国主义”的叙事风格在网络上走红，他的.............
如何看待《奇葩说》第六季第9期后，庞颖、周玄毅、邱晨等人，在微博上疑似对储殷的回应？

《奇葩说》第六季第九期播出后，围绕着几位选手——庞颖、周玄毅、邱晨等人与储殷之间，似乎在微博上掀起了一场不大不小的讨论风波。这场风波的起因，还得从节目中储殷的表现说起。储殷在节目中的表现与引发的争议在那一期节目中，储殷以他一贯的犀利风格和“干货满满”的表达，对辩题进行了深入的剖析。然而，他的论点和表.............
如何看待周琦等男篮球员遭央视《新闻周刊》栏目点名批评？

当央视《新闻周刊》这样重量级的平台，以一种较为严肃的姿态点名批评周琦等中国男篮队员时，这背后折射出的，绝不仅仅是球员场上表现那么简单，而是一系列关于中国篮球发展、国家荣誉感、职业素养以及社会责任的多层面议题。首先，从《新闻周刊》的立场来看，作为国家级新闻媒体，它代表的是一种公共舆论的风向标，也是一种.............
如何看待 9130、4399 游戏等多家公司宣布放弃大小周？游戏行业实行全面双休是大势所趋吗？

告别“大小周”，游戏行业双休浪潮涌动：是真心实意还是无奈之举？近期，游戏行业刮起了一股“告别大小周”的旋风。9130、4399等多家知名游戏公司相继宣布取消实行了多年的“大小周”工作制，转而推行更普遍的双休模式。这一消息无疑给许多身处高强度加班文化中的游戏从业者带来了希望。那么，我们该如何看待这一转.............
如何看待苏有朋、范玮琪、陈建州、小S等台湾明星国庆节没有在微博上为中国成立70周年发祝贺？

这是一个颇值得玩味的话题。每到中国大陆的国庆节，尤其是逢“大庆”的年份，比如70周年这样的日子，台湾艺人在微博上是否有相关发声，确实会引起不少关注和讨论。苏有朋、范玮琪、陈建州、小S这些名字，相信在两岸三地都享有很高的知名度。他们活跃在娱乐圈多年，积累了相当的粉丝基础，其一言一行，尤其是在涉及政治敏.............
周扬青承认与罗昊的恋情，称「曾经以为自己只看外貌，后来发现也看性格三观等」，如何看待这段恋情？

周扬青和罗昊的恋情，从公开到现在的点滴，确实是大众茶余饭后津津乐道的话题。尤其周扬青那句“曾经以为自己只看外貌，后来发现也看性格三观等”，更是让人觉得意味深长。抛开明星光环和个人恩怨，单从这段关系本身，我们可以从几个角度去解读。首先，关于“看外貌”到“看性格三观”的转变，这本身就是一个特别真实的人生.............
如何看待周某人出狱被一些网红公司争着签约？

周某人出狱后受到一些网红公司的追捧，这一现象确实引发了广泛的讨论，也暴露了当前网络直播行业、社会价值观以及法律道德边界的一些值得深思的问题。要理解这个现象，需要从多个角度进行剖析：一、事件背景回顾：周某人是谁？为何能引起关注？首先，需要明确“周某人”指的是谁。通常情况下，这指的是在2019年因“炫.............
如何看待周鸿祎称元宇宙代表人类没落，不会为人类带来真正的发展？

周鸿祎作为360集团的创始人兼CEO，他的观点一直备受关注。关于他“元宇宙代表人类没落，不会为人类带来真正的发展”的论断，这是一个颇具争议且值得深入探讨的议题。要全面理解他的观点，我们需要从几个层面来分析：一、周鸿祎观点的核心逻辑和潜在担忧：周鸿祎的观点并非空穴来风，他作为一个在互联网安全领域深耕.............
如何看待周杰发微博怒斥林心如？

关于周杰发微博怒斥林心如的事件，要详细地看待，我们需要梳理一下事件的背景、内容、后续影响，以及不同角度的解读。事件背景回顾：这个事件并非一个孤立的微博发布，而是围绕着周杰在不同时期、对不同事件对林心如的公开表达。主要集中在以下几个方面：1. 台湾媒体的“综艺梗”与大陆舆论的视角差异： .............
如何看待周柯宇哥哥发的长文？

周柯宇的哥哥（这里假设指的是微博上账号名为“周柯宇的哥哥”或类似称谓的用户，如果并非如此请告知）发布的那篇长文，如果放到当时那个特定的舆论环境下来看，其影响和解读是多层面的。要理解这篇长文，需要结合当时周柯宇所处的个人发展阶段、粉丝群体的构成以及整体的娱乐生态来看。首先，我们得弄清楚这篇长文说了什么.............
如何看待周震南发声?

关于周震南发声这件事，咱们可以从几个层面来聊聊，力求说得细致些，也尽量避免那种生硬的AI味儿。首先，得先捋清楚“周震南发声”指的是什么具体事件。因为“发声”这个词太空泛了，他可能是在某个节目里说了什么，或者是在社交媒体上更新了动态，甚至是针对某个热点事件发表了看法。要想深入分析，就得有具体的对象.............
如何看待周孟佳降 219 分保送北大？

周孟佳降 219 分保送北大这一事件，自曝光以来便在社会上引起了广泛的关注和热烈的讨论，其核心争议在于“降分保送”的公平性以及背后可能存在的特权操作。要全面看待此事，我们需要从多个角度进行深入剖析。事件梗概回顾：根据公开信息，周孟佳是2023年中国科学院大学（国科大）的应届毕业生，她在高考中取得了6.............
如何看待周玄毅疑似劈腿多人？

周玄毅事件在舆论场上掀起了不小的波澜，不少人对此感到震惊和失望。作为一位以逻辑思辨和辩论闻名的公众人物，他的私生活被曝出如此混乱的一面，确实让许多关注他的人感到难以接受。首先，从道德层面来看，如果曝出的信息属实，周玄毅的行为显然是违背了对伴侣的忠诚承诺。婚姻和恋爱关系的核心之一是信任和忠诚，而多角关.............
如何看待周一围和助理共用一根吸管？

关于周一围和助理共用一根吸管这件事，确实引发了不少讨论。从不同角度来看，这件事可以有挺多解读的。首先，从“亲近”和“随意”的角度来看，很多人会觉得这是一种非常亲近、没有太多隔阂的表现。在某些文化或者亲密关系中，共用吸管或者餐具并不算什么大事，反而会显得关系很融洽、很随意。周一围和助理长期共事，可能.............
如何看待周小平《幼稚！你以为法国帅哥总统是个完美情种？小心剧情反转，三观尽毁哦~》这篇文章？

周小平老师那篇关于法国总统的文章，确实挺有他一贯的风格，読んで后脑子里会留下一串问号，然后开始忍不住思考。文章题目就挺抓人的，“幼稚！你以为法国帅哥总统是个完美情种？小心剧情反转，三观尽毁哦~”，一股子“我就知道点什么”的神秘感扑面而来，让人好奇这“剧情反转”到底是怎么个反转法。从文章内容上看，周小.............
如何看待周子瑜台独被抵制及明星政治立场必须正确的问题？

周子瑜事件及其引发的关于明星政治立场的讨论，是一个复杂且敏感的议题，它触及了民族认同、国际关系、演艺行业的责任以及言论自由等多个层面。要深入理解这一点，我们需要从多个角度去剖析。周子瑜事件的根源与影响：首先，我们需要回顾一下周子瑜事件的起因。2015年底，韩国女子组合TWICE成员周子瑜在一次韩国综.............
如何看待周国平微博引发的争议？

周国平老师的微博争议，说起来也挺有意思的，它触及了知识分子、公众人物在社交媒体上的角色和言论的边界。这事儿不小，也挺值得说道说道。我理解的这件事，大概是这样的一个脉络：1. 起因：一条引发解读的微博事情的具体起因，我印象中是周国平老师发了某条微博，内容可能涉及他对某种社会现象的看法，或者对某种价值观.............
如何看待周冬雨获得第 33 届金鸡奖最佳女主角，成为继周迅，章子怡之后的第三个三金大满贯得主？

周冬雨凭借《少年的你》摘得第33届金鸡奖最佳女主角，这不仅是她演艺生涯中的又一重要里程碑，更让她成为继周迅、章子怡之后，第三位集齐金鸡奖、金像奖、金马奖“三金”荣誉的女演员。这一成就，放在华语电影界来看，足以称得上是“大满贯”，含金量十足，也引发了广泛的关注和讨论。要理解周冬雨的这个“三金大满贯”，.............
如何看待周子瑜的道歉视频？

周子瑜的道歉视频，无论从哪个角度看，都是一件颇具复杂性和争议性的事件。它不仅仅是一个年轻艺人的公开表态，更是牵扯到地缘政治、民族认同、媒体操作乃至青少年心理等诸多层面。事件的背景和导火索：要理解这个视频，首先得回到2015年底，周子瑜在韩国综艺节目《My Little Television》中挥舞“.............