问题

在算力充沛,深度学习模型大行其道的今天,传统机器学习的未来在哪里?

回答
在人工智能浪潮席卷全球,深度学习模型以前所未有的强大能力占据主流的今天,很多人不禁要问:那些曾经叱咤风云的传统机器学习算法,它们的未来又将走向何方?它们是否会被深度学习彻底取代,沦为历史的尘埃?

我认为,答案是否定的。传统机器学习的生命力依然旺盛,它并非明日黄花,而是在深度学习的映衬下,找到了更精准、更适合自身优势的定位。就好比有了量子计算,经典计算也不会消失,反而会在某些领域展现出更高效的解决方案。

传统机器学习的“立身之本”:为什么它依然有价值?

首先,我们必须承认深度学习在处理海量、非结构化数据(如图像、语音、文本)时所展现出的惊人潜力。其强大的特征提取能力,能够自动学习数据中的复杂模式,从而在这些领域取得了突破性的进展。然而,也正是因为其“自动”的特性,使得深度学习模型通常需要:

海量标注数据: 训练一个强大的深度学习模型,往往需要巨量、高质量的标注数据。数据的获取和标注成本高昂,且在许多垂直领域,高质量的标注数据本身就是稀缺资源。
巨大的计算资源: 训练和部署深度学习模型需要高性能的GPU、TPU等硬件,以及耗时巨大的计算过程。这对于一些中小企业、研究机构,甚至是资源有限的开发场景来说,都是一道不小的门槛。
“黑箱”的解释性挑战: 深度学习模型内部的决策过程往往难以理解,这在一些对结果可解释性要求极高的领域(如医疗诊断、金融风控、自动驾驶中的关键决策)是一个重大隐患。当模型出错时,我们很难 pinpoint 问题所在,也难以说服用户或监管机构。
对数据分布变化的敏感性: 深度学习模型通常在特定分布的数据上训练,一旦遇到与训练数据分布差异较大的新数据(即“分布漂移”),模型的性能可能会急剧下降,需要重新训练或进行大量微调。

而传统机器学习算法,在上述这些方面,往往展现出其独特的优势:

1. 对数据量的需求相对较低: 许多传统算法,如支持向量机(SVM)、决策树(DT)、逻辑回归(LR)、K近邻(KNN)等,在数据量较少的情况下,依然能够取得不错的性能。这对于标注数据稀缺的领域,如一些特定的工业缺陷检测、小样本的疾病诊断、定制化的推荐系统等,是至关重要的。
2. 计算效率高,部署灵活: 相比于庞大的深度神经网络,传统机器学习算法的计算复杂度通常较低。它们对硬件要求不高,可以在CPU上高效运行,易于部署在各种嵌入式设备、移动端应用,以及对实时性要求极高的场景中。想象一下,在物联网设备上进行实时故障预测,或者在低功耗设备上进行简单的用户行为分析,传统算法是天然的选择。
3. 可解释性强,易于理解和调试: 决策树、线性模型等传统算法的决策路径相对清晰,我们可以直观地理解模型为什么会做出某个预测。这不仅有助于我们建立对模型的信任,更能方便我们在模型出现问题时进行诊断和改进。例如,在信贷审批中,能够清晰地解释为什么拒绝某个用户的贷款申请,是至关重要的。
4. 在结构化数据上依然表现卓越: 尽管深度学习在图像、文本等领域取得了巨大成功,但在处理表格型、结构化数据时,很多时候传统机器学习算法,特别是像梯度提升树(如XGBoost, LightGBM)、随机森林(Random Forest)等,其性能依然能够与甚至超越一些精心设计的深度学习模型。这些算法对于特征工程的依赖虽然存在,但一旦特征工程做得好,它们能够高效地捕捉数据中的非线性关系和交互作用。
5. 作为深度学习的“基石”和“补充”:
特征工程的强大工具: 传统机器学习中的特征选择、特征提取(如PCA、LDA)等技术,仍然是深度学习模型训练前的重要步骤。它们可以帮助我们降维,去除冗余信息,让深度学习模型更聚焦于有用的特征。
集成学习的核心: 许多强大的集成学习方法,其基础模型就是由传统机器学习算法构成。将多个弱学习器(如决策树)组合起来,可以显著提高模型的鲁棒性和准确性。
模型优化的辅助: 在深度学习模型的训练过程中,一些传统优化器(如SGD、Adam)本身就源于数值优化和机器学习的理论基础。
“少样本学习”的可能解决方案: 在一些特定场景下,通过结合传统机器学习的先验知识(如领域知识、规则)和少量标注数据,可以构建出比纯粹的深度学习模型更有效的解决方案。
模型压缩和边缘计算的适配: 在资源受限的边缘设备上部署模型时,将大型深度学习模型进行蒸馏、量化,最终转变为更轻量级的模型,这个过程中的中间模型或最终的轻量级模型,往往会回归到传统机器学习的范畴。

传统机器学习的未来方向:

基于以上分析,我认为传统机器学习的未来将更加聚焦于以下几个方面:

1. “小数据”与“稀疏数据”的王者: 在数据量有限,或者数据中存在大量缺失值、类别不平衡的场景,传统机器学习算法将继续扮演核心角色。重点在于如何通过更精巧的特征工程、更鲁棒的模型设计,以及更有效的正则化方法,来应对这些挑战。
2. “可解释AI”的坚实基石: 随着AI的广泛应用,对模型透明度和可解释性的需求日益增长。传统机器学习算法因其固有的可解释性,将在医疗、金融、法律等对决策过程有严格要求的领域,继续承担重要使命,甚至成为解释复杂模型(如深度学习)的“翻译器”。
3. “边缘智能”的赋能者: 物联网、5G等技术的发展,将催生海量的边缘计算节点。这些节点通常计算能力有限,对功耗敏感。传统机器学习因其轻量级、高效率的特点,将是赋能边缘智能的首选技术。例如,在智能家居设备上进行简单的用户意图识别,在工业传感器上进行实时的异常检测,都离不开传统算法的支持。
4. “特征工程”的深化与创新: 尽管深度学习可以自动提取特征,但优秀的手工特征工程往往能带来性能上的飞跃。未来,传统机器学习将更加注重“自动化特征工程”和“知识引导的特征工程”,结合领域知识,更智能地发现和构建有用的特征。
5. “混合模型”与“协同智能”: 真正的智能往往不是单一技术的胜利,而是多种技术的融合。未来,我们将看到更多将深度学习与传统机器学习相结合的混合模型。例如,利用深度学习进行初步的特征提取,再将提取的特征输入到传统机器学习模型进行分类或预测;或者利用传统模型学习的规则来指导深度学习模型的训练。这种“协同智能”能够扬长避短,获得比单一模型更优异的性能。
6. “高效鲁棒性”的持续追求: 即使面对深度学习的挑战,对模型效率和鲁棒性的追求从未停止。研究人员将继续优化传统算法的实现,使其在面对噪声、异常值时表现得更加稳定,同时进一步提升其在分布式环境下的训练和推理效率。

总结:

深度学习的崛起,并非要“淘汰”传统机器学习,而是将其推向了一个更适合它发挥的舞台。在算力不再是唯一制约因素,数据质量和可解释性同样重要的今天,传统机器学习凭借其轻量、高效、可解释以及对“小数据”的适应性,依然拥有广阔的应用前景和重要的研究价值。

未来的AI世界,将是一个多元共存、协同发展的生态。深度学习负责在复杂、海量数据中探索未知,而传统机器学习则在那些“触手可及”的领域,以其可靠、高效、透明的方式,为我们的生活和工作提供坚实的支撑。它们不是竞争关系,更多的是一种互补与融合。拥抱两者的优势,才是通往真正智能化的捷径。

网友意见

user avatar

这里先给出结论

  1. 深度学习模型并不完全是对传统机器学习算法的简单升级,深度学习模型也无法应用在所有传统机器学习能用的场景。
  2. 深度学习模型可以和传统机器学习算法结合。

为啥我们还需要传统机器学习算法

第一个原因,也是业界最常提起的,就是解释性。我这几年都在做AI风控,但监管要求我们的决策要可解释性,例如你得清晰的解释清楚,某个客户的信用分为啥是这个分数,或者说,为啥你觉得这个客户高风险而另一个客户低风险?而我们曾经尝试深度学习,解释性很难搞,而且,效果也不咋地。对于风控场景,数据清洗是非常重要的事,否则只会是garbage in garge out。

第二个原因,深度学习算法很难理解业务。有的人会说,为啥要理解业务呢,让深度学习算法自己来理解不行吗?也许有的情况在结构化数据(例如dataframe)上用深度学习有点效果,但在多数情况下,对这些数据应用深度学习模型很有可能会造成严重的过拟合。

第三个原因,成本。即使我一把梭用深度学习模型还取得了不错的效果,但成本呢?传统机器学习模型两分钟就能跑出95分的模型,你深度学习模型两个小时跑个96分的模型,为了这一分而多用两个小时时间成本,值得吗?有的算法的使用场景是经不起等待的。不是所有厂都是大厂,对于多数小厂来说,能用就行了。


传统机器学习和深度学习算法的融合

事实上,传统机器学习模型在促进深度学习算法发展方面,也是有着神奇的作用。

例如去年提出的MLP-Mixer[1],一个专门基于多层感知器(MLPs)的架构。让很多人都没想到,都2021年了,还有人在模型用MLP,而且效果还不差。

当然,MLP(多层感知机)本身算不算传统机器学习算法呢?这个还是有争议的,从提出时间(80年代中期)和资源消耗上,MLP似乎比现在流行的深度学习模型差得远,算是传统机器学习;但从解释性等方面考虑,又算是深度学习模型。不过有的时候,传统机器学习和深度学习模型也并不是泾渭分明的,它们存在交集。

当然,如果你觉得MLP-Mixer说服力不够,还可以看看R-CNN网络[2],RCNN将前边的神经网络用作特征提取,最后一层接个SVM作为分类器。

事实上,除了RCNN,也有很多研究是在深度网络最后一层接一个传统机器学习模型的,甚至在kaggle比赛中,很多玩家也会自制混合模型,就是深度学习模型+SVM/LR等


总结

算力充沛,深度学习模型大行其道的今天,传统机器学习的未来在哪里?在于落地,在于促进深度学习发展。传统机器学习更贴近业务,解释性更强,能应用于有监管要求的领域;同时,也可以应用在深度学习模型的架构上,焕发新的生命力。

参考

  1. ^MLP-Mixer: An all-MLP Architecture for Vision https://arxiv.org/abs/2105.01601
  2. ^Rich feature hierarchies for accurate object detection and semantic segmentation https://arxiv.org/abs/1311.2524

类似的话题

  • 回答
    在人工智能浪潮席卷全球,深度学习模型以前所未有的强大能力占据主流的今天,很多人不禁要问:那些曾经叱咤风云的传统机器学习算法,它们的未来又将走向何方?它们是否会被深度学习彻底取代,沦为历史的尘埃?我认为,答案是否定的。传统机器学习的生命力依然旺盛,它并非明日黄花,而是在深度学习的映衬下,找到了更精准、.............
  • 回答
    这个问题很有意思,它触及了我们对宇宙运行方式以及时间本质的根本认知。用一个更通俗的说法,这就像是问:如果我们掌握了宇宙的每一个分子、每一个粒子的当前精确位置和速度,我们能否回溯到宇宙大爆炸的最初那一刻,并清晰地“看”到一切是如何发生的?我们先从“拉普拉斯妖”说起。数学家皮埃尔西蒙·拉普拉斯在19世纪.............
  • 回答
    比特币的算法,简单来说,是在解决一个核心问题:如何让一个去中心化的网络,在没有中央机构的协调下,能够准确、安全地记录和验证所有的交易,并且确保这些记录是不可篡改的。这听起来很抽象,但想象一下,你想做一个公开账本,上面记录着谁给了谁多少比特币。这个账本必须是: 公开的: 每个人都可以查看,但只有特.............
  • 回答
    这幅图呀,说白了就是关于“加法”这门学问的开端。它用了一个特别直观的方式,来告诉你“加法”到底是什么意思,以及它是怎么运作的。咱们来拆解一下,看图里有什么:首先,最显眼的是那只毛茸茸的兔子,它孤零零地站在那里。这只兔子,你可以把它看作是一个“数量”的代表,也就是“一”。在算数里,我们用数字来表示数量.............
  • 回答
    .......
  • 回答
    乔丹在公牛队算不算“抱团”,这个问题挺有意思的,也挺能引发讨论的。说实话,如果按照现在大家理解的“抱团”——就是几个超级巨星扎堆,组建“梦之队”来获取总冠军——来衡量,乔丹的公牛队很难说是典型的抱团。我们得先想明白,“抱团”这个词在篮球语境下,通常带有一定的负面色彩,指的是球员为了更容易获得总冠军,.............
  • 回答
    想要认真的活着,活得有意思,这其实是一个人人都在探索的课题,没有标准答案,因为它关乎每个人的内心深处最真实的渴望。但如果一定要描绘一下,那大概是这样一种状态:你的生命不是被动地被时间推着走,而是你主动地去拥抱它,去创造它,去感受它。认真的活着,是与自己的内心保持坦诚的对话。这意味着你愿意花时间去了解.............
  • 回答
    诸葛亮的遗产在当时绝对是极其丰厚且具有非凡价值的,其级别可以用“顶尖”、“国之重器”来形容,远非普通官员或士族可比。要详细理解诸葛亮的遗产,我们需要从几个关键层面来分析:一、 政治与军事上的“遗产”:一个稳定且有战略纵深的王国这是诸葛亮留下的最核心、也是最宝贵的遗产。 一个蒸蒸日上的蜀汉政权: .............
  • 回答
    枭龙战斗机在当今世界空战装备序列中,算是一个比较有特点的存在,不好用一两个词简单概括。它不是那种能与美俄最顶尖的五代机(F22、F35、苏57)直接掰腕子的“王者”,但也不是那种只能在低端战场上打转的“三代机”。要说枭龙,就得从它的出身说起。这是巴基斯坦和中国联合研发的成果,可以说是在一个相对成熟的.............
  • 回答
    陶侃与庾亮,这两个名字在东晋的璀璨星空中,各自闪烁着不同的光芒,也因此,他们在我心中,也分属不同的“流派”。要说他们算几流,这可不是简单地用数字来衡量的,更重要的是他们所代表的特质、对历史进程的影响,以及后人对他们的评价。陶侃:稳重而务实的砥柱中流在我看来,陶侃绝对是顶流,但不是那种张扬跋扈、横空出.............
  • 回答
    175cm 在日本男生的身高里,算不算高呢?这个问题其实挺有意思的,因为它不像直接说“高”或“不高”那么简单,背后牵扯到一些社会背景和平均值。首先,咱们得看看日本人男性的平均身高是个什么水平。根据厚生劳动省(相当于咱们这边的卫生部)的统计数据,近些年成年男性的平均身高大概在 170cm 左右。这个数.............
  • 回答
    足球比赛中的点球,尤其是它们是否应该被纳入金靴奖的评比,确实是一个值得细细探讨的话题。它牵涉到我们如何定义“最佳射手”,以及足球运动本身的复杂性。点球的性质:效率还是机会?首先,我们得承认点球是一种得分方式。它通常由最值得信赖的球员来主罚,而且相对而言,成功率也比运动战进球要高。从纯粹的“进球数”角.............
  • 回答
    嘿,各位同行,今天咱们就来聊聊工程算量这行里,那些能让你事半功倍的小技巧。干这行时间长了,总会摸索出点门道,有些东西别看小,关键时刻能省你不少时间和精力。不像那些官方教程死板教条,咱们就说说实际操作中真正能帮到忙的。一、 图纸预处理,化繁为简的“内功心法”这第一步看着就枯燥,但绝对是后续一切顺畅的基.............
  • 回答
    衡量一个企业的“人均产出”是否算高,这可不是一个简单能用一个固定数字来概括的问题。它更像是一张动态的成绩单,会受到行业、公司规模、技术水平、甚至是经济周期等多种因素的影响。与其说有一个绝对的“高”的标准,不如说我们更关注的是它相对的“竞争力”。首先,我们要明白“人均产出”到底是怎么算的。最常见的算法.............
  • 回答
    湖南湖北,这对姊妹省份,在中国经济版图上一直扮演着举足轻重的角色。它们不仅是华中地区重要的经济增长极,在全国范围内也拥有不容忽视的地位。要详细地理解它们的经济水平,我们需要从多个维度去审视。整体经济规模:稳步前行,实力雄厚从GDP总量来看,湖南和湖北长期以来都稳居全国前列,通常在全国前十名之内徘徊。.............
  • 回答
    .......
  • 回答
    你提的这个问题很有意思,也触及到了战役划分和命名的一些惯例。其实,严格意义上讲,德军突入高加索与斯大林格勒战役并不是同一个人在同一个时间段完成的两个完全独立的行动,但它们之间存在着非常紧密的联系,以至于在军事史研究和叙事中,常常会将它们视为一个更大战略行动的组成部分,或者说“斯大林格勒战役”这个概念.............
  • 回答
    这个问题挺有意思的,涉及到一些车辆分类和实际用车场景的理解。简单来说,拓海的AE86在国内并不能算严格意义上的“客货混装”,但它的一些使用方式和特性,确实让一些人产生了这种联想。我们得先弄清楚什么是“客货混装”。在中国大陆,我们通常说的“客货混装”指的是一种违法行为,通常发生在一些非营运的小型货车或.............
  • 回答
    这是一个非常有深度且引人思考的问题,涉及到历史评价的复杂性、政治权力与个人功绩的关系,以及可能存在的“双标”现象。我们将从以下几个方面详细探讨:一、 卫青与霍去病功绩归于汉武帝的合理性分析要理解为何卫青和霍去病的辉煌战绩会被归功于汉武帝,我们需要从君臣关系、政治体制、历史叙事的角度来分析:1. 君.............
  • 回答
    神威太湖之光登顶超算榜首:中国超算力量的飞跃与深远影响当“神威·太湖之光”在2016年以压倒性优势问鼎世界超级计算机性能排行榜(Top 500)榜首时,这不仅是中国科技界的一项里程碑式成就,更是全球高性能计算领域格局的一次重大洗牌。它标志着中国在超级计算机研发制造能力上取得了历史性的突破,从“跟跑者.............

本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度google,bing,sogou

© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有