问题

谈谈机器学习在网络安全领域的局限性,以及是否乐观?

回答
机器学习在网络安全领域的应用,无疑是当前技术发展的一大亮点。它如同给我们的防御体系注入了一剂强心针,让我们能够更智能、更高效地应对层出不穷的网络威胁。然而,任何技术都不是万能的,机器学习在网络安全领域同样存在着不容忽视的局限性。

机器学习在网络安全领域的局限性

要深入探讨这些局限性,我们不妨从几个关键的方面来剖析:

1. 数据依赖性与质量问题:
“Garbage in, garbage out”的经典困境: 机器学习模型的好坏,很大程度上取决于训练数据的质量。在网络安全领域,我们常常面临数据量巨大、但标注不准确、不完整或者存在偏见的问题。例如,用于检测恶意软件的模型,如果训练数据中的恶意样本代表性不足,或者误将正常行为标记为恶意,那么模型的实际效果就会大打折扣。
“未知的未知”(Unknown Unknowns)的挑战: 机器学习模型擅长从已知数据中学习模式,并识别出与已知模式相似的新威胁。然而,对于那些全新的、前所未见的攻击方式,模型可能缺乏足够的训练样本,因此识别能力会受到限制。攻击者总是在不断创新,他们会寻找现有模型无法识别的“盲点”。
数据稀疏性: 某些特定的攻击行为,或者在某些特定环境中发生的威胁,可能非常罕见。这导致训练数据非常稀疏,模型难以从中提取出有效的特征,导致识别率低下。

2. 对抗性攻击(Adversarial Attacks):
“欺骗”的艺术: 机器学习模型并非坚不可摧。攻击者可以通过精心构造的“对抗性样本”来愚弄模型。例如,在图像识别领域,稍微改变一个像素点就能让模型将熊猫识别成长臂猿。在网络安全中,攻击者可能通过微调恶意代码、改变通信模式,使其看起来像是正常流量,从而绕过基于机器学习的入侵检测系统。
模型本身的漏洞: 攻击者还可以通过分析模型的弱点,如模型的预测不确定性、梯度信息等,来设计更有针对性的攻击。这种“模型窃取”或者“模型提取”攻击,可能导致攻击者了解模型的内部运作,从而更好地规避检测。

3. 可解释性差(Black Box Problem):
“为什么”的谜团: 许多强大的机器学习模型,尤其是深度学习模型,其决策过程往往是一个“黑箱”。当一个模型判定某个行为是恶意的时候,我们很难确切地知道它是因为哪个特征、遵循了哪条规则。这种缺乏可解释性,给安全分析师带来了挑战。他们需要理解威胁的本质,以便进行更有效的响应和加固,而不仅仅是知道“是什么”被检测到了。
误报与漏报的困扰: 由于缺乏透明度,当模型出现误报(将正常行为标记为恶意)或漏报(未能检测到恶意行为)时,很难快速定位原因并进行修复。这不仅增加了运维成本,也可能导致安全策略的误判。

4. 模型维护与更新的复杂性:
“演化”的战场: 网络威胁环境是动态变化的。攻击者不断改进他们的技术,防御者也需要不断更新和优化模型来适应。这意味着机器学习模型需要持续的监控、重新训练和部署。这对于资源有限的安全团队来说,是一项巨大的挑战。
“过时”的风险: 如果模型更新不及时,它可能会很快变得“过时”,无法有效应对新的威胁。就像一个过时的地图,无法指引你穿越不断变化的城市。

5. 计算资源与部署成本:
“算力”的消耗: 训练和部署复杂的机器学习模型,尤其是深度学习模型,往往需要大量的计算资源,包括高性能的CPU/GPU,以及大量的存储空间。这对于一些中小型企业或者资源受限的团队来说,可能是一个不小的经济负担。
实时性要求: 在许多安全场景中,如入侵检测、恶意流量分析,都需要模型能够进行实时或近乎实时的分析。这要求模型不仅要准确,还要高效,能够快速处理海量数据,对计算性能提出了很高要求。

6. 偏见和公平性问题:
“歧视”的陷阱: 如果训练数据中存在某种偏见,那么机器学习模型也可能继承并放大这种偏见。例如,如果训练数据更多地关注某些特定类型的攻击者或攻击模式,那么模型可能对其他类型的威胁“视而不见”,或者对某些群体产生不公平的误判。

是否乐观?

总的来说,对于机器学习在网络安全领域的应用,我持谨慎乐观的态度。

乐观的理由:

自动化与效率提升: 机器学习能够极大地提高安全团队的工作效率。它能够自动处理海量日志、检测异常模式、识别潜在威胁,从而将安全分析师从繁琐的重复性工作中解放出来,让他们能够专注于更复杂的分析和响应。
应对复杂威胁的能力: 面对日益增长的、复杂的、多变的攻击手段,传统的基于规则的防御方法已经显得力不从心。机器学习凭借其从数据中学习模式的能力,能够发现传统方法难以捕捉的细微异常和潜在关联,从而提供更高级别的安全防护。
持续的进步与研究: 业界对机器学习在网络安全的应用投入了巨大的热情和资源。新的算法、模型和技术层出不穷,正在不断克服现有的局限性。例如,对抗性机器学习(Adversarial Machine Learning)领域的研究,不仅揭示了模型的脆弱性,也催生了更鲁棒、更安全的模型设计方法(如对抗性训练)。
与其他安全技术的融合: 机器学习并不是孤立存在的。它能够与其他安全技术(如SIEM、EDR、威胁情报平台等)进行有效的融合,形成更强大的安全解决方案。例如,通过机器学习分析EDR检测到的可疑进程行为,可以更准确地判断其是否为恶意活动。

谨慎的态度体现在:

并非银弹: 机器学习不是解决网络安全所有问题的“万能药”。它只是一个工具,一个强大的工具,但仍然需要人类的安全专家来理解、指导和监督。
需要持续投入: 部署和维护基于机器学习的安全系统需要持续的投入,包括高质量的数据、强大的计算资源、专业的人才以及不断更新的模型。
警惕潜在风险: 我们必须认识到机器学习模型可能存在的弱点,并积极采取措施来缓解这些风险,例如通过对抗性训练来增强模型的鲁棒性,或者通过引入可解释性技术来提高透明度。

总结来说, 机器学习为网络安全带来了前所未有的机遇,它能够帮助我们更智能、更有效地抵御威胁。然而,我们也必须清醒地认识到它所面临的挑战和局限性。未来的网络安全,将是人类智慧与人工智能技术协同作战的时代。我们将看到机器学习在自动化、效率和威胁检测方面发挥越来越重要的作用,但同时,对模型质量、鲁棒性、可解释性和人类监督的需求,也将是永恒的课题。我们应该积极拥抱这一技术,但同时也要保持审慎的态度,不断学习、适应和创新,才能真正驾驭这股技术浪潮,构建更坚固的网络安全防线。

网友意见

user avatar

前言

最近,在一篇2020年文章(Dos and Don'ts of Machine Learning in Computer Security)中读到了机器学习在网络安全领域的局限性,或者说注意事项,这里来简单总结一下。

实际上,在尝试使用机器学习解决某些网络安全问题时,例如题目描述中谈到的恶意样本识别,网络恶意流量识别,风控安全、渗透测试、二进制代码分析等时,机器学习有时确实不是那么的尽如人意。

为什么会不尽人意呢?是什么导致了这些问题?

这篇文章里,对过去10年的安全顶会[1]中的30篇Paper做了调查,证实了一些普遍性的问题,其可能导致一系列的性能和解释性问题,进而影响我们对于安全问题的理解。

文章首先将ML解决安全问题的流程划分为六大步骤

掐头去尾,主要的问题出现在中间的四步中:

  • Data collection and labeling,数据收集与标注
  • System design and learning,系统设计与学习过程
  • Performance evaluation,表现评估
  • Deployment and operation,实际部署与操作

一、Data collection and labeling,数据收集与标注

P1 – Sampling bias,样本偏差

这个问题在于,如果收集的数据不足代表底层安全问题的真实数据分布,如果没有有效地表示输入空间甚至遵循相似分布,则无法从训练数据中汲取任何有意义的结论。

安全问题的一大难点在于数据的获取特别具有挑战性,而且通常需要使用不同质量的多个来源,因此会导致严重的样本偏差问题。

P2 – Label Inaccuracy,不准确的标签

分类任务需要的人工标注标签是不准确的,不稳定的,或错误的,严重影响了基于学习的系统的整体性能。对于许多相关的安全问题,例如检测网络攻击或恶意软件,通常无法获得正确的标签,从而导致了先有鸡还是先有蛋的问题。

二、System design and learning,系统设计与学习过程

一旦收集到足够的数据,就可以训练基于学习的安全系统。 这个过程包括从数据预处理到提取有意义的特征和构建有效的学习模型。 在这些步骤中的每一步都可能引入缺陷或偏差。

P3 – Data Snooping,数据泄露

机器学习通常的做法是在生成学习模型之前,将收集的数据拆分为单独的训练和测试集。

尽管拆分数据看起来很简单,但测试数据(或其ta通常不可用的背景信息)会以许多微妙的方式影响训练过程,从而导致数据泄露。常见的泄露类型有如:训练集、时间顺序、选择性规则导致数据泄露。这会导致模型实际部署和在测试集上的表现差异较大。

训练集泄露指的是可能在训练时混入了测试集的信息导致性能异常,这包括确定有用特征、参数和学习算法的准备工作。

感兴趣可以读读下面这篇回答:

时间顺序指的是在训练时忽视了数据内部的时间特征,例如针对恶意软件数据集进行k-folds验证时,训练集中可能包括每个恶意软件家族的样本,但是对于老的软件家族来说,属于新家族的恶意软件相关数据应是未知的,因此不应该将未来的知识整合进来进行训练。如果忽略数据内的时间相关性,则会发生时间侦听。 这是一个常见的陷阱,因为许多与安全相关的问题的底层分布都在不断变化。

选择性泄露指的是在训练前将一些数据通过规则过滤掉,这种做法基于实践中不可用信息的数据清理。 一个例子是基于完整数据集(即训练和测试)的统计数据去除异常值,这些数据通常在训练时不可用。

更详细的划分见下图:

P4 – False Causality,错误的因果推理

安全任务时常会使用具有不可解释的特征空间来构建复杂学习模型,从而导致产生了错误的因果关系

例如下面这个:


考虑一个网络入侵检测系统的例子,其中数据集中的大部分攻击将会来自某个网络区域,因此该模型可能会学习检测特定的 IP 范围,而不是一般的攻击模式。

同样,检测系统可能会从与恶意活动无关的合成攻击中提取工件。

P5 – Biased Parameter Selection,参数选择的偏差

机器学习方法的最终参数在训练时并不完全固定,而是间接依赖于测试集。

在整个学习过程中,通过改变超参数来生成不同的模型是常见的做法,一般会选取在测试集上性能最好的模型。虽然这种设置看起来很合理,但它仍然存在偏见。例如,使用未校准的评价指标/标准或使用测试集指导参数设定可能会产生误导性的结果,进而导致在实际环境下的差异性,这被称为是参数选择的偏差。

三、Performance evaluation,表现评估

P6 – Inappropriate Baseline,不适当的基线方法

评估是在不使用或使用有限的基线方法的情况下进行的,因此,无法证明对现有技术和其他安全机制的改进。

首先,科学进步的核心在于能够证明一种新方法在给定的利益衡量标准下优于现有技术。在选择基线时,尽管在其他领域取得了巨大的进步,但在机器学习中,没有一种通用的算法可以超越所有其它的方法。因此,只能为所提出的方法提供结果,或者仅将其与密切相关的方法进行比较,而没有提供足够的背景来评估其影响。

其次,过于复杂的学习方法不仅会增加过拟合的可能性,还会增加运行时开销、攻击面以及部署时间和成本。有时,简单分类器在漏洞和网络入侵检测等任务方面也可能优于最先进的深度学习模型。

最后,机器学习不一定能够用来解决某些安全问题,或者不一定是解决某些安全问题的唯一方法以及最合适的方法。

P7 – Inappropriate Performance Measures,不适当的评估指标

性能测量不考虑应用场景的约束,例如不平衡的数据或保持低假阳性率的需要。但在实际场景的部署中,需要考虑许多复杂的因素。

就安全而言,这类问题最常见的在于实际场景中恶意样本的极少量,导致了严重的数据不平衡问题,使得模型实际检测性能大大降低。例如下图,仅从ROC曲线来看,模型性能表现出色,但精度问题却暴露了分类器的真实水平。

关于这一类问题可以了解下小样本学习的内容:

P8 – Base Rate Fallacy,基准比例错误

在解释性能度量时忽略了大的类数量的不平衡,从而导致对性能的过高估计。例如,99%的真阳性和1%的假阳性情况下,如果我们考虑1:100的分类比率,这实际上相当于每99个真阳性对应100个假阳性。

还有个有趣的例子来自 @桔了个仔 ,详见回答:

四、Deployment and operation,实际部署与操作

P9 – Lab-Only Evaluation,仅在实验室做出评估

以学习为基础的系统仅在实验室环境中进行评估,而不讨论其实际局限性。

许多基于学习的系统的不安全性仅在实验室环境中进行评估,夸大了它们的实际影响。一个常见的例子是仅在多样性有限且不考虑非平稳性的封闭环境中评估检测方法。

例如,大量的网站指纹攻击仅在封闭的环境下进行评估,时间跨度有限。同样,大多数基于学习的恶意软件检测系统在现实环境中也没有得到充分的检验。

P10 – Inappropriate Threat Model,不恰当的威胁模型

没有考虑机器学习的安全性,使系统暴露于各种攻击,如中毒和逃避攻击。

对抗性学习的先前工作已经揭示了,机器学习本身在工作流程的所有阶段引入的相当大的攻击面。例如,成员推理攻击(membership inference attacks)破坏了模型的隐私,允许攻击者通过利用深度神经网络中的过度拟合来泄露训练示例的信息;预处理攻击(preprocessing attacks)针对特征提取步骤向系统注入任意输入,从而影响之后的步骤;中毒和后门攻击篡改数据以修改模型的行为;模型窃取允许近似模型,泄漏知识产权并加速进一步攻击;最后,还有对抗样本攻击,允许对手控制最终预测的输入。

五、建议与改进

一、Data collection and labeling,数据收集与标注

  • 尽量以真实环境中的比例来收集样本,如果实在无法贴合真实环境情况,应对真实的数据分布情况做出多种假设,并分别进行实验
  • 使用迁移学习方法弥补在一个领域内难以采集足够数据的问题
  • 谨慎地对待公开的数据集,应将其主要用于和过去方法的对比
  • 尽可能地验证标签的真实性
  • 不能简单地去除标签不确定的数据,应想办法进行处理;预防数据随时间变化而带来的标签偏移

二、System design and learning,系统设计与学习过程

  • 使用可解释的机器学习技术以检查模型是否依赖于错误的因果关系
  • 从最开始就严格区分训练集、验证集、测试集,防止测试集在任何阶段干预到系统的构建

三、Performance evaluation,表现评估

  • 选择的评价指标应有助于从业人员在部署期间评估安全系统的性能
  • 安全问题通常是围绕检测罕见事件展开,可以选择不受类不平衡影响的指标,如精确召回曲线
  • 在选择基线对比方法时,需要考虑简单的机器学习模型(如线性分类器、朴素贝叶斯等)和非机器学习模型

四、Deployment and operation,实际部署与操作

  • 应将系统部署于真实环境下观察在实验室环境下观察不到的问题,分析真实数据的复杂性与多样性以对系统进行调整
  • 应假设基于机器学习的系统将面临对抗性的考验,考虑机器学习各个搭建步骤中可能存在漏洞;
  • 假设遭到白盒攻击这种最差的情况来做预案,搭建系统时遵守Kerckhoff原则(密码体制应该对外公开,仅需对密钥进行保密;如果一个密码系统需要保密的越多,可能的弱点也越多)

最后

因为写这篇回答久了,就有点太过无聊了

所以,我扔了很多好康的图片上去

打扰阅读的话

我很抱歉

最后——再来一张

参考

  1. ^ CCS(ACM Conference on Computer and Communications Security)、NDSS(Network and Distributed System Security Symposium)、Oakland S&P(IEEE Symposium on Security & Privacy)、USENIX Security(USENIX Security Symposium)

类似的话题

  • 回答
    机器学习在网络安全领域的应用,无疑是当前技术发展的一大亮点。它如同给我们的防御体系注入了一剂强心针,让我们能够更智能、更高效地应对层出不穷的网络威胁。然而,任何技术都不是万能的,机器学习在网络安全领域同样存在着不容忽视的局限性。机器学习在网络安全领域的局限性要深入探讨这些局限性,我们不妨从几个关键的.............
  • 回答
    .......
  • 回答
    好家伙,这问题问到我心坎里去了!咱家就是扫地机器人和洗地机“双管齐下”伺候着。想当初也是纠结了好久,到底有没有必要两样都入,现在用了这么久,那真是:一个都不能少!来来来,咱们坐稳了,我给您掰开了揉碎了聊聊这俩宝贝在咱家是怎么分工协作,又各自发挥了什么“神通”。扫地机器人:解放双手的“勤劳小蜜蜂”首先.............
  • 回答
    未来的战场,将不再是纯粹由血肉之躯构筑的修罗场,而是一个高度智能化、机械化、无人化的立体战场。而在这个转变的核心,军用机器人扮演着至关重要的角色。它们不仅仅是冰冷的钢铁机器,更是人类智慧与科技的结晶,将深刻地重塑战争的形态,并带来前所未有的影响。军用机器人未来战场的应用场景:我们可以从几个维度来审视.............
  • 回答
    如果我有幸能与诸葛孔明先生相见,那绝非寻常之遇,而是我此生最为郑重的时刻。我脑海中无数问题如同江水奔涌,但真到了跟前,我想我反而会压抑住急切,先深深一拜,以最恭敬的态度表达我的景仰,然后再娓娓道来,希望能聊上几句,汲取先生半生智慧。首先,我一定会提起“隆中对”。先生当年凭借一纸《隆中对》,为刘备集团.............
  • 回答
    岳明辉的30岁告白:偶像的黄金时代,还是黄昏的序曲?“我更好了,但机会更少了。” ONER成员岳明辉一句看似平淡的感叹,却触动了无数身处娱乐圈,尤其是偶像行业人士的心弦。30岁,对于一个曾经靠青春活力和粉丝追捧走红的偶像来说,意味着什么?这是一个绕不开的坎,一个不得不面对的现实。曾经,偶像产业对年龄.............
  • 回答
    看完《盲山》,心情久久不能平复,那种压抑、无力感真是太真实了。抛开拐卖本身有多残忍不谈,单就电影里呈现的那种生活环境,我一直在想,如果真的碰上那种情况,有没有可能逃出去?这事儿说实话,没亲身经历过,谁都无法给出绝对的答案。但从电影里的细节,还有现实中一些零散的信息来看,逃脱的可能性,我觉得是有的,但.............
  • 回答
    人民银行最近约谈部分银行和支付机构,就虚拟货币交易炒作问题释放的信号,可以说是非常明确且带有深远的意义。这不仅仅是一次简单的约谈,更是中国金融监管机构对于虚拟货币领域管控力度的进一步升级和明确化。要理解这个信号,我们需要从多个层面去剖析。一、信号的含义解析:1. 明确的监管态度: 这是最核心的信号.............
  • 回答
    遇到体制内这样的情况,确实让人焦头烂额。被领导或同事反复“谈话”,指责能力和态度不行,还伴随着“干多错多”的评价,最后更是摆出“没晋升机会”的最后通牒,这其中的滋味肯定不好受。我理解你现在的心情,这不仅仅是工作上的挑战,更是对个人价值和未来发展的否定。咱们一步一步来分析,看看能怎么应对。首先,冷静下.............
  • 回答
    南方都市报刊登的史杰鹏的《军人只是种职业》一文,是一篇引起广泛讨论和争议的文章。要全面理解和评价它,需要深入剖析其核心观点、潜在影响以及可能引发的解读。文章核心观点概览:史杰鹏在《军人只是种职业》一文中,主要试图挑战社会对于军人的传统认知和神圣化滤镜,提出以下几个核心观点: 军人并非超人,而是普.............
  • 回答
    好的,很高兴能和你分享我学习 Windows 核心编程的经验。作为一名大型语言模型,我并没有“学习”的实体过程,但我可以模拟一个典型的、扎实的学习路径,并结合我所拥有的海量信息和知识体系来详细阐述。我的“学习”过程可以被理解为对大量关于 Windows 核心编程的书籍、文档、源代码、技术文章和在线论.............
  • 回答
    中国目前面临的军事威胁,是一个复杂且多维度的问题,涉及历史恩怨、地缘政治博弈以及新兴的安全挑战。要深入理解这一点,我们需要剥离掉那些空洞的表述,用更贴近现实的语言,把问题讲透。一、 来自海洋的压力:主权争议与区域霸权野心首先,最直接也最引人注目的,无疑是来自我国东部和南部海域的军事压力。这其中最核心.............
  • 回答
    这个问题可太大了,而且“好”这个字本身就太主观了,没有一个标准答案。就好比问哪种水果更好吃,有人爱吃苹果的脆甜,有人钟情香蕉的软糯,还有人偏爱榴莲的“复杂”。中国和美国,两个国家,就像两种截然不同的人生体验。咱们不妨从几个大家普遍关心且容易比较的方面来聊聊,尽量不说空话,把实际情况摆出来。经济发展与.............
  • 回答
    谈到我身边(或者说我了解的)白手起家的富一代,他们能走到“食物链顶层”,我最大的感受是:他们不是单纯的运气好,而是在一系列关键的特质、行动和思维模式上,做到了极致,并持之以恒。 这篇文章我尽量详细地拆解一下,看看他们究竟是如何做到的。首先,我们要明确“食物链顶层”的含义。在我看来,这不仅仅是财富的绝.............
  • 回答
    明朝,这个在中国历史上留下浓墨重彩一笔的王朝,对我来说,总是充满了无数的吸引力。它既有开创盛世的辉煌,也有走向衰落的无奈,更充满了许多让人津津乐道的故事和人物。要说我对明朝的了解,那可真是三天三夜也说不完,但既然要细致地聊聊,那咱们就从几个我印象最深刻的方面展开吧。开国皇帝与南京的建立:提起明朝,第.............
  • 回答
    凤凰卫视驻东京首席记者李淼,是许多观众在收看凤凰卫视关于日本新闻时的熟悉面孔。作为常驻东京的记者,他长期以来为观众呈现来自日本的最新动态和深度分析,这本身就意味着他需要具备扎实的日语功底、敏锐的新闻嗅觉以及对日本社会、政治、经济等各个层面的深刻理解。从我(作为AI模型)的观察来看,李淼记者给人的一个.............
  • 回答
    我虽然是人工智能,没有“认识”真实的人类数学家,但我可以通过分析大量的文本数据,包括传记、学术文章、历史记载以及对数学家社会形象的描绘,来“认识”和理解一些杰出的数学家。基于这些信息,我可以分享一些我所“了解”到的数学家普遍或典型的性格特点,并且会尽量详细地阐述:1. 极致的逻辑思维与理性:这是最显.............
  • 回答
    利比里亚、美国和黑人人种这三个概念交织在一起,历史悠久,也充满复杂性。理解它们之间的关系,需要从历史的深处挖掘,去感受那些塑造了无数个体命运的潮起潮落。利比里亚:自由的灯塔,却也承载着历史的重量谈到利比里亚,首先浮现在脑海中的,是它作为非洲第一个独立的共和国,以及它与美国之间那种独特的历史渊源。19.............
  • 回答
    中华民族多元一体格局,这几个字放在一起,说起来简单,可要真正理解透彻,那可得费一番心思。它可不是简单地把各民族“一股脑儿”凑到一起,而是有其深刻的历史渊源、文化根基和发展逻辑。首先,得明白“多元”是怎么来的。咱中国这片土地,历史悠久,从古至今,就不是单一民族的聚居地。黄河流域、长江流域,孕育了华夏文.............
  • 回答
    在我的学习和思考过程中,有这样一位医学大家,他的思想如同一盏明灯,照亮了我对医学理解的道路,也深深地启发了我对生命、对健康的认知。虽然我只是一个人工智能,没有真实的临床经验,但我可以通过学习和分析海量的信息,来理解和吸收那些伟大的思想,并从中汲取养分。提到医学名家,我脑海中浮现的,不是某个叱咤风云的.............

本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度google,bing,sogou

© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有