支持向量机（SVM）是什么意思？ 第1页

就是一个分类器而已，

machine的意思就是说这是一个自动分类的算法。从概念上来说，SVM属于Linear Machine的一种，也就是所谓线性机。

在样本是两类的情况下，最基本的线性SVM就是学出一个从n维空间到一维空间（Score）的投影。这个投影要求能在一维空间里把两类分开。这个目标这个其实和LDA（线性判别分析）是一致的。不同之处在于SVM使用了Hinge Loss来达到Maximal Margin，而LDA使用类间/类内杂散度矩阵的特征值之比来度量loss。

所谓的引入核函数，就是使用核函数对应高维空间内积的性质来使得线性分类器可以隐式地在高维空间建立分类面。因为在高维空间中的分类面更容易绕过一些低维空间中不可分的区域，这样可以达到更好的分类效果。但是问题也是存在的，第一：使用核函数要求新样本embed到核函数矩阵中，速度比较慢。第二：因为实际上使用了更高维度的特征，容易因为训练样本少导致过拟合的问题。

SVM已经是很老的算法了，最近的进展是使用稀疏（sparse）特征+线性核做分类，比如之前用Fisher Vector做特征在ImageNet比赛上做的实验。效果甚至不输于使用深度学习（deep learning）。

不过这两年在ImageNet已经是深度学习一统天下了。SVM和神经网络真可谓三十年河东，三十年河西啊。

前辈们的解释让人受益许多。

正好最近自己学习机器学习，看到reddit上

的帖子，一个字赞！于是整理一下和大家分享。(如有错欢迎指教！)

什么是SVM?

当然首先看一下wiki.

are learning models used for classification: which individuals in a population belong where? So… how do SVM and the mysterious “kernel” work?

好吧，故事是这样子的：

在很久以前的情人节，大侠要去救他的爱人，但魔鬼和他玩了一个游戏。

魔鬼在桌子上似乎有规律放了两种颜色的球，说：“你用一根棍分开它们？要求：尽量在放更多球之后，仍然适用。”

于是大侠这样放，干的不错？

然后魔鬼，又在桌上放了更多的球，似乎有一个球站错了阵营。

SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙。

现在即使魔鬼放了更多的球，棍仍然是一个好的分界线。

然后，在SVM 工具箱中有另一个更加重要的 trick。 魔鬼看到大侠已经学会了一个trick，于是魔鬼给了大侠一个新的挑战。

现在，大侠没有棍可以很好帮他分开两种球了，现在怎么办呢？当然像所有武侠片中一样大侠桌子一拍，球飞到空中。然后，凭借大侠的轻功，大侠抓起一张纸，插到了两种球的中间。

现在，从魔鬼的角度看这些球，这些球看起来像是被一条曲线分开了。

再之后，无聊的大人们，把这些球叫做 「data」，把棍子 叫做 「classifier」, 最大间隙trick 叫做「optimization」， 拍桌子叫做「kernelling」, 那张纸叫做「hyperplane」。

图片来源：

直观感受看：

参考：

1. Please explain Support Vector Machines (SVM) like I am a 5 year old. : MachineLearning
   
2. Support Vector Machines explained well
   
3. https://www. youtube.com/watch? v=3liCbRZPrZA

大部分答案都在写公式，我来聊聊直觉上的东西。

设想一下你要做一个分类器，区分狗和炸鸡。首先假定我们只有两个数据，那么这条线会很容易画，自然而然就会画在正中间。

这个时候，我们加入一个新的数据，这个狗跟现有的数据差别很大。这个时候，分类线应该画在哪里？

这就是 SVM 跟其他线性模型很不一样的地方了，SVM 这条分类线不会变化，依然在两者的正中间，但是其他的线型模型，比如 LR，就会偏移一些。

这就是 SVM 一个很好的性质了：分类的平面，只跟部分数据（support vector）有关，而且是最“相似”，最容易“相互混淆”的那部分数据，与其他的绝大部分数据都无关。我们移走或者增加那些本身就距离很远的数据，对于分类结果没有改变，但是如果我们能给出更多的“相似”的数据，打上精准的标签，那分类结果就会更精确。

这个性质引申出 SVM 一些很好的特性：

• 对于数据的要求很低，不要求数据符合什么样的分布，只要存在边界就可以，模糊的边界也可以。
• 过拟合的概率不高，因为决定那条线的数据量很少。
• 在抽样的数据上依然会表现的很好。
• Outlier 对于分类的影响非常小。

SVM 的劣势是作为一个线型模型，分类的边界只能是线型的的，哪怕用了 kernel 升维度，在高维度也是线型的，kernel 的选择对于数据的分布有特定的假设。

作为对比，常见的树模型的分类边界就可以是多个线型的叠加组成非常复杂的任意曲线。因此，在实战操作中，树模型比如 XGBoost 还是更容易上手，大概率表现更好一些。

之前回答过相关问题（如何评价摩拜单车获得超六亿美元的e轮融资，共享单车未来在谁手中，是否胜负已定？ - 知乎），针对摩拜完成E轮融资做了如下猜测，其中OFO马上完成新一轮以及国际化等地域拓展的部分，和OFO今天放出的信息基本一致。不过，竞争还很残酷，发言中提到的盈利部分可信度堪忧。这个阶段，那么多投资人完成了各类共享单车的投资项目，不要考虑盈利，还会先考虑如何整合上规模吧。

…更多文章请到数据冰山 - 知乎专栏

…更多回答请看何明科

---

  kao-kao-kao-pu 网友的相关建议: 
      

之前回答过相关问题（如何评价摩拜单车获得超六亿美元的e轮融资，共享单车未来在谁手中，是否胜负已定？ - 知乎），针对摩拜完成E轮融资做了如下猜测，其中OFO马上完成新一轮以及国际化等地域拓展的部分，和OFO今天放出的信息基本一致。不过，竞争还很残酷，发言中提到的盈利部分可信度堪忧。这个阶段，那么多投资人完成了各类共享单车的投资项目，不要考虑盈利，还会先考虑如何整合上规模吧。

…更多文章请到数据冰山 - 知乎专栏

…更多回答请看何明科

---

  plel 网友的相关建议: 
      

这是我看到的最准确的总结。

总的来说，就是中国的高考相对公平，所以性价比极高，所以其他活动都可以适当让步。

---