机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？ 第1页

算法也许可以选择有用的数据，但不能分辨有用的知识。

有的算法看起来能分辨哪些有用哪些没用，但实际上还是依赖人的输入。例如主动学习（Active Learning)

主动学习的过程是这样的：模型通过查询函数，从未标记的数据池里选择样本，然后交给标记员去打标记。

但主动学习并非真的分辨了「知识」。仅仅是选择了「数据点」，而且关于这个数据点的知识，还得外部（标记员）输入，更别说查询函数也是人为定义的。有的人说，如果这个标记员是个算法呢？这不就是可以自动运作寻找有用的知识了吗？那么问题来了，算法标记员的知识又是哪里来的？这么问下去，就会变成鸡生蛋蛋生鸡的问题，最后的造物主只会指向人类。世界上没用永动机，也没有熵减的孤立系统。从熵增原理我们也可以得知，一个孤立系统的熵永远不会减少。除非从外部获得新信息。所以其实如果从熵增原理来思考，机器学习算法本身是无法分辨无用信息的。分辨有用和没用，需要信息，而孤立系统是无法凭空产生新信息的。

你给机器学习模型喂垃圾数据，模型就给你垃圾输出。模型本身，仅仅是参数的集合和拓扑，它本身并不去思考有用和没用这种人类该思考的问题。

最后，再说一次机器学习业界的那句老话：Garbage in, Garbage out(GIGO)。