大数据听着很牛，实际上也很牛吗？ 第1页

请问统计个搜索量跟大数据有什么关系......

所谓Big Data其实是有两部分组成的。一部分是海量运算存储能力，一部分是数据建模算法。

第二部分其实是一个蛮久的学科了。20年前我们叫做statistical analysis，10年前叫data mining，5年前叫machine learning，最近叫big data。其实就是用数学建模的方法对过去的数据建模，以期可以预测未来的行为。比如netflix用你的历史评分来猜你喜欢的电影，yelp用你历史喜好来预测你的口味。。。

但是在之前人们发现虽然模型看起来不错，但是第一海量的数据不好存储，第二是超大型矩阵运算要很长时间，这对于一个需要快速响应的系统显然是不行的。

最直接的方式就是提高硬盘和CPU的capacity，但是后来发现远远赶不上需求。于是大量的研究聚集到了并行计算的架构上。感谢google带来的mapreduce和hadoop，码农们有了一个标准化和广泛接受的并行存储计算框架。之前的bottleneck在近几年突然被突破了，人们发现可以实时运算数据量瞬间达到了PB级别。面对这样的海量数据人们提出了Big Data的概念。

另外一点就是互联网的急速发展，一方面大带宽促进了并行计算发展，一方面人们越来越多的在网络发布自己的信息。这使得挖掘数据越来越成为一个有商业前景的技术。

下面来回答题主的问题：大数据到底牛不牛？

就并行计算来讲确实很牛。但原理很简单，就是把一个巨型的矩阵切片分给一个个小的机器来处理(Map)，然后把计算结果汇总处理(Reduce)。这样不用提高单个核心的运算频率的条件下，通过并行运算来达到速度加倍的效果。虽然说起来很简单，但其中牵扯到的数据存储方式、计算负荷分配等技术确实到近几年才突飞猛进的发展完善。吐槽一下....看到有人说hadoop被sql虐。这很正常好嘛....能一台机器上解决的事情你分一堆机器做，网络不要时间么....