spark必知必會的基本概念

spark必知必會的基本概念

spark,是一種通用的大數據計算框架,I正如傳統大數據技術Hadoop的MapReduce、Hive引擎,以及Storm流式實時計算引擎等

Spark包含了大數據領城常見的各種計算框架:比如Spark Core用於離線計算,Spark SQL用於交互式查詢,Spark Streaming用於實時流式計算,Spark MILlib用於機器學習,Spark GraphX用於圖計算。

Spark主要用於大數據的計算,而Hadoop以後主要用於大數據的存儲(比如HDFS、Hive,HBase等),以及資源調度(Yarn)。

Spark+Hadoop的組合,是未來大數據領域最熱門的組合,也是最有前景的組合