hive和mapreduce的區(qū)別，各自優(yōu)勢？hive是Hadoop的一個組件，以及數(shù)據(jù)廠庫，hive的數(shù)據(jù)是存儲在Hadoop的文件系統(tǒng)中的，hive為Hadoop需要提供SQL語句，是Hadoop

hive和mapreduce的區(qū)別，各自優(yōu)勢？

hive是Hadoop的一個組件，以及數(shù)據(jù)廠庫，hive的數(shù)據(jù)是存儲在Hadoop的文件系統(tǒng)中的，hive為Hadoop需要提供SQL語句，是Hadoop可以不是從SQL語句操作文件系統(tǒng)中的數(shù)據(jù)。hive是依賴性太強Hadoop而修真者的存在的。

mapreduce的全稱？

MapReduce是一種編程模型，應(yīng)用于如此大規(guī)模數(shù)據(jù)集（大于11TB）的并行運算結(jié)果。概念

mapreduce最小處理單位是多少？

Task分成三類MapTask和ReduceTask兩種，均由TaskTracker啟動時。HDFS以block塊存儲數(shù)據(jù)，mapreduce處理的大于數(shù)據(jù)單位為split。

mapreduce功能？

Mapreduce是種編程模型，結(jié)合了概念#34Map（映射）#34和#34Reduce（歸約）#34，主要是用于大規(guī)模行動數(shù)據(jù)集（大于1TB）的并行乘除運算。

它更大地方便啊了編程人員在應(yīng)該不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。

MapReduce基于了200以內(nèi)4大主要功能：1）數(shù)據(jù)劃分和計算任務(wù)調(diào)度系統(tǒng)自動啟動將一個作業(yè)（Job）待一次性處理的大數(shù)據(jù)再劃分為很多個數(shù)據(jù)塊，每個數(shù)據(jù)塊隨機于一個換算任務(wù)（Task），并手動調(diào)度計算節(jié)點來去處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能通常全權(quán)負(fù)責(zé)分配和調(diào)度換算節(jié)點（Map節(jié)點或Reduce節(jié)點），而全權(quán)負(fù)責(zé)監(jiān)控這些節(jié)點的執(zhí)行狀態(tài)，并負(fù)責(zé)Map節(jié)點執(zhí)行的離線控制。

sparksql為什么比hive處理速度快？

Spark為么快呢？

永久消除了冗余的HDFS讀寫

Hadoop有時候merge操作后，前提是寫的磁盤，而Spark在shuffle后不一定落盤，可以cache到內(nèi)存中，以便迭代時不使用。假如操作繁瑣，很多的shufle你操作，那么Hadoop的讀寫IO時間會大家增強。、

永久消除了冗余的MapReduce階段

Hadoop的shuffle操作當(dāng)然連帶求下載的MapReduce你操作，冗余設(shè)計冗雜。而Spark基于組件RDD提供給了十分豐富的算子操作，且action操作出現(xiàn)shuffle數(shù)據(jù)，也可以緩存在內(nèi)存中。

JVM的優(yōu)化

Hadoop有時候MapReduce你操作，啟動一個Task便會起動兩次JVM，基于組件進(jìn)程的操作。而Spark有時候MapReduce操作是設(shè)計和實現(xiàn)線程的，只在啟動Executor時起動一次JVM，內(nèi)存的Task操作是在線程并行操作的。

每次來起動JVM的時間可能會就不需要兩秒甚至于十幾秒，這樣當(dāng)Task多了，這個時間Hadoop不知道比Spark慢了多少。

總結(jié)：Spark比Mapreduce運行速度更快，主要相成于其對mapreduce不能操作的優(yōu)化包括對JVM不使用的優(yōu)化。