Hadoop是什么？Hadoop是由Apache基金會開發(fā)的分布式系統(tǒng)基礎(chǔ)設(shè)施。用戶可以開發(fā)分布式程序，而不需要了解分布式的底層細(xì)節(jié)。充分利用集群的力量進(jìn)行高速計算和存儲。Hadoop框架的核心設(shè)計是

Hadoop是什么？

Hadoop是由Apache基金會開發(fā)的分布式系統(tǒng)基礎(chǔ)設(shè)施。用戶可以開發(fā)分布式程序，而不需要了解分布式的底層細(xì)節(jié)。充分利用集群的力量進(jìn)行高速計算和存儲。

Hadoop框架的核心設(shè)計是HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供存儲，MapReduce為海量數(shù)據(jù)提供計算。

hadoop到底是什么？

Hadoop細(xì)分為兩個部分，一個是HDFS，這是一個分布式文件系統(tǒng)，包含NameNode和DataNode，用于存儲pb級的數(shù)據(jù)。它的特點(diǎn)是體積大，可以部署到前臺和前臺的數(shù)萬臺機(jī)器上進(jìn)行存儲。另一部分是MapReduce，是一個離線數(shù)據(jù)分析的計算框架，Rarn是一個資源管理類和任務(wù)調(diào)度器，用于管理和調(diào)度程序，包括但不限于MapReduce，也可以運(yùn)行Spark等。

下面是生態(tài)系統(tǒng)。hadoop生態(tài)系統(tǒng)還包括spark、flume、hbase、kakfa等等。

hadoop是一種什么技術(shù)？

Hadoop是一個軟件框架，可以分布式處理大量數(shù)據(jù)。用戶可以在Hadoop上輕松開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用，充分利用集群的力量進(jìn)行高速計算和存儲。

如何使用Hadoop:

構(gòu)建Hadoop集群

簡單來說，把Hadoop安裝包放在每臺服務(wù)器上，更改配置后重新啟動，Hadoop集群就搭建好了。

將文件上傳到Hadoop集群

Hadoop集群設(shè)置完成后，可以通過網(wǎng)頁查看集群的情況，通過Hadoop命令上傳文件到hdfs集群，通過Hadoop命令在hdfs集群上建立目錄，通過Hadoop命令刪除集群上的文件等等。

編寫map/reduce程序

通過集成開發(fā)工具(如eclipse)導(dǎo)入Hadoop相關(guān)的jar包，編寫map/reduce程序，將程序扔到集群上的jar包中執(zhí)行。運(yùn)行后，得到了計算結(jié)果。

hadoop生態(tài)系統(tǒng)中每個組件的角色描述：

hdfs:可以存儲海量數(shù)據(jù)的文件系統(tǒng)。

mapreduce:通過一定的算法從海量數(shù)據(jù)中計算出有用的信息。

hive:是sql語句解釋器，接收用戶輸入的sql語句，然后將sql語句翻譯成復(fù)雜的mapreduce程序，發(fā)布到mr集群運(yùn)行，從而計算出有用的信息。

hbase:基于hdfs文件系統(tǒng)的數(shù)據(jù)庫。

flume:就是把一個文件中的數(shù)據(jù)提取到另一個文件中。

sqoop:將hdfs文件系統(tǒng)的文件導(dǎo)出到linux文件系統(tǒng)的文件。

ooize/azkaban:該組件負(fù)責(zé)協(xié)調(diào)各種任務(wù)的執(zhí)行順序。