hadoop究竟是什么 hadoop到底是什么？
Hadoop是什么？Hadoop是由Apache基金會(huì)開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)設(shè)施。用戶可以開(kāi)發(fā)分布式程序，而無(wú)需了解發(fā)行版的底層細(xì)節(jié)。充分利用集群的力量進(jìn)行高速操作和存儲(chǔ)。Hadoop框架的核心設(shè)計(jì)是:
Hadoop是什么？
Hadoop是由Apache基金會(huì)開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)設(shè)施。用戶可以開(kāi)發(fā)分布式程序，而無(wú)需了解發(fā)行版的底層細(xì)節(jié)。充分利用集群的力量進(jìn)行高速操作和存儲(chǔ)。
Hadoop框架的核心設(shè)計(jì)是:HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供存儲(chǔ)，MapReduc
hadoop到底是什么？
Hadoop細(xì)分為兩部分。一部分是HDFS，這是一個(gè)分布式文件系統(tǒng)，包括NameNode和DataNode，用于存儲(chǔ)pb級(jí)數(shù)據(jù)。它的特點(diǎn)是大，可以部署到前臺(tái)上萬(wàn)臺(tái)機(jī)器上進(jìn)行存儲(chǔ)。另一部分是MapReduce，是一個(gè)離線數(shù)據(jù)分析的計(jì)算框架，Rarn是一個(gè)資源管理類和任務(wù)調(diào)度器，用于管理和調(diào)度程序，包括但不限于MapReduchadoop是一種什么技術(shù)？Hadoop是一個(gè)軟件框架，可以分布式處理大量數(shù)據(jù)。用戶可以在Hadoop上輕松開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用，充分利用集群的力量進(jìn)行高速計(jì)算和存儲(chǔ)。
如何使用Hadoop:
Hadoop集群的構(gòu)建
簡(jiǎn)單來(lái)說(shuō)，就是把Hadoop安裝包放在每臺(tái)服務(wù)器上，更改配置后再啟動(dòng)，就完成了Hadoop集群的構(gòu)建。
將文件上傳到Hadoop集群
Hadoop集群搭建完成后，可以通過(guò)網(wǎng)頁(yè)查看集群的情況，通過(guò)Hadoop命令上傳文件到hdfs集群，通過(guò)Hadoop命令在hdfs集群上建立目錄，通過(guò)Hadoop命令刪除集群上的文件等等。
編寫map/reduce程序
通過(guò)集成開(kāi)發(fā)工具(如eclipse)導(dǎo)入Hadoop相關(guān)的jar包，編寫map/reduce程序，將程序做成jar包扔在集群上執(zhí)行，運(yùn)行后輸出計(jì)算結(jié)果。
hadoop生態(tài)系統(tǒng)中各組件的功能描述:
① hdfs:一個(gè)文件系統(tǒng)，可以存儲(chǔ)海量數(shù)據(jù)。
② mapreduce:通過(guò)一定的算法從海量數(shù)據(jù)中計(jì)算出有用的信息。
③hive:sql語(yǔ)句解釋器，接收用戶輸入的sql語(yǔ)句，然后將SQL語(yǔ)句翻譯成復(fù)雜的mapreduce程序，發(fā)布到mr集群。以便計(jì)算有用的信息。
④ hbase:是基于hdfs文件系統(tǒng)的數(shù)據(jù)庫(kù)。
⑤ flume:就是從一個(gè)文件中提取數(shù)據(jù)到另一個(gè)文件中。
⑥ sqoop:將hdfs文件系統(tǒng)的文件導(dǎo)出到linux文件系統(tǒng)的文件。
⑦ ooize/azkaban:該組件負(fù)責(zé)協(xié)調(diào)各個(gè)任務(wù)的執(zhí)行順序。