hadoop究竟是什么 hadoop到底是什么？
Hadoop是什么？Hadoop是由Apache基金會開發(fā)的分布式系統(tǒng)基礎設施。用戶可以開發(fā)分布式程序，而無需了解發(fā)行版的底層細節(jié)。充分利用集群的力量進行高速操作和存儲。Hadoop框架的核心設計是:
Hadoop是什么？
Hadoop是由Apache基金會開發(fā)的分布式系統(tǒng)基礎設施。用戶可以開發(fā)分布式程序，而無需了解發(fā)行版的底層細節(jié)。充分利用集群的力量進行高速操作和存儲。
Hadoop框架的核心設計是:HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供存儲，MapReduc
hadoop到底是什么？
Hadoop細分為兩部分。一部分是HDFS，這是一個分布式文件系統(tǒng)，包括NameNode和DataNode，用于存儲pb級數(shù)據(jù)。它的特點是大，可以部署到前臺上萬臺機器上進行存儲。另一部分是MapReduce，是一個離線數(shù)據(jù)分析的計算框架，Rarn是一個資源管理類和任務調度器，用于管理和調度程序，包括但不限于MapReduchadoop是一種什么技術？Hadoop是一個軟件框架，可以分布式處理大量數(shù)據(jù)。用戶可以在Hadoop上輕松開發(fā)和運行處理海量數(shù)據(jù)的應用，充分利用集群的力量進行高速計算和存儲。
如何使用Hadoop:
Hadoop集群的構建
簡單來說，就是把Hadoop安裝包放在每臺服務器上，更改配置后再啟動，就完成了Hadoop集群的構建。
將文件上傳到Hadoop集群
Hadoop集群搭建完成后，可以通過網(wǎng)頁查看集群的情況，通過Hadoop命令上傳文件到hdfs集群，通過Hadoop命令在hdfs集群上建立目錄，通過Hadoop命令刪除集群上的文件等等。
編寫map/reduce程序
通過集成開發(fā)工具(如eclipse)導入Hadoop相關的jar包，編寫map/reduce程序，將程序做成jar包扔在集群上執(zhí)行，運行后輸出計算結果。
hadoop生態(tài)系統(tǒng)中各組件的功能描述:
① hdfs:一個文件系統(tǒng)，可以存儲海量數(shù)據(jù)。
② mapreduce:通過一定的算法從海量數(shù)據(jù)中計算出有用的信息。
③hive:sql語句解釋器，接收用戶輸入的sql語句，然后將SQL語句翻譯成復雜的mapreduce程序，發(fā)布到mr集群。以便計算有用的信息。
④ hbase:是基于hdfs文件系統(tǒng)的數(shù)據(jù)庫。
⑤ flume:就是從一個文件中提取數(shù)據(jù)到另一個文件中。
⑥ sqoop:將hdfs文件系統(tǒng)的文件導出到linux文件系統(tǒng)的文件。
⑦ ooize/azkaban:該組件負責協(xié)調各個任務的執(zhí)行順序。