零基礎(chǔ)學(xué)習(xí)Hadoop，該如何下手？我們都知道Hadoop是現(xiàn)在學(xué)習(xí)大數(shù)據(jù)的必備技術(shù)之一。簡(jiǎn)單來說，Hadoop就是在分布式服務(wù)器集群上存儲(chǔ)海量數(shù)據(jù)，運(yùn)行分布式分析應(yīng)用的方法。那么Hadoop應(yīng)該學(xué)什

零基礎(chǔ)學(xué)習(xí)Hadoop，該如何下手？

我們都知道Hadoop是現(xiàn)在學(xué)習(xí)大數(shù)據(jù)的必備技術(shù)之一。簡(jiǎn)單來說，Hadoop就是在分布式服務(wù)器集群上存儲(chǔ)海量數(shù)據(jù)，運(yùn)行分布式分析應(yīng)用的方法。那么Hadoop應(yīng)該學(xué)什么呢？你需要知道什么？有Hadoop經(jīng)典學(xué)習(xí)資料嗎？

HDFS

HDFS (Hadoop分布式文件系統(tǒng))是一個(gè)高度容錯(cuò)的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS可以提供高吞吐量的數(shù)據(jù)訪問，適合具有大型數(shù)據(jù)集的應(yīng)用程序。

MapReduce

一般來說，MapReduce是一種從海量源數(shù)據(jù)中提取分析元素，然后返回結(jié)果集的編程模型。把分發(fā)到硬盤的文件存儲(chǔ)起來是第一步，從海量數(shù)據(jù)中提取分析出我們需要的東西就是MapReduce要做的事情。

MapReduce的基本原理是:將大數(shù)據(jù)逐個(gè)分析成小塊，然后對(duì)提取的數(shù)據(jù)進(jìn)行匯總分析，得到我們想要的東西。當(dāng)然，如何分塊分析，如何做歸約運(yùn)算是很復(fù)雜的。Hadoop已經(jīng)提供了數(shù)據(jù)分析的實(shí)現(xiàn)，我們只需要編寫簡(jiǎn)單的需求命令就可以實(shí)現(xiàn)我們想要的數(shù)據(jù)。

關(guān)于如何使用Hadoop:

我感覺現(xiàn)在各個(gè)公司使用Hadoop的都不一樣，主要是兩種。

第一種是長(zhǎng)時(shí)間運(yùn)行的集群形式，比如雅虎。唐 不要小看這個(gè)看起來毫無存在感的公司。雅虎是Hadoop的元老之一。這是為了建立一個(gè)數(shù)據(jù)中心，然后幾個(gè)具有數(shù)千個(gè)節(jié)點(diǎn)的Hadoop集群一直在運(yùn)行。較早進(jìn)入大數(shù)據(jù)領(lǐng)域的公司，一般都在使用或者已經(jīng)使用這種方法。

另一種是只使用MapReduce類型。畢竟是云時(shí)代，比如AWS s彈性MapReduc

學(xué)習(xí)大數(shù)據(jù)Hadoop需要哪些基礎(chǔ)？

我們都知道Hadoop是現(xiàn)在學(xué)習(xí)大數(shù)據(jù)的必備技術(shù)之一。簡(jiǎn)單來說，Hadoop就是在分布式服務(wù)器集群上存儲(chǔ)海量數(shù)據(jù)，運(yùn)行分布式分析應(yīng)用的方法。那么Hadoop應(yīng)該學(xué)什么呢？你需要知道什么？有Hadoop經(jīng)典學(xué)習(xí)資料嗎？

HDFS

HDFS (Hadoop分布式文件系統(tǒng))是一個(gè)高度容錯(cuò)的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS可以提供高吞吐量的數(shù)據(jù)訪問，適合具有大型數(shù)據(jù)集的應(yīng)用程序。

MapReduce

一般來說，MapReduce是一種從海量源數(shù)據(jù)中提取分析元素，然后返回結(jié)果集的編程模型。把分發(fā)到硬盤的文件存儲(chǔ)起來是第一步，從海量數(shù)據(jù)中提取分析出我們需要的東西就是MapReduce要做的事情。

MapReduce的基本原理是:將大數(shù)據(jù)逐個(gè)分析成小塊，然后對(duì)提取的數(shù)據(jù)進(jìn)行匯總分析，得到我們想要的東西。當(dāng)然，如何分塊分析，如何做歸約運(yùn)算是很復(fù)雜的。Hadoop已經(jīng)提供了數(shù)據(jù)分析的實(shí)現(xiàn)，我們只需要編寫簡(jiǎn)單的需求命令就可以實(shí)現(xiàn)我們想要的數(shù)據(jù)。

關(guān)于如何使用Hadoop:

我感覺現(xiàn)在各個(gè)公司使用Hadoop的都不一樣，主要是兩種。

第一種是長(zhǎng)時(shí)間運(yùn)行的集群形式，比如雅虎。唐 不要小看這個(gè)看起來毫無存在感的公司。雅虎是Hadoop的元老之一。這是為了建立一個(gè)數(shù)據(jù)中心，然后幾個(gè)具有數(shù)千個(gè)節(jié)點(diǎn)的Hadoop集群一直在運(yùn)行。較早進(jìn)入大數(shù)據(jù)領(lǐng)域的公司，一般都在使用或者已經(jīng)使用這種方法。

另一種是只使用MapReduce類型。畢竟，它 南加州大學(xué)。響亮的時(shí)代，比如AWS的彈性MapReduce。這就是把數(shù)據(jù)存儲(chǔ)在其他更便宜的地方，比如s3，自己的數(shù)據(jù)中心，sql數(shù)據(jù)庫(kù)等。需要分析數(shù)據(jù)時(shí)，打開一個(gè)Hadoop集群，當(dāng)Hive/Pig/Spark/Presto/Java完成后關(guān)閉。你不 你不必親自做管理工作，這既方便又簡(jiǎn)潔。

所以，如果個(gè)人想學(xué)Hadoop，我也建議第二種。AWS有免費(fèi)試用期(但是EMR不是免費(fèi)的，所以不要 t建了幾千個(gè)節(jié)點(diǎn)，一個(gè)月后發(fā)現(xiàn)破產(chǎn)了)，可以借鑒。更重要的是，你可以嘗試不同的配置對(duì)任務(wù)的影響，比如不同的版本，不同的容器大小，內(nèi)存大小等。，對(duì)學(xué)習(xí)Spark很有幫助。

總的來說，Hadoop適合大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析的應(yīng)用，適合幾千到幾萬(wàn)臺(tái)服務(wù)器的集群運(yùn)行，支持PB級(jí)的存儲(chǔ)容量。Hadoop的典型應(yīng)用包括:搜索、日志處理、推薦系統(tǒng)、數(shù)據(jù)分析、視頻圖像分析、數(shù)據(jù)存儲(chǔ)等。

大數(shù)據(jù)產(chǎn)業(yè)已經(jīng)進(jìn)入 "快車道 "的發(fā)展，急需大量?jī)?yōu)秀的大數(shù)據(jù)人才作為后盾。能夠在大數(shù)據(jù)行業(yè)興起初期進(jìn)入這個(gè)行業(yè)，就有機(jī)會(huì)成為時(shí)代的引領(lǐng)者。千峰大數(shù)據(jù)開發(fā)是全新的企業(yè)級(jí)服務(wù)器實(shí)踐教學(xué)，20周帶你一站式了解不可思議的大數(shù)據(jù)開發(fā)技術(shù)。