hadoop完全分布式和偽分布式有什么不同？首先回答您的問(wèn)題：Hadoop完全分布式：由三個(gè)或更多物理或虛擬機(jī)組件組成的集群。Hadoop pseudo-distributed:a node看了以上兩

hadoop完全分布式和偽分布式有什么不同？

首先回答您的問(wèn)題：

Hadoop完全分布式：由三個(gè)或更多物理或虛擬機(jī)組件組成的集群。

Hadoop pseudo-distributed:a node

看了以上兩點(diǎn)，相信大家已經(jīng)明白了“在VM中安裝更多unbuntu配置完全分布式，然后做實(shí)驗(yàn)”是完全可行的。事實(shí)上，我們通常也是這樣做的。當(dāng)然，我們可能需要您的計(jì)算機(jī)CPU和內(nèi)存來(lái)支持您的計(jì)劃。

一個(gè)建議：如果你想開發(fā)基于Hadoop的分布式程序，那么偽分布式就足夠了。如果你想做很多其他的事情，比如玩cm、oozie和HBase，建議你安裝多個(gè)虛擬機(jī)。

什么是集群，分布式，集中式，偽分布式？

將項(xiàng)目集中部署到同一臺(tái)機(jī)器需要高性能的機(jī)器。通常，多臺(tái)機(jī)器用于備份。否則，如果機(jī)器崩潰，整個(gè)項(xiàng)目將無(wú)法運(yùn)行。雷格：就好像你要蓋房子，你的房子是為一個(gè)人蓋的。如果這個(gè)人生病或有事可做，沒有合適的人來(lái)代替這個(gè)人，你就不能蓋房子。R 2。分布式項(xiàng)目被分成幾個(gè)部分，分別在不同的機(jī)器上運(yùn)行。如果您想與集中式相比，您對(duì)機(jī)器的要求會(huì)更低。R 3。集群與集中式和分布式概念完全不同。Rdistribution必須是集群，但集群不一定是分布式的（例如：集中式多機(jī)備份）。集群只是一個(gè)與機(jī)器數(shù)量相關(guān)的概念。偽分布不是真正的分布。偽分發(fā)是把多態(tài)機(jī)器的任務(wù)放在一臺(tái)機(jī)器上運(yùn)行，例如：淘寶分成多個(gè)模塊后，一個(gè)模塊放在一臺(tái)機(jī)器上運(yùn)行。當(dāng)多臺(tái)機(jī)器同時(shí)運(yùn)行時(shí)，速度很快。在一臺(tái)機(jī)器上運(yùn)行時(shí)，速度慢，多個(gè)模塊不能并行處理。一個(gè)任務(wù)必須一個(gè)接一個(gè)地完成，其他任務(wù)只能等待。

什么是偽分布式？（hadoop中遇到的）？

Hadoop分為獨(dú)立模式、偽分布式模式和完全分布式模式。當(dāng)你說(shuō)偽分布式的時(shí)候，你的意思是：在一臺(tái)機(jī)器上，也就是說(shuō)，作為一個(gè)namenode，一個(gè)datanode，或者一個(gè)job tracker，以及一個(gè)task tracker。在多臺(tái)機(jī)器上沒有真正的分布式計(jì)算，因此被稱為“偽分布式”。

偽分布式的spark/mapreduce是只供用來(lái)學(xué)習(xí)的嗎？

首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想。現(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學(xué)習(xí)MapReduce，主要是了解任務(wù)是如何執(zhí)行的。都在網(wǎng)上。然后，spark學(xué)習(xí)應(yīng)該關(guān)注于理解spark-to-SQL語(yǔ)句的執(zhí)行機(jī)制。

不同的分布式框架有各自的優(yōu)勢(shì)和不同的業(yè)務(wù)場(chǎng)景。MapReduce可以更好地處理大量ETL服務(wù)，而spark則相對(duì)更側(cè)重于機(jī)器學(xué)習(xí)。對(duì)于企業(yè)來(lái)說(shuō)，如果這些業(yè)務(wù)能夠在同一個(gè)集群上運(yùn)行，就可以有效地降低成本。為了讓不同的框架同時(shí)在同一個(gè)集群中運(yùn)行，最重要的問(wèn)題是如何分配資源。當(dāng)沒有紗線時(shí)，一個(gè)相對(duì)簡(jiǎn)單的方法是假設(shè)集群中有100臺(tái)機(jī)器。我們將50臺(tái)機(jī)器分配給spark，將其他50臺(tái)機(jī)器分配給MapReduce。這似乎沒什么問(wèn)題。不過(guò)，如果我們每天只運(yùn)行一個(gè)小時(shí)的MapReduce，其余大部分時(shí)間都在運(yùn)行spark，那么一天就有23個(gè)小時(shí)，50臺(tái)機(jī)器處于空閑狀態(tài)，而spark的機(jī)器很可能有大量作業(yè)在隊(duì)列中。這顯然不是一種非常有效的使用集群的方法。