偽分布式的spark/mapreduce是只供用來學(xué)習(xí)的嗎？首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想。現(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的

偽分布式的spark/mapreduce是只供用來學(xué)習(xí)的嗎？

首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想。現(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學(xué)習(xí)MapReduce，主要是了解任務(wù)是如何執(zhí)行的。都在網(wǎng)上。然后，spark學(xué)習(xí)應(yīng)該關(guān)注于理解spark-to-SQL語句的執(zhí)行機(jī)制。

不同的分布式框架有各自的優(yōu)勢和不同的業(yè)務(wù)場景。MapReduce可以更好地處理大量ETL服務(wù)，而spark則相對更側(cè)重于機(jī)器學(xué)習(xí)。對于企業(yè)來說，如果這些業(yè)務(wù)能夠在同一個集群上運行，就可以有效地降低成本。為了讓不同的框架同時在同一個集群中運行，最重要的問題是如何分配資源。當(dāng)沒有紗線時，一個相對簡單的方法是假設(shè)集群中有100臺機(jī)器。我們將50臺機(jī)器分配給spark，將其他50臺機(jī)器分配給MapReduce。這似乎沒什么問題。不過，如果我們每天只運行一個小時的MapReduce，其余大部分時間都在運行spark，那么一天就有23個小時，50臺機(jī)器處于空閑狀態(tài)，而spark的機(jī)器很可能有大量作業(yè)在隊列中。這顯然不是一種非常有效的使用集群的方法。

hadoop完全分布式和偽分布式有什么不同？

首先回答您的問題：

Hadoop完全分布式：由三個或更多物理或虛擬機(jī)組件組成的集群。

Hadoop pseudo-distributed:a node

看了以上兩點，相信大家已經(jīng)明白了“在VM中安裝更多unbuntu配置完全分布式，然后做實驗”是完全可行的。事實上，我們通常也是這樣做的。當(dāng)然，我們可能需要您的計算機(jī)CPU和內(nèi)存來支持您的計劃。

一個建議：如果你想開發(fā)基于Hadoop的分布式程序，那么偽分布式就足夠了。如果你想做很多其他的事情，比如玩cm、oozie和HBase，建議你安裝多個虛擬機(jī)。

什么叫偽算法？

偽代碼是一種算法描述語言。使用偽代碼的目的是使所描述的算法易于用任何編程語言（Pascal、C、Java等）實現(xiàn)。因此，偽代碼必須具有結(jié)構(gòu)清晰、代碼簡單、可讀性好、與自然語言相似的特點。它介于自然語言和程序設(shè)計語言之間。算法的功能以編程語言的形式表示。

什么是集群，分布式，集中式，偽分布式？

將項目集中部署到同一臺機(jī)器需要高性能的機(jī)器。通常，多臺機(jī)器用于備份。否則，如果機(jī)器崩潰，整個項目將無法運行。雷格：就好像你要蓋房子，你的房子是為一個人蓋的。如果這個人生病或有事可做，沒有合適的人來代替這個人，你就不能蓋房子。R 2。分布式項目被分成幾個部分，分別在不同的機(jī)器上運行。如果您想與集中式相比，您對機(jī)器的要求會更低。R 3。集群與集中式和分布式概念完全不同。Rdistribution必須是集群，但集群不一定是分布式的（例如：集中式多機(jī)備份）。集群只是一個與機(jī)器數(shù)量相關(guān)的概念。偽分布不是真正的分布。偽分發(fā)是把多態(tài)機(jī)器的任務(wù)放在一臺機(jī)器上運行，例如：淘寶分成多個模塊后，一個模塊放在一臺機(jī)器上運行。當(dāng)多臺機(jī)器同時運行時，速度很快。在一臺機(jī)器上運行時，速度慢，多個模塊不能并行處理。一個任務(wù)必須一個接一個地完成，其他任務(wù)只能等待。

分布式存儲是什么？

分布式存儲是當(dāng)前互聯(lián)網(wǎng)流行技術(shù)“區(qū)塊鏈”的特點之一。它與傳統(tǒng)的互聯(lián)網(wǎng)技術(shù)有一些不同。一兩個字不清楚。第一種圖形是集中式，這是傳統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)的存儲方式?；诠俜椒?wù)器，一旦服務(wù)器出現(xiàn)故障，數(shù)據(jù)、信息和數(shù)據(jù)可能會丟失或泄露。

B圖表的第二種類型是去中心化。將會有一些節(jié)點。一個節(jié)點記錄另一個節(jié)點生成或存儲的信息的價值（如何記錄或驗證，如果我不是專業(yè)編輯，我不敢胡說八道）。這就是所謂的分權(quán)和分布式會計。

第三種C圖是當(dāng)前流行的區(qū)塊鏈技術(shù)架構(gòu)圖。

三個圖之間的區(qū)別如下：1）服務(wù)器個人服務(wù)器。個人之間沒有直接的聯(lián)系。需要通過服務(wù)器進(jìn)行個人之間的通信和聯(lián)系。

2）分散分布式核算，每個人都是中心節(jié)點，每個人都不是中心節(jié)點。兩人互相核實，不想交代。

3）區(qū)塊鏈技術(shù)，當(dāng)分散核算和分布式核算串聯(lián)起來構(gòu)建一個基本的技術(shù)層時，如圖C所示

說白了，分布式存儲是一種技術(shù)，它從一個或多個勇于信息存儲的服務(wù)器，轉(zhuǎn)變?yōu)樗腥硕际欠?wù)器，所有人都參與在信息存儲和驗證方面。

我是一個間隔集。我希望我的回答能幫助你。