怎么看出spark是單機(jī)模式還是集群模式？如果您的答案是否定的，那么，您可以關(guān)閉此頁(yè)。首先，新手經(jīng)常遇到一個(gè)問(wèn)題：spark cluster是否一定需要Hadoop cluster？答案是否定的。有三

怎么看出spark是單機(jī)模式還是集群模式？

如果您的答案是否定的，那么，您可以關(guān)閉此頁(yè)。

首先，新手經(jīng)常遇到一個(gè)問(wèn)題：spark cluster是否一定需要Hadoop cluster？

答案是否定的。有三種類型的火花簇：

獨(dú)立

Hadoop horn

mesos

今天，我們主要關(guān)注的是獨(dú)立模式。在這種模式下，我們完全可以使用NFS來(lái)代替Hadoop/HDFS。在許多情況下，獨(dú)立

1。將每個(gè)執(zhí)行器使用的CPU數(shù)設(shè)置為4

]spark.executor.cores4] ] 2. 限制CPU的數(shù)量。在這里，將啟動(dòng)三個(gè)執(zhí)行器（12/4）spark.cores.max最大值12

3. 將每個(gè)執(zhí)行器的內(nèi)存大小設(shè)置為8gspark.executor.memory內(nèi)存12g

以上設(shè)置將啟動(dòng)三個(gè)執(zhí)行器，每個(gè)執(zhí)行器使用4個(gè)CPU和12克ram。

它占用12個(gè)CPU和36個(gè)ram的工作資源。

spark1.6的源代碼是：

protected final string executor MEMORY=“--executor MEMORY”protected final string TOTAL executor CORES=“--TOTAL executor CORES”protected final string executor CORES=“--executor CORES”

提交任務(wù)時(shí)還可以添加：

sparksubmit classcom.dyq.spark公司.MyClass類--大師：火花:// 主：7077—執(zhí)行器內(nèi)核總數(shù)12--executor cores 24--executor memory 12g

提示

在使用過(guò)程中發(fā)現(xiàn)，如果使用spark 1.5以下的版本，有時(shí)即使有資源也無(wú)法應(yīng)用。

如何在Spark集群的work節(jié)點(diǎn)上啟動(dòng)多個(gè)Executor？

建議使用8g以上的內(nèi)存，建議使用12g以上的內(nèi)存。spark的效率主要取決于數(shù)據(jù)量、內(nèi)存消耗、內(nèi)核數(shù)量（決定并發(fā)任務(wù)的數(shù)量）。硬件建設(shè)成本太高，建議構(gòu)建虛擬機(jī)集群