大數(shù)據(jù)處理為何選擇spark？想做大數(shù)據(jù)處理分析，該專(zhuān)注于學(xué)spark還是深度學(xué)習(xí)呢？Spark是一種工具，而深度學(xué)習(xí)是一種解決問(wèn)題的策略。如果做大數(shù)據(jù)分析，至少要熟練使用一種工具，深入了解常用的算法

大數(shù)據(jù)處理為何選擇spark？

想做大數(shù)據(jù)處理分析，該專(zhuān)注于學(xué)spark還是深度學(xué)習(xí)呢？

Spark是一種工具，而深度學(xué)習(xí)是一種解決問(wèn)題的策略。如果做大數(shù)據(jù)分析，至少要熟練使用一種工具，深入了解常用的算法。對(duì)于大數(shù)據(jù)分析，您不需要在代碼級(jí)別和架構(gòu)級(jí)別熟悉spark。因?yàn)樗皇且粋€(gè)工具，你可以熟練地使用它。如果主題有很好的編程基礎(chǔ)，一個(gè)月就足夠?qū)W好SPARKSQL和SPARKML了。算法學(xué)習(xí)需要花費(fèi)更多的精力。但如果受試者想學(xué)習(xí)深度學(xué)習(xí)，則不建議學(xué)習(xí)spark。由于目前常用的CNN、RNN等模型通常使用GPU代替CPU進(jìn)行計(jì)算，而spark是一種內(nèi)存計(jì)算框架，主要在CPU上完成計(jì)算，因此計(jì)算效率不如GPU高。因此，如果將深度學(xué)習(xí)用于大數(shù)據(jù)分析，則可以使用tensorflow和其他框架。

大數(shù)據(jù)里spark和hadoop的mr相比有哪些優(yōu)勢(shì)，能否用較通俗的語(yǔ)言解釋一下？

Spark是一個(gè)內(nèi)存計(jì)算框架，而Mr是一個(gè)離線計(jì)算框架。因此，與MR相比，spark具有更快的速度，尤其是迭代速度。當(dāng)spark用于計(jì)算時(shí)，中間結(jié)果將緩存在內(nèi)存中。當(dāng)需要再次使用時(shí)，不需要從磁盤(pán)讀取數(shù)據(jù)。Mr需要將中間結(jié)果寫(xiě)入磁盤(pán)，并在再次使用時(shí)從磁盤(pán)重新讀取。磁盤(pán)I/O通常非常耗時(shí)。

除了離線計(jì)算速度更快之外，spark比Mr更適合場(chǎng)景，spark的流媒體模塊可以實(shí)現(xiàn)實(shí)時(shí)或近線流媒體計(jì)算。

此外，sparksql使您可以輕松地使用SQL分析數(shù)據(jù)。

學(xué)大數(shù)據(jù)必須有Java基礎(chǔ)嗎，有哪些注意事項(xiàng)嗎？

首先，大數(shù)據(jù)的基礎(chǔ)由數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)三部分組成。因此，從事大數(shù)據(jù)領(lǐng)域的研發(fā)需要一個(gè)系統(tǒng)的學(xué)習(xí)過(guò)程。

在大數(shù)據(jù)的技術(shù)架構(gòu)中，編程語(yǔ)言是一個(gè)重要的組成部分。目前，大數(shù)據(jù)領(lǐng)域常用的編程語(yǔ)言有Java、python、R、Scala等，通常不同的崗位需要掌握不同的編程語(yǔ)言（與技術(shù)團(tuán)隊(duì)密切相關(guān)），所以學(xué)習(xí)大數(shù)據(jù)必須有編程語(yǔ)言的基礎(chǔ)，但不是一定要有編程語(yǔ)言的基礎(chǔ)，而是一定要有專(zhuān)業(yè)的基礎(chǔ)java基金會(huì)。無(wú)論是通過(guò)統(tǒng)計(jì)還是機(jī)器學(xué)習(xí)，Python語(yǔ)言通常是數(shù)據(jù)分析最流行的選擇。R語(yǔ)言也廣泛應(yīng)用于數(shù)據(jù)過(guò)濾、推薦系統(tǒng)等大數(shù)據(jù)應(yīng)用中。

雖然學(xué)習(xí)大數(shù)據(jù)并不一定需要掌握J(rèn)ava語(yǔ)言，但掌握J(rèn)ava語(yǔ)言對(duì)學(xué)習(xí)大數(shù)據(jù)技術(shù)具有積極意義。一方面，Hadoop平臺(tái)本身是用Java語(yǔ)言開(kāi)發(fā)的。另一方面，Java語(yǔ)言具有良好的生態(tài)系統(tǒng)，在開(kāi)發(fā)大數(shù)據(jù)登陸應(yīng)用方面具有一定的優(yōu)勢(shì)，而且Java語(yǔ)言的性能穩(wěn)定，使用Java語(yǔ)言的開(kāi)發(fā)風(fēng)險(xiǎn)相對(duì)較小。

學(xué)習(xí)Java語(yǔ)言可分為三個(gè)階段。第一階段是學(xué)習(xí)Java的基本語(yǔ)法，重點(diǎn)是理解抽象，包括封裝、繼承、多態(tài)等概念；第二階段是學(xué)習(xí)Java的分布式開(kāi)發(fā)，重點(diǎn)是如何通過(guò)Java集成資源，包括數(shù)據(jù)庫(kù)；第三階段是學(xué)習(xí)Java的web開(kāi)發(fā)，重點(diǎn)是理論理解web開(kāi)發(fā)架構(gòu)和服務(wù)組件開(kāi)發(fā)。

在學(xué)習(xí)Hadoop開(kāi)發(fā)的過(guò)程中，需要掌握Hadoop平臺(tái)提供的API。通過(guò)大量的實(shí)驗(yàn)，我們逐漸掌握了如何在Hadoop平臺(tái)下通過(guò)Java開(kāi)發(fā)函數(shù)。