New a項目不選擇任何Maven模板，以GroupId開頭，以項目名開頭。注意:Idea_Project是存儲這個項目的工作區(qū)，大數(shù)據(jù)技術(shù)龐大而復(fù)雜，基礎(chǔ)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲、數(shù)

New a項目不選擇任何Maven模板，以GroupId開頭，以項目名開頭。注意:Idea_Project是存儲這個項目的工作區(qū)，

大數(shù)據(jù)技術(shù)龐大而復(fù)雜，基礎(chǔ)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲、數(shù)據(jù)庫、數(shù)據(jù)倉庫、機器學(xué)習(xí)、并行計算、可視化等技術(shù)類別和不同技術(shù)層次。

Java，大數(shù)據(jù)需要的語言

可以說是大數(shù)據(jù)最基礎(chǔ)的編程語言。一是因為大數(shù)據(jù)的本質(zhì)無非是海量數(shù)據(jù)的計算、查詢和存儲，后臺開發(fā)容易接入大數(shù)據(jù)訪問的應(yīng)用場景；第二，大數(shù)據(jù)的很多組件都是用java開發(fā)的。

斯卡拉

Scala和java非常相似，在開發(fā)過程中可以無縫的互相調(diào)用。Scala 在大數(shù)據(jù)領(lǐng)域的影響力來自于社區(qū)中的明星Spark和kafka，他們的強勁發(fā)展直接帶動了Scala it'在這個領(lǐng)域很受歡迎。

大數(shù)據(jù)需要分布式計算。目前比較流行的工具有:離線工具Spark、MapReduce等實時工具Spark Streaming、Storm、Flink等。

大數(shù)據(jù)需要分布式存儲。主流的分布式數(shù)據(jù)庫有hbase、mongoDB、GreenPlum、redis等很多。

大數(shù)據(jù)需要分布式調(diào)度和管理yarn分布式集群管理需要一個組件將調(diào)度資源分配給各個節(jié)點zookeeper，解決分布式環(huán)境下的鎖定問題。阿茲卡班記錄任務(wù)的依賴性，定時調(diào)度任務(wù)。

嘉米谷大數(shù)據(jù)開發(fā)培訓(xùn)9月0基礎(chǔ)班，預(yù)報名。...

相關(guān):

大數(shù)據(jù)軟件有哪些？大數(shù)據(jù)軟件技術(shù)簡介