如何在spark streaming程序worker里面創(chuàng)建線程？配置看看環(huán)境變量SPARK_LOCAL_IP127.0.0.1就行啦了。目前處理就是debug代碼邏輯問題就在windows中。預(yù)先發(fā)

如何在spark streaming程序worker里面創(chuàng)建線程？

配置看看環(huán)境變量SPARK_LOCAL_IP127.0.0.1就行啦了。目前處理就是debug代碼邏輯問題就在windows中。預(yù)先發(fā)布測試就在linux中測試。

spark sql結(jié)構(gòu)化數(shù)據(jù)查詢的過程？

支持mysql的，下面是示例

sparkstreaming可以使用數(shù)據(jù)源插入到mysql數(shù)據(jù)

importjava.sql.{Connection,ResultSet}import {BoneCP,BoneCPConfig}

import

Java轉(zhuǎn)大數(shù)據(jù)的學(xué)習(xí)線路是什么？

專業(yè)軟件開發(fā),在學(xué)校強(qiáng)力Java,現(xiàn)在Java開發(fā)工作2年半.想轉(zhuǎn)大數(shù)據(jù)

1.先把linux環(huán)境搞熟，大數(shù)據(jù)很多技術(shù)是重新部署在linux服務(wù)器的，能熟練在用vi編輯文本

2.動(dòng)手作戰(zhàn)部署hadoop，把hdfs，MapReduce騎得

3.重新部署zookeeper

4.布署hbase，了解列式存儲(chǔ)文件的表設(shè)計(jì)方法

5.完全掌握hive的使用

6.sparkstreaming，storm流式計(jì)算

7.學(xué)些sparkmllib,python為數(shù)據(jù)分析做準(zhǔn)備

有Java基礎(chǔ)轉(zhuǎn)換跑道大數(shù)據(jù)，必須怎么學(xué)習(xí)：

1、大數(shù)據(jù)基礎(chǔ)：Linux、Maven：Linux管理程序、Shell編程設(shè)計(jì)、Maven布署/配置/倉庫、MavenPOM

2、HDFS分布式文件系統(tǒng)

3、MapReduce分布式計(jì)算模型Yarn分布式資源管理器Zookeeper分布式協(xié)調(diào)服務(wù)

4、Hbase分布式數(shù)據(jù)庫Hive分布式數(shù)據(jù)倉庫

5、FlumeNG分布式數(shù)據(jù)采集系統(tǒng)Sqoop大數(shù)據(jù)遷移系統(tǒng)

6、Scala大數(shù)據(jù)黃金語言kafka分布式總線系統(tǒng)

7、SparkCore大數(shù)據(jù)算出基石SparkSQL數(shù)據(jù)挖掘利器SparkStreaming流式計(jì)算平臺(tái)

8、SparkMllib機(jī)器學(xué)習(xí)平臺(tái)SparkGraphx圖計(jì)算平臺(tái)

9、項(xiàng)目實(shí)戰(zhàn)

具體：

大數(shù)據(jù)開發(fā)工程師，所自學(xué)的知識(shí)是干什么的

大數(shù)據(jù)學(xué)習(xí)誤區(qū)有哪些？大數(shù)據(jù)開發(fā)和數(shù)據(jù)分析如何能盡量減少去學(xué)習(xí)誤區(qū)？

、大數(shù)據(jù)基礎(chǔ)：Linux、Maven：Linux功能管理、Shell編程設(shè)計(jì)、Maven防御部署/配置/倉庫、MavenPOM