spark為啥不能導(dǎo)入kafka相關(guān)包？那一次試過(guò)了用sparkstreaming讀取文件logstash啟動(dòng)時(shí)的TCPServer的數(shù)據(jù)。只不過(guò)要是你有多臺(tái)logstash的時(shí)候，這種就比較不好辦了

spark為啥不能導(dǎo)入kafka相關(guān)包？

那一次試過(guò)了用sparkstreaming讀取文件logstash啟動(dòng)時(shí)的TCPServer的數(shù)據(jù)。只不過(guò)要是你有多臺(tái)logstash的時(shí)候，這種就比較不好辦了——就算你給logstash集群先申請(qǐng)一個(gè)VIP，也很難考慮說(shuō)微博轉(zhuǎn)發(fā)完全符合。所以才一般來(lái)說(shuō)，更多的選擇是常規(guī)kafka等隊(duì)列由sparkstreaming去以及訂閱者某些數(shù)據(jù)。

大數(shù)據(jù)主要學(xué)習(xí)哪些內(nèi)容？

這是一個(gè)相當(dāng)好的問(wèn)題，以及一名IT從業(yè)者，另外確實(shí)是一名教育工作者，我來(lái)能回答看看。

大數(shù)據(jù)經(jīng)多年的發(fā)展，早漸漸地自然形成了一個(gè)都很異常龐大且系統(tǒng)的知識(shí)體系，整體的技術(shù)成熟度也巳經(jīng)都很高了，所以才當(dāng)前學(xué)習(xí)大數(shù)據(jù)技術(shù)也會(huì)有一個(gè)也很好的學(xué)習(xí)體驗(yàn)。

而大數(shù)據(jù)牽涉到的內(nèi)容比較比較多，但是大數(shù)據(jù)技術(shù)與行業(yè)領(lǐng)域也有比較密切的聯(lián)系，所以才在去學(xué)習(xí)大數(shù)據(jù)的時(shí)候，既也可以從技術(shù)角度出發(fā)，也可以不立足行業(yè)來(lái)學(xué)習(xí)大數(shù)據(jù)。這對(duì)學(xué)生來(lái)說(shuō)，這個(gè)可以從大數(shù)據(jù)技術(shù)體系來(lái)學(xué)，而是對(duì)職場(chǎng)人來(lái)說(shuō)，可以結(jié)合自身的行業(yè)和崗位任務(wù)來(lái)自學(xué)大數(shù)據(jù)。

論是學(xué)生那就職場(chǎng)人，要想怎么學(xué)習(xí)大數(shù)據(jù)都是需要掌握100元以內(nèi)幾個(gè)都差不多內(nèi)容：

第一：計(jì)算機(jī)基礎(chǔ)知識(shí)。計(jì)算機(jī)基礎(chǔ)知識(shí)對(duì)此自學(xué)大數(shù)據(jù)技術(shù)是非常重要的，其中操作系統(tǒng)、編程語(yǔ)言和數(shù)據(jù)庫(kù)這三方面知識(shí)是要先怎么學(xué)習(xí)的。編程語(yǔ)言也可以從Python就開(kāi)始學(xué)起，不過(guò)如果不是未來(lái)要普通機(jī)電設(shè)備專業(yè)的大數(shù)據(jù)開(kāi)發(fā)，也這個(gè)可以從Java就開(kāi)始學(xué)起。計(jì)算機(jī)基礎(chǔ)知識(shí)的學(xué)習(xí)更具一定的難度，學(xué)習(xí)過(guò)程中要非常重視實(shí)驗(yàn)的作用。

第二：數(shù)學(xué)和統(tǒng)計(jì)學(xué)基礎(chǔ)知識(shí)。大數(shù)據(jù)技術(shù)體系的核心目的是“數(shù)據(jù)價(jià)值化”，數(shù)據(jù)價(jià)值化的過(guò)程一定都離不開(kāi)數(shù)據(jù)分析，因?yàn)榱硗鈹?shù)據(jù)分析基礎(chǔ)的數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識(shí)就比較好重要了。數(shù)學(xué)和統(tǒng)計(jì)學(xué)基礎(chǔ)是對(duì)大數(shù)據(jù)從業(yè)者未來(lái)的成長(zhǎng)空間有比較不重要的影響，所以要先非常重視這兩個(gè)方面知識(shí)的學(xué)習(xí)。

第三：大數(shù)據(jù)平臺(tái)基礎(chǔ)。大數(shù)據(jù)開(kāi)發(fā)和大數(shù)據(jù)分析都都離不開(kāi)大數(shù)據(jù)平臺(tái)的支撐，大數(shù)據(jù)平臺(tái)比較復(fù)雜到分布式存儲(chǔ)和分布式計(jì)算等基礎(chǔ)性工作功能，手中掌握大數(shù)據(jù)平臺(tái)也會(huì)相對(duì)于大數(shù)據(jù)技術(shù)體系自然形成較深的認(rèn)知程度。對(duì)于初學(xué)者來(lái)說(shuō)，也可以從Hadoop和Spark正在學(xué)起。

我從事外貿(mào)互聯(lián)網(wǎng)行業(yè)多年，目前也在帶計(jì)算機(jī)專業(yè)的研究生，比較多的研究方向集中在一起在大數(shù)據(jù)和人工智能領(lǐng)域，我會(huì)先后寫(xiě)一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章，很有興趣朋友可以參與我，我相信當(dāng)然會(huì)有了。

要是有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問(wèn)題，或是是考研方面的問(wèn)題，都可以在評(píng)論區(qū)留言，或則私聊我！