spark為啥不能導(dǎo)入kafka相關(guān)包？那一次試過了用sparkstreaming讀取文件logstash啟動時的TCPServer的數(shù)據(jù)。只不過要是你有多臺logstash的時候，這種就比較不好辦了

spark為啥不能導(dǎo)入kafka相關(guān)包？

那一次試過了用sparkstreaming讀取文件logstash啟動時的TCPServer的數(shù)據(jù)。只不過要是你有多臺logstash的時候，這種就比較不好辦了——就算你給logstash集群先申請一個VIP，也很難考慮說微博轉(zhuǎn)發(fā)完全符合。所以才一般來說，更多的選擇是常規(guī)kafka等隊列由sparkstreaming去以及訂閱者某些數(shù)據(jù)。

大數(shù)據(jù)主要學(xué)習(xí)哪些內(nèi)容？

這是一個相當(dāng)好的問題，以及一名IT從業(yè)者，另外確實是一名教育工作者，我來能回答看看。

大數(shù)據(jù)經(jīng)多年的發(fā)展，早漸漸地自然形成了一個都很異常龐大且系統(tǒng)的知識體系，整體的技術(shù)成熟度也巳經(jīng)都很高了，所以才當(dāng)前學(xué)習(xí)大數(shù)據(jù)技術(shù)也會有一個也很好的學(xué)習(xí)體驗。

而大數(shù)據(jù)牽涉到的內(nèi)容比較比較多，但是大數(shù)據(jù)技術(shù)與行業(yè)領(lǐng)域也有比較密切的聯(lián)系，所以才在去學(xué)習(xí)大數(shù)據(jù)的時候，既也可以從技術(shù)角度出發(fā)，也可以不立足行業(yè)來學(xué)習(xí)大數(shù)據(jù)。這對學(xué)生來說，這個可以從大數(shù)據(jù)技術(shù)體系來學(xué)，而是對職場人來說，可以結(jié)合自身的行業(yè)和崗位任務(wù)來自學(xué)大數(shù)據(jù)。

論是學(xué)生那就職場人，要想怎么學(xué)習(xí)大數(shù)據(jù)都是需要掌握100元以內(nèi)幾個都差不多內(nèi)容：

第一：計算機基礎(chǔ)知識。計算機基礎(chǔ)知識對此自學(xué)大數(shù)據(jù)技術(shù)是非常重要的，其中操作系統(tǒng)、編程語言和數(shù)據(jù)庫這三方面知識是要先怎么學(xué)習(xí)的。編程語言也可以從Python就開始學(xué)起，不過如果不是未來要普通機電設(shè)備專業(yè)的大數(shù)據(jù)開發(fā)，也這個可以從Java就開始學(xué)起。計算機基礎(chǔ)知識的學(xué)習(xí)更具一定的難度，學(xué)習(xí)過程中要非常重視實驗的作用。

第二：數(shù)學(xué)和統(tǒng)計學(xué)基礎(chǔ)知識。大數(shù)據(jù)技術(shù)體系的核心目的是“數(shù)據(jù)價值化”，數(shù)據(jù)價值化的過程一定都離不開數(shù)據(jù)分析，因為另外數(shù)據(jù)分析基礎(chǔ)的數(shù)學(xué)和統(tǒng)計學(xué)知識就比較好重要了。數(shù)學(xué)和統(tǒng)計學(xué)基礎(chǔ)是對大數(shù)據(jù)從業(yè)者未來的成長空間有比較不重要的影響，所以要先非常重視這兩個方面知識的學(xué)習(xí)。

第三：大數(shù)據(jù)平臺基礎(chǔ)。大數(shù)據(jù)開發(fā)和大數(shù)據(jù)分析都都離不開大數(shù)據(jù)平臺的支撐，大數(shù)據(jù)平臺比較復(fù)雜到分布式存儲和分布式計算等基礎(chǔ)性工作功能，手中掌握大數(shù)據(jù)平臺也會相對于大數(shù)據(jù)技術(shù)體系自然形成較深的認(rèn)知程度。對于初學(xué)者來說，也可以從Hadoop和Spark正在學(xué)起。

我從事外貿(mào)互聯(lián)網(wǎng)行業(yè)多年，目前也在帶計算機專業(yè)的研究生，比較多的研究方向集中在一起在大數(shù)據(jù)和人工智能領(lǐng)域，我會先后寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章，很有興趣朋友可以參與我，我相信當(dāng)然會有了。

要是有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問題，或是是考研方面的問題，都可以在評論區(qū)留言，或則私聊我！