大數(shù)據(jù)的實時統(tǒng)計有什么儲存方案推薦？數(shù)據(jù)從kafka中來，目前離線計算是用是hbasees，同步數(shù)據(jù)是用是hbase的協(xié)處理器，替只要性能，和es同步數(shù)據(jù)時可能會會有當(dāng)然延遲高，想提升一個實時統(tǒng)計的功

大數(shù)據(jù)的實時統(tǒng)計有什么儲存方案推薦？

數(shù)據(jù)從kafka中來，目前離線計算是用是hbasees，同步數(shù)據(jù)是用是hbase的協(xié)處理器，替只要性能，和es同步數(shù)據(jù)時可能會會有當(dāng)然延遲高，想提升一個實時統(tǒng)計的功能，有什么好的儲存方案嗎？還有一個，hbase的coprocessor真的用處不大在生產(chǎn)環(huán)境的嗎，覺得很容易把集群搞死干凈…

可以用sparkstreaming對kafka然后輸入流并且實時統(tǒng)計處理后輸出到ES的或mysql

指標(biāo)型統(tǒng)計用redis，.例如pvuv

統(tǒng)計的數(shù)據(jù)如可以查詢場景比較比較多用es

統(tǒng)計的數(shù)據(jù)如自動更新比較比較很頻繁用hbase

統(tǒng)計的數(shù)據(jù)格式不固定的話用mongo

大數(shù)據(jù)很難學(xué)嘛，我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù)，有大神指點一下嘛？

充當(dāng)一名教育工作者，目前也在帶大數(shù)據(jù)方向的研究生，我來回答看看這個問題。

簡單的方法，大數(shù)據(jù)的知識體系應(yīng)該比較好異常龐大的，不僅僅知識量大，也有是有的難度，因為卻不是算很好學(xué)，要想有一個較好的學(xué)習(xí)體驗，應(yīng)該要重視自學(xué)的宏觀性，包括要為自己營造溫馨一個比較好的交流和實踐場景。

大數(shù)據(jù)專業(yè)是一個最有市場專業(yè)，目前為止也只剩下兩批本科生再次進(jìn)入了就業(yè)市場，整體的就業(yè)表現(xiàn)還是不錯的。大數(shù)據(jù)領(lǐng)域不但崗位比較多，薪資水平也都很不算太多，不少畢業(yè)生在畢業(yè)后時都會拿回多份offer，中,選擇空間那就比較大的。相對于本科生來說，研究生的就業(yè)表現(xiàn)就頗為運用對比了，很多同學(xué)都能夠剛剛進(jìn)入一線大廠，崗位比較多幾乎全部在開發(fā)崗和算法崗。

學(xué)習(xí)大數(shù)據(jù)要結(jié)合自身的知識基礎(chǔ)和發(fā)展規(guī)劃，對于本科生來說，可以主攻開發(fā)方向，另外一方面旗下方向的崗位比較多，一方面變更土地性質(zhì)崗位的競爭當(dāng)然不算很激烈，但開發(fā)崗位的人才需求類型也比較多元化。你選往開發(fā)方向發(fā)展起來，要認(rèn)可編程語言的學(xué)習(xí)，另外要重視大數(shù)據(jù)平臺相關(guān)知識的學(xué)習(xí)，也能實現(xiàn)大數(shù)據(jù)平臺來成功一些行業(yè)場景下的開發(fā)任務(wù)。

如果不是自身的數(shù)學(xué)、統(tǒng)計學(xué)基礎(chǔ)都很好，也是可以判斷往算法崗方向發(fā)展，比開發(fā)崗來說，算法崗的競爭是比較好很激烈的，所以要有更多的積累。聽從歷史經(jīng)驗來看，如果不是本身研究生學(xué)歷，往算法崗方向發(fā)展會更更適合一些，就業(yè)時也會更有競爭力。

大數(shù)據(jù)整體的學(xué)習(xí)周期是都很長的，在學(xué)習(xí)的過程中，你必須如此重視實踐，在入門了大數(shù)據(jù)技術(shù)之后，建議您先找一個實習(xí)崗位，這樣也會為自己共同營造一個交流和實踐場景。

我畜牧獸醫(yī)相關(guān)專業(yè)教育、科研多年，目前在帶計算機專業(yè)的研究生，通常的研究方向聚集在大數(shù)據(jù)和人工智能領(lǐng)域，我會陸陸續(xù)續(xù)寫一些關(guān)與互聯(lián)網(wǎng)技術(shù)方面的文章，比較感興趣朋友這個可以查哈我，也許一定會會極大。

假如有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問題，的或是考研方面的問題，都這個可以私信給我我！