spark可視化工具 大數(shù)據(jù)很難學(xué)嘛,我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù),有大神指點一下嘛?
大數(shù)據(jù)很難學(xué)嘛,我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù),有大神指點一下嘛?碰巧我有很多大數(shù)據(jù)經(jīng)驗要分享。大數(shù)據(jù)有幾個入口點:業(yè)務(wù)分析工程師、數(shù)據(jù)建模工程師和應(yīng)用程序開發(fā)工程師。首先是業(yè)務(wù)分析工程師需要的技能因為大數(shù)據(jù)
大數(shù)據(jù)很難學(xué)嘛,我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù),有大神指點一下嘛?
碰巧我有很多大數(shù)據(jù)經(jīng)驗要分享。
大數(shù)據(jù)有幾個入口點:業(yè)務(wù)分析工程師、數(shù)據(jù)建模工程師和應(yīng)用程序開發(fā)工程師。
首先是業(yè)務(wù)分析工程師需要的技能
因為大數(shù)據(jù)是用來產(chǎn)生業(yè)務(wù)的,20年前,大數(shù)據(jù)的典型應(yīng)用場景是商業(yè)智能(BI)
BI是在企業(yè)客戶多年積累的業(yè)務(wù)數(shù)據(jù)基礎(chǔ)上進行二次挖掘,提取有意義的分析統(tǒng)計數(shù)據(jù),方便企業(yè)決策者進行決策分析。
業(yè)務(wù)分析工程師應(yīng)熟悉行業(yè)的業(yè)務(wù)邏輯,例如電信行業(yè)的復(fù)雜業(yè)務(wù)邏輯。它涉及到收款系統(tǒng)、票據(jù)生成、綜合業(yè)務(wù)臺賬和大客戶業(yè)務(wù)。
從業(yè)務(wù)邏輯上提出分析主題,讓設(shè)計工程師進一步設(shè)計系統(tǒng)。
第二,數(shù)據(jù)建模工程師的技能
原來,我們需要Pb、數(shù)據(jù)庫等工具來建立數(shù)據(jù)庫,編寫數(shù)據(jù)倉庫的ETL腳本。
現(xiàn)在進入機器學(xué)習(xí)和深度學(xué)習(xí)階段,需要對文本數(shù)據(jù)、音頻數(shù)據(jù)、圖像數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)進行管理,這比原來的要求要高。
最后,應(yīng)用程序開發(fā)工程師
應(yīng)用程序開發(fā)工程師,采用流行的開源框架,編碼好,界面好,數(shù)據(jù)接口好。使用的軟件和框架基本上取決于每個公司繼續(xù)使用什么。一般來說,它已經(jīng)積累多年,有自己的一套。
以上是我的一份。一言以蔽之,所謂萬時法則,在長期沉浸于一個行業(yè)之后,就可以成為專家,只要你堅持,就能成功
如何用spark實現(xiàn)好友推薦?
1. Spark-mllib是用推薦程序?qū)崿F(xiàn)的,它封裝了als(alternativeleastsquares)來求解用戶項目評分矩陣的空值,只要應(yīng)用了數(shù)據(jù)就可以使用。缺點是不能增量計算,占用大量內(nèi)存。
2. 協(xié)同過濾、基于項目或用戶的聚類、SVM/Bayes的封裝,具體思路應(yīng)該不用多說。實施強化學(xué)習(xí),實時反饋更新模型,推送給用戶。這是最困難和最時尚的
一開始,你不必學(xué)好算法。但是隨著技術(shù)的發(fā)展,仍然需要算法,否則只能做一些工作。
1. 學(xué)好軟件開發(fā)離不開計算機理論基礎(chǔ),比如數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、網(wǎng)絡(luò)技術(shù)、算法研究等,如果你喜歡這項技術(shù),那就不是問題。先開始,你可以彌補。
2. 算法是軟件開發(fā)的靈魂。好的算法寫不出好的程序。
3. 如何學(xué)習(xí)算法,首先選擇經(jīng)典算法教材。基本的可以從數(shù)據(jù)結(jié)構(gòu)中學(xué)習(xí),其中包含一些基本的算法,然后再學(xué)習(xí)特殊的算法(實際上,在數(shù)據(jù)結(jié)構(gòu)領(lǐng)域?qū)W習(xí)算法一般就足夠了)。為了吸引網(wǎng)絡(luò)論壇的關(guān)注,有很多簡單的算法。大多數(shù)算法都是C語言,但是語言在算法層次上是相互聯(lián)系的,因此理解算法模型是最重要的。
4. 萬事開頭難。只要你開始,剩下的就是慢慢操作這項技術(shù)。該算法在實際應(yīng)用中是最快、最強的。
我希望我能幫助你