大數(shù)據(jù)是做什么的？的大數(shù)據(jù)是一系列技術(shù)的總稱。大數(shù)據(jù)經(jīng)過多年的發(fā)展，已經(jīng)形成了從數(shù)據(jù)采集、整理、傳輸、存儲、安全、分析、呈現(xiàn)、應(yīng)用等一系列環(huán)節(jié)，涉及到很多大數(shù)據(jù)的工作，而這些工作也與物聯(lián)網(wǎng)、云計算密切

大數(shù)據(jù)是做什么的？

的大數(shù)據(jù)是一系列技術(shù)的總稱。大數(shù)據(jù)經(jīng)過多年的發(fā)展，已經(jīng)形成了從數(shù)據(jù)采集、整理、傳輸、存儲、安全、分析、呈現(xiàn)、應(yīng)用等一系列環(huán)節(jié)，涉及到很多大數(shù)據(jù)的工作，而這些工作也與物聯(lián)網(wǎng)、云計算密切相關(guān)。

大數(shù)據(jù)是一個抽象的概念，無法存儲和計算企業(yè)、、高校等單位所面臨的數(shù)據(jù)。

大數(shù)據(jù)是做什么的？

大數(shù)據(jù)是對反映在網(wǎng)絡(luò)上的一些基礎(chǔ)數(shù)據(jù)進(jìn)行調(diào)查研究。

大數(shù)據(jù)開發(fā)主要做哪些工作？

你好，我 m湖，專注大數(shù)據(jù)技術(shù)，程序員體驗，互聯(lián)網(wǎng)技術(shù)分享。

作為一名軟件工程師，目前從事大數(shù)據(jù)方向。目前大數(shù)據(jù)可以分為很多具體方向:大數(shù)據(jù)平臺開發(fā)、大數(shù)據(jù)分析師(BI)、大數(shù)據(jù)運維、大數(shù)據(jù)處理(ETL)、大數(shù)據(jù)組件開發(fā)(大數(shù)據(jù)組件底層)。不同的工作方向在工作內(nèi)容上還是有一定差異的。我來說說不同工作的具體工作內(nèi)容:

大數(shù)據(jù)平臺的發(fā)展更傾向于整體數(shù)據(jù)平臺的功能開發(fā)，比如離線計算平臺、實時計算平臺、算法推薦平臺等等。Java是最常用的語言，更傾向于Java開發(fā)。如果用戶是上層用戶，大數(shù)據(jù)相關(guān)組件是最底層，那么大數(shù)據(jù)平臺就在用戶和大數(shù)據(jù)組件之間架起了一座橋梁，方便用戶使用大數(shù)據(jù)組件的功能。

大數(shù)據(jù)分析師(BI學(xué)生)多是分析我們現(xiàn)有線上數(shù)據(jù)的價值，從相關(guān)線上用戶產(chǎn)生的數(shù)據(jù)中發(fā)現(xiàn)一些潛在的商業(yè)價值，可以更好地輔助決策層進(jìn)行戰(zhàn)略決策。BI需要對數(shù)據(jù)敏感和細(xì)心，善于從數(shù)據(jù)中發(fā)現(xiàn)商業(yè)價值。通常大量的工作是數(shù)據(jù)可視化、簡化、深化和PPT。

大數(shù)據(jù)運維生主要保證公司的穩(wěn)定 的相關(guān)機(jī)器集群，這樣它們就不會失敗。在申請新機(jī)時，會在新機(jī)上部署各種大數(shù)據(jù)組件的集群。同樣，當(dāng)有業(yè)務(wù)生需要使用機(jī)器時，可以對大數(shù)據(jù)運維生提出需求。當(dāng)大數(shù)據(jù)組件集群因為某件事突然變得不穩(wěn)定時，運維同學(xué)需要定位并解決問題。運維的同學(xué)通常使用更多的Linux Shell腳本和命令行，他們的立場更傾向于為其他同學(xué)提供機(jī)器穩(wěn)定性保障。

ETL生(幾個倉庫生)對我們的線上數(shù)據(jù)進(jìn)行處理，形成DWD層(公共明細(xì)層)和DWS層(公共匯總層)，形成統(tǒng)一的指標(biāo)口徑。根據(jù)不同的業(yè)務(wù)需求，ETL學(xué)生一般會使用SQL對數(shù)據(jù)指標(biāo)進(jìn)行處理，以指導(dǎo)商科學(xué)生更好地操作相關(guān)業(yè)務(wù)。同時，ETL的學(xué)生更看重業(yè)務(wù)指標(biāo)的口徑。在指標(biāo)開發(fā)過程中，他們使用數(shù)據(jù)倉庫模型來構(gòu)建業(yè)務(wù)數(shù)據(jù)。模式，便于制定更加統(tǒng)一的指標(biāo)數(shù)據(jù)，減少口徑偏差。

大數(shù)據(jù)組件的開發(fā)更多的是結(jié)合公司對大數(shù)據(jù)基礎(chǔ)組件的定制開發(fā)、性能優(yōu)化、BUG修復(fù)等等；;的業(yè)務(wù)。同時，還需要解答業(yè)務(wù)接入方面的問題，引導(dǎo)他們使用大數(shù)據(jù)組件來滿足業(yè)務(wù)需求。同時，你還需要運營和維護(hù)你的大數(shù)據(jù)組件。當(dāng)出現(xiàn)故障BUG時，需要及時修復(fù)，保證大數(shù)據(jù)組件的穩(wěn)定性。大數(shù)據(jù)組件的開發(fā)需要掌握自己運維的組件原理。只有這樣，你才能更好地指導(dǎo)別人。

摘要

大數(shù)據(jù)發(fā)展有很多方向。可以根據(jù)自己的興趣選擇職業(yè)方向。大數(shù)據(jù)目前很多互聯(lián)網(wǎng)公司都在做，所以大數(shù)據(jù)整體就業(yè)形勢還是很好的。當(dāng)你選擇大數(shù)據(jù)的具體方向時，希望你能繼續(xù)學(xué)習(xí)你所從事的方向。技術(shù)在于深度，不在于淺嘗輒止。

如果我的問答對你有幫助，歡迎你喜歡轉(zhuǎn)發(fā)或者關(guān)注我。你的一點點鼓勵，就是我繼續(xù)分享的動力。謝謝你。