數(shù)據(jù)分析一般包括哪些內(nèi)容？數(shù)據(jù)分析是一個(gè)比較大的框架，從字面上講，就是從數(shù)據(jù)中提取有用的規(guī)則或者背后的邏輯。工作中數(shù)據(jù)分析的功能主要分為以下六個(gè)步驟:數(shù)據(jù)收集數(shù)據(jù)清理數(shù)據(jù)存儲(chǔ)指數(shù)計(jì)算數(shù)據(jù)的統(tǒng)計(jì)分析和建

數(shù)據(jù)分析一般包括哪些內(nèi)容？

工作中數(shù)據(jù)分析的功能主要分為以下六個(gè)步驟:

數(shù)據(jù)收集

數(shù)據(jù)清理

數(shù)據(jù)存儲(chǔ)

指數(shù)計(jì)算

數(shù)據(jù)的統(tǒng)計(jì)分析和建模

數(shù)據(jù)可視化

第一步是數(shù)據(jù)收集:當(dāng)我們的數(shù)據(jù)還沒(méi)有形成一個(gè)具體的系統(tǒng)的時(shí)候，或者當(dāng)我們的業(yè)務(wù)正在進(jìn)行時(shí)，我們需要通過(guò)各種渠道獲取數(shù)據(jù)。數(shù)據(jù)采集的方法有很多種，包括程序自動(dòng)采集(數(shù)據(jù)嵌入點(diǎn)、網(wǎng)絡(luò)爬蟲(chóng)、ERP或CRM系統(tǒng)自動(dòng)生成等。)、人工統(tǒng)計(jì)(Excel統(tǒng)計(jì))、從第三方網(wǎng)站提取(通過(guò)公共數(shù)據(jù)網(wǎng)站、API等下載。)，等等。方法的選擇遵循商業(yè)形式。

第二步是數(shù)據(jù)清洗:采集的數(shù)據(jù)是臟數(shù)據(jù)，需要進(jìn)行清洗，即取其精華，去其糟粕，這樣數(shù)據(jù)才能正常使用。這一步的操作主要使用正則表達(dá)式進(jìn)行數(shù)據(jù)清理。采集的數(shù)據(jù)有各種格式，需要轉(zhuǎn)碼成特定的格式并編碼。

第三步:數(shù)據(jù)存儲(chǔ):作為公司 s數(shù)據(jù)越來(lái)越大，互聯(lián)網(wǎng)時(shí)代已經(jīng)從IT變成了DT?，F(xiàn)在各個(gè)公司的業(yè)務(wù)數(shù)據(jù)都是幾何級(jí)增長(zhǎng)，所以在存儲(chǔ)數(shù)據(jù)的時(shí)候肯定不能再用以前那個(gè)用紙筆記錄的時(shí)代了。目前數(shù)據(jù)量不大的公司一般都是用Excel文件進(jìn)行數(shù)據(jù)存儲(chǔ)。許多公司也使用數(shù)據(jù)庫(kù)產(chǎn)品進(jìn)行數(shù)據(jù)存儲(chǔ)。市場(chǎng)上也有很多性能不錯(cuò)的數(shù)據(jù)庫(kù)產(chǎn)品，如Oracle、MySQL、SqlServer等。現(xiàn)在針對(duì)大數(shù)據(jù)也有相應(yīng)的蜂巢數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品。這些產(chǎn)品非常容易使用，其中一些是開(kāi)源產(chǎn)品。就我司而言，之前使用的Oracle、MySQL、SqlServer的數(shù)據(jù)庫(kù)，由于業(yè)務(wù)線的調(diào)整，已經(jīng)將數(shù)據(jù)從單一數(shù)據(jù)庫(kù)改為蜂巢式數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)，更方便技術(shù)、業(yè)務(wù)、分析師等角色提取數(shù)據(jù)。

第四步是指標(biāo)計(jì)算:在進(jìn)行指標(biāo)計(jì)算之前，數(shù)據(jù)分析師需要建立當(dāng)前部門的KPI指標(biāo)，對(duì)應(yīng)的是業(yè)務(wù)部門 不同業(yè)務(wù)場(chǎng)景的好的或壞的數(shù)據(jù)和規(guī)則的反饋。這一步復(fù)雜而持續(xù)，可能會(huì)貫穿整個(gè)數(shù)據(jù)分析生涯。什么是指標(biāo)？指標(biāo)是衡量目標(biāo)的方法，如商品管理中常用的存貨周轉(zhuǎn)率、毛利率，運(yùn)營(yíng)中經(jīng)常見(jiàn)到的路徑轉(zhuǎn)換，營(yíng)銷中經(jīng)常見(jiàn)到的ROI等。相應(yīng)的指標(biāo)反映了不同業(yè)務(wù)場(chǎng)景的質(zhì)量。隨著業(yè)務(wù)和企業(yè)階段的變化，指標(biāo)總是會(huì)變化的。

第五步是數(shù)據(jù)的統(tǒng)計(jì)分析和建模:這個(gè)環(huán)節(jié)是整個(gè)數(shù)據(jù)分析過(guò)程中最有趣的一個(gè)，沒(méi)有之一。與上一個(gè)環(huán)節(jié)相比，在這個(gè)環(huán)節(jié)中，你會(huì)面臨各種挑戰(zhàn)。什么假設(shè)檢驗(yàn)，什么線性回歸，什么特征工程，什么貝葉斯等等。都會(huì)遇到。在這里你會(huì)看到各種數(shù)據(jù)背后的邏輯，以及數(shù)據(jù)產(chǎn)生的價(jià)值。而且在數(shù)據(jù)分析的過(guò)程中，你可能會(huì)遇到數(shù)據(jù)清洗過(guò)程的第二步，處理缺失值，處理異常值等等。

第六步是數(shù)據(jù)可視化:即數(shù)據(jù)呈現(xiàn)，需要將第五步統(tǒng)計(jì)分析建模的結(jié)果以圖形的形式反映出來(lái)。俗話說(shuō)，文字不如表格，表格不像圖片。Tableau、PowerBI、finebi、PPT等數(shù)據(jù)可視化產(chǎn)品在市場(chǎng)上應(yīng)用廣泛。其中，前三種主要是交互形式，即在線存儲(chǔ)的報(bào)告，而PPT主要是以報(bào)告的形式呈現(xiàn)。

目前的數(shù)據(jù)分析按照功能可以簡(jiǎn)單的分為幾個(gè)方向:

業(yè)務(wù)數(shù)據(jù)分析師

數(shù)據(jù)挖掘工程師

大數(shù)據(jù)開(kāi)發(fā)工程師

以上職位在現(xiàn)在的招聘時(shí)間里比較常見(jiàn)，之前每個(gè)職位都不一樣。業(yè)務(wù)數(shù)據(jù)分析師主要面向業(yè)務(wù)，將數(shù)據(jù)應(yīng)用于企業(yè)決策。主要工具有Python，R，Excel，SPSS，tableau，PowerBI等。數(shù)據(jù)挖掘工程師更注重技術(shù)方向，主要是反欺詐、垃圾郵件識(shí)別等數(shù)據(jù)應(yīng)用，主要工具有Python、Java、C、C等。大數(shù)據(jù)開(kāi)發(fā)工程師主要負(fù)責(zé)搭建數(shù)據(jù)平臺(tái)，開(kāi)發(fā)適合公司的數(shù)據(jù)平臺(tái)；;的數(shù)據(jù)流通過(guò)使用hadoop、hive、spark、Python、Java、C、C等工具。數(shù)據(jù)分析是目前為止比較新的崗位，所以大部分人都在不斷學(xué)習(xí)和提高。

以上是我的一些拙見(jiàn)。如有不足，歡迎補(bǔ)充交流。