步驟1:多數(shù)據(jù)流——信息來自多種來源和格式。用于分析的數(shù)據(jù)可能來自數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)湖甚至物聯(lián)網(wǎng)(IoT)傳感器。在某些情況下，數(shù)據(jù)可能是生產(chǎn)系統(tǒng)(如電子商務(wù)應(yīng)用程序)的摘錄。如今，機器學(xué)習(xí)項目

步驟1:多數(shù)據(jù)流——信息來自多種來源和格式。用于分析的數(shù)據(jù)可能來自數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)湖甚至物聯(lián)網(wǎng)(IoT)傳感器。在某些情況下，數(shù)據(jù)可能是生產(chǎn)系統(tǒng)(如電子商務(wù)應(yīng)用程序)的摘錄。如今，機器學(xué)習(xí)項目的數(shù)據(jù)越來越多地來自各種來源，包括非結(jié)構(gòu)化來源，如社交媒體。

第二步:預(yù)處理——通常被認為是早期數(shù)據(jù)處理階段的一部分，這一步包括將原始數(shù)據(jù)重新格式化為更適合機器學(xué)習(xí)的形式。

第三步:轉(zhuǎn)換——這在項目的早期階段是非常重要的，為了將數(shù)據(jù)清理并轉(zhuǎn)換成機器學(xué)習(xí)問題要解決的有意義的形式。給定一些企業(yè)數(shù)據(jù)的狀態(tài)(臟的、不一致的、缺少值等。)，這一步可能要花很多時間和精力。

第四步:分析-有時被稱為 "探索性數(shù)據(jù)分析與研究這是當(dāng)你使用統(tǒng)計方法和數(shù)據(jù)可視化來發(fā)現(xiàn)數(shù)據(jù)中有趣的特征和模式時，有時簡單的原始數(shù)據(jù)圖可以揭示非常重要的見解，這將有助于指明項目的方向或至少提供關(guān)鍵的見解，這對解釋機器學(xué)習(xí)項目的結(jié)果很有用。

第五步:建模——你要選擇一個適合要解決問題的機器學(xué)習(xí)模型。在這個階段，你需要對要使用的機器學(xué)習(xí)類型做出承諾。是要做定量預(yù)測，定性分類還是僅僅用聚類技術(shù)去探索？信息圖表和從原始數(shù)據(jù)到洞察力的七個步驟提供了詳細的工作流程，足以覆蓋幾乎所有的數(shù)據(jù)科學(xué)項目。 "

步驟6:驗證——對于任何給定的數(shù)據(jù)集，評估哪種方法能產(chǎn)生最好的結(jié)果是很重要的。在實踐中選擇最佳方法可能是機器學(xué)習(xí)最具挑戰(zhàn)性的部分之一，因此模型的性能評估對于項目的成功非常重要。您需要衡量其預(yù)測與實際數(shù)據(jù)的匹配程度。

第七步:基于數(shù)據(jù)的決策——這最后一步是當(dāng)你告訴a "數(shù)據(jù)故事 "為了傳達項目的最終結(jié)果，你通常可以通過制作良好的可視化來最好地理解機器學(xué)習(xí)項目的最終結(jié)果，這些可視化可以捕捉到模型，并告訴你數(shù)據(jù)的本質(zhì)。

大概可以自己做數(shù)據(jù)圖。

這是我自己做的。我收集了近10年的數(shù)據(jù)分析專業(yè)經(jīng)驗，參考了數(shù)十本行業(yè)權(quán)威著作和，結(jié)合幾十萬字的龐大學(xué)習(xí)資料，得出了這個。

在指導(dǎo)別人之前，你得先有自己的干貨，不然怎么讓人信服？

讓 咱們先談?wù)劙伞Ｈ绻}目只是為了高大上的標(biāo)題，那么我勸你還是盡早放棄幻想吧。現(xiàn)實中，數(shù)據(jù)科學(xué)家只是敬語，沒什么用?？赡軇e人轉(zhuǎn)頭就會覺得你在為他們服務(wù)。

那這個概念是怎么來的？

程序員的感覺覺得自己不適合編程，產(chǎn)品經(jīng)理覺得自己不適合做產(chǎn)品，統(tǒng)計會計覺得自己天花板低。哎，這個數(shù)據(jù)科學(xué)家的職位聽起來挺高的，和我做的沒什么區(qū)別。我可以試試嗎？

嗯，它 基本上是一樣的。

你怎么看:

這種人存在嗎？有，但是醒醒吧，數(shù)量很少，需要多年的經(jīng)驗。

據(jù)我所知，多家大型互聯(lián)網(wǎng)公司的數(shù)據(jù)負責(zé)人只是導(dǎo)表，把數(shù)據(jù)跑下來，然后根據(jù)業(yè)務(wù)需要把數(shù)據(jù)交給別人，偶爾幫其他部門做一些臨時需求，挖掘用戶數(shù)據(jù)可能會多一點。

離數(shù)據(jù)科學(xué)家還很遠，這就是現(xiàn)實。

但是沒有辦法成為數(shù)據(jù)科學(xué)家，還有一條路要走。

1.數(shù)據(jù)科學(xué)家是怎么來的？

先有數(shù)據(jù)科學(xué)，再有做這個業(yè)務(wù)的人，數(shù)據(jù)科學(xué)家。

科學(xué)就是做實驗。實驗的對象是數(shù)據(jù)，方法是數(shù)據(jù)挖掘、最大似然、最小似然等。儀器是各種存儲硬件和處理軟件。奇妙的是研究對象是不同的領(lǐng)域，所以一個數(shù)據(jù)科學(xué)過程的輸出可能只是一些常規(guī)的知識、提示和決策，甚至擴展了對某個領(lǐng)域的認知。

2.數(shù)據(jù)科學(xué)家的類型

第一，偏分析。

可以說，類似于商業(yè)分析，你需要了解行業(yè)，了解市場，了解公司 s操作，然后解決問題。

主要的工作基本是清數(shù)據(jù)，做分析，做報表，洞察，但是隨著大數(shù)據(jù)的到來，對建模能力，工具使用能力，數(shù)據(jù)處理能力的要求更高了。

Tableau，python，F(xiàn)inebi，R，熊貓，matlab都得知道。

你還必須了解市場、經(jīng)濟和統(tǒng)計方面的知識。

第二，局部算法。

研究的升華，比如阿里達摩院，也算成本部門。部門有產(chǎn)出，研究有成果，就能落地。

然后這個就好理解了，算法從研究變成產(chǎn)品。

要求會更高，NLP、數(shù)據(jù)挖掘、推薦算法、CV、業(yè)務(wù)邏輯、需求管理、編程能力次之。

3.數(shù)據(jù)科學(xué)家的核心技能

除了數(shù)據(jù)分析，還有什么？

其實數(shù)據(jù)科學(xué)在公司的應(yīng)用還停留在基礎(chǔ)層面。老板可能只是想讓公司搭上AI的末班車，但他沒有 我不知道如何讓數(shù)據(jù)變成生產(chǎn)力。汕頭為主。公司越大，工作邊界會越模糊。

所以數(shù)據(jù)科學(xué)家要有和產(chǎn)品經(jīng)理一樣的嗅覺，或者僅次于程序員的代碼能力。

否則你會很迷茫，在產(chǎn)品和開發(fā)上沒有話語權(quán)，逐漸變成支持部門。

所以在大方向上要更主動，從洞察到產(chǎn)品，要全程參與，真正培養(yǎng)自己的能力，才能有數(shù)據(jù)話語權(quán)，才能你可以 不要寫python，sql或者etl。