初學者如何玩轉數據科學社區(qū)kaggle的競賽？看看贏家的套路。你不必為第一名而戰(zhàn)。我不知道卡格爾的比賽最終變成了所有球隊的團隊比賽。。。這種不擇手段、不計代價取得高分的方法在工業(yè)上行不通。如果我有足夠

初學者如何玩轉數據科學社區(qū)kaggle的競賽？

看看贏家的套路。你不必為第一名而戰(zhàn)。我不知道卡格爾的比賽最終變成了所有球隊的團隊比賽。。。這種不擇手段、不計代價取得高分的方法在工業(yè)上行不通。如果我有足夠的資源和時間運行多個模型，為什么不運行更多的數據并找到更多的特性呢？同樣的投資，回報更高。在大多數任務優(yōu)化特性的級別上，還不是組裝模型的時候。

人工智能這么火，數據挖掘和機器學習有什么區(qū)別？

工作之后，我知道的第一個概念是數據挖掘，而不是機器學習。因此，我認為數據挖掘的概念比較廣泛，屬于工程應用范疇。五年前，我們公司談論數據挖掘并舉辦了這樣的比賽。掌握了數據挖掘的應用軟件和標準流程，如SAS、Clementine等數據挖掘平臺。這些平臺大多基于圖形化操作，應用門檻較低。直到最近兩年，我們才開始談論機器學習、深度學習和人工智能。根據我的工作經驗，數據挖掘是一個流行的概念。所有的業(yè)務部門都知道這個概念，而機器學習屬于專業(yè)化?，F在業(yè)務部門仍然不知道什么是機器學習。事實上，很難嚴格區(qū)分兩者的關系。如果你看看最權威的數據挖掘和機器學習教材，你會發(fā)現其中大部分都是重復的。因為他們是兩個名字，他們的重點應該是不同的。我的理解是，數據挖掘的后端與機器學習的前端重復，機器學習的后端與深度學習的前端重復。數據挖掘的前端是數據的收集、清理和處理，與大數據相關，涉及到數據倉庫，而機器學習并不關心這些。也就是說，要為機器學習提前準備好數據的原材料。機器學習更加關注學習問題，努力學習知識，像人類一樣理解世界。它們最大的區(qū)別在于：數據挖掘關注數據中的規(guī)則和知識，而不關心數據為什么產生這些規(guī)則和知識，也就是說，你只看到表象，卻不知道本質原因。相反，機器學習更關注學習數據的生成機制，即數據是從什么概率模型生成的。有時機器學習也被稱為統計學習，這就是原因。當數據生成機制出現時，數據中的規(guī)則將被自然地知道。正是因為機器學習注重數據生成機制的學習，產生了大量的研究內容，發(fā)展了核機器、極大似然估計、最大熵模型、最大后驗估計、期望最大化算法、高斯過程、概率圖模型等，變分推理和其他工具。數據挖掘教科書通常沒有這些高級內容。

傳統的機器學習一般對數據生成機制做一些先驗假設，比如假設數據是高斯分布生成的，然后學習高斯分布的參數。此外，如果沒有這樣的假設，應該怎么做？一般采用非參數密度估計技術，如核估計，最近流行的與深度學習相結合的方法，如生成對抗網絡（Gans），變分自編碼器等，因為算法工程師比開發(fā)工程師更好：1。在技能方面，算法工程師可以做開發(fā)，但是開發(fā)工程師不能做算法。

2. 從專業(yè)角度看，算法工程師對數學能力的要求很高，而開發(fā)工程師的編程水平很高。

3. 在工作需求方面，算法工程師需要創(chuàng)新，而開發(fā)工程師需要編寫代碼。

4. 就職業(yè)前景而言，算法工程師的前景要比開發(fā)工程師廣闊得多。

目前，深度學習、神經網絡、機器學習、人工智能、python是企業(yè)招聘算法工程師的關鍵詞。

這里有一條建議：如果你是數學或計算機專業(yè)畢業(yè)的，改變算法和學習仍然為時已晚，明年你就不會著急了。