機器學習中訓練集、驗證集(開發(fā)集)、測試集如何劃分？需要注意什么？首先，我們需要理解訓練集、驗證集和測試集的含義。簡單地說：1。訓練集用來訓練模型并調(diào)整相應(yīng)的參數(shù)（如權(quán)重）。驗證集用于調(diào)整模型的超參數(shù)

機器學習中訓練集、驗證集(開發(fā)集)、測試集如何劃分？需要注意什么？

首先，我們需要理解訓練集、驗證集和測試集的含義。簡單地說：

1。訓練集用來訓練模型并調(diào)整相應(yīng)的參數(shù)（如權(quán)重）。驗證集用于調(diào)整模型的超參數(shù)（如體系結(jié)構(gòu)、訓練前已確定的參數(shù)，如有多少高度）層，這就是為什么也稱為開發(fā)集的原因）

3。測試集是用來獲得最終模型的性能，比如精度

有了這個常識，你就知道怎么劃分了。例如，如果你有一個數(shù)據(jù)集，你需要先做它

，如下圖所示，只有有了這個基礎(chǔ)，測試和驗證集才有意義。

至于如何劃分，我們需要看具體案例，參考斯坦福大學的深度學習課程https://cs230-stanford.github.io/train-dev-test-split.html沒有具體的標準，但是盡量使驗證集和測試集不要太少，例如1000000個圖片集，驗證和測試集不應(yīng)小于10000，即1%。如果數(shù)據(jù)量不夠大，通常是80-10-10的比例：

注意：隨機不是完全隨機的，它需要保證可重復性

好的，關(guān)這個話題就到此為止。如果遇到類似問題，如何找到正確答案？首先，你需要找到第一手資料。與其在百度上搜索，不如直接找到基本信息。在這種情況下，斯坦福學校的課程作為輸入，所以你不會誤入歧途。

歡迎關(guān)注“行知漫步”學習和探討新技術(shù)的應(yīng)用

問題相當廣泛。這取決于具體的場景。無論是站在求職者的角度還是企業(yè)管理的角度，前者在技術(shù)方面問題不大，有借鑒意義。很難給出分析思路，也很難建立一個基于業(yè)務(wù)場景的分析系統(tǒng)。幾乎沒有參考文獻。對于企業(yè)來說，數(shù)據(jù)治理通常是最大的問題，成本高且存在不確定因素。尤其是要進行數(shù)字化轉(zhuǎn)型的傳統(tǒng)企業(yè)，還有很長的路要走，坑也不少。

數(shù)據(jù)分析到底有多難？

現(xiàn)在互聯(lián)網(wǎng)上有很多公共數(shù)據(jù)集，所以您不需要自己收集它們。

除了使用基本搜索引擎搜索公共數(shù)據(jù)集外，最集中的地方是kaggle。

（kaggle網(wǎng)站截圖）

目前，kaggle上有7K個公共數(shù)據(jù)集。

此外，查找數(shù)據(jù)集的另一種技術(shù)是查找相關(guān)的公共部門網(wǎng)站或企業(yè)網(wǎng)站，以查看在確定主題后是否有可用的公共數(shù)據(jù)集。或者，尋找這一領(lǐng)域的論文，看看其他研究人員使用什么樣的數(shù)據(jù)集（如果他們自己收集和組織數(shù)據(jù)集，研究人員通常會將其公開）。

因此，在最終分析中，AI使用的數(shù)據(jù)要么收集要么合成。

比如go AI，學習人類棋手的棋譜，就是用數(shù)據(jù)采集，而go AI就是左右打斗，自己玩，學習，就是用合成數(shù)據(jù)。

。它是對采集到的數(shù)據(jù)進行轉(zhuǎn)換，并在原始數(shù)據(jù)的基礎(chǔ)上合成新的數(shù)據(jù)。

人工智能（AI）用到的大數(shù)據(jù)是收集到的嗎？

首先，測試集的標準化平均值和標準差應(yīng)來自訓練集。如果您熟悉Python的sklearn，您應(yīng)該知道應(yīng)該首先對訓練集數(shù)據(jù)進行擬合，得到包括均值和標準差的定標器，然后分別變換訓練集和驗證集。這個問題其實很好。很多人不注意。最容易犯的錯誤是在劃分訓練測試集之前進行規(guī)范化。

第二個問題是不同歸一化方法的選擇，如均值方差歸一化、最大最小歸一化等。歸一化的目的是調(diào)整每個場之間的數(shù)量級差異。均值-方差歸一化可能更適合不知道數(shù)據(jù)邊界在哪里的情況。最大和最小規(guī)格化相當于積分到01，這意味著您知道該字段的邊界在哪里。所以我個人更喜歡均值方差的標準化。我只是憑經(jīng)驗說的，不一定是對的。