預(yù)訓(xùn)練模型的意義？預(yù)訓(xùn)練模型是一種深度學(xué)習(xí)體系結(jié)構(gòu)，經(jīng)過(guò)訓(xùn)練可以對(duì)大量數(shù)據(jù)執(zhí)行特定任務(wù)（例如，識(shí)別圖像中的分類問(wèn)題）。這種培訓(xùn)不容易進(jìn)行，通常需要大量資源。除了許多可以使用深度學(xué)習(xí)模型的人可以使用的資

預(yù)訓(xùn)練模型的意義？

預(yù)訓(xùn)練模型是一種深度學(xué)習(xí)體系結(jié)構(gòu)，經(jīng)過(guò)訓(xùn)練可以對(duì)大量數(shù)據(jù)執(zhí)行特定任務(wù)（例如，識(shí)別圖像中的分類問(wèn)題）。這種培訓(xùn)不容易進(jìn)行，通常需要大量資源。除了許多可以使用深度學(xué)習(xí)模型的人可以使用的資源之外，我沒(méi)有大量的gpu。當(dāng)我們談?wù)擃A(yù)訓(xùn)練模型時(shí)，通常指的是在Imagenet上訓(xùn)練的CNN（視覺(jué)相關(guān)任務(wù)體系結(jié)構(gòu)）。Imagenet數(shù)據(jù)集包含1400多萬(wàn)張圖像，其中120萬(wàn)張圖像被分為1000個(gè)類別（約100萬(wàn)張圖像包含邊界框和注釋）。

2培訓(xùn)前模型的定義

那么什么是培訓(xùn)前模型？這是一組重量值，在訓(xùn)練結(jié)束時(shí)效果很好，研究人員分享給其他人使用。我們可以在深度學(xué)習(xí)lib庫(kù)中找到許多有權(quán)重的庫(kù)，但是最簡(jiǎn)單的方法是直接從你選擇的深度學(xué)習(xí)庫(kù)中獲取。

現(xiàn)在，以上是預(yù)培訓(xùn)模型的標(biāo)準(zhǔn)定義。您還可以找到預(yù)先訓(xùn)練的模型來(lái)執(zhí)行其他任務(wù)，如目標(biāo)檢測(cè)或姿勢(shì)估計(jì)。

此外，最近研究人員已經(jīng)開(kāi)始突破訓(xùn)練前模式的界限。在自然語(yǔ)言處理（使用文本的模型）的上下文中，我們已經(jīng)使用嵌入層一段時(shí)間了。單詞嵌入是一組數(shù)字的表示，其思想是相似的單詞將以某種有用的方式表達(dá)出來(lái)。例如，我們可以希望“鷹”、“鷹”和“藍(lán)鴉”的表達(dá)有一些相似之處，而在其他方面則有所不同。Word2vec是我最喜歡的關(guān)于嵌入層的論文之一，它起源于Geoffrey Hinton在20世紀(jì)80年代的論文。