信息熵是什么？信息熵的概念來(lái)源于信息論。信息論奠基人香農(nóng)1948年將熱力學(xué)中的熵引入信息論，提出了信息熵（又稱香農(nóng)熵）。首先，我們需要了解什么是信息。香農(nóng)認(rèn)為信息是消除隨機(jī)不確定性的東西。舉個(gè)例子：3

信息熵是什么？

信息熵的概念來(lái)源于信息論。信息論奠基人香農(nóng)1948年將熱力學(xué)中的熵引入信息論，提出了信息熵（又稱香農(nóng)熵）。

首先，我們需要了解什么是信息。香農(nóng)認(rèn)為信息是消除隨機(jī)不確定性的東西。舉個(gè)例子：32支球隊(duì)中誰(shuí)將贏得世界杯。一開(kāi)始，如果我們不知道每個(gè)隊(duì)的情況，那么所有隊(duì)的獲勝概率都是相同的1/32。但是一旦我們得到一些信息，比如看之前的世界杯錦標(biāo)賽，我們發(fā)現(xiàn)來(lái)自歐洲和南美的球隊(duì)贏得了冠軍。有了這些信息，我可以消除一些不確定性，除了南美和歐洲的團(tuán)隊(duì)。然后可能還有10支隊(duì)伍，所以我猜的概率會(huì)變成1/10，大大增加。

信息可以減少事件的不確定性，因此需要更多的信息來(lái)確定不確定性事件。維度可以用來(lái)度量事件的不確定性，并具有所需的信息量。發(fā)現(xiàn)概率也可以表示事件的不確定性，概率越小，不確定性越大。

根據(jù)上述推理，我們可以用概率來(lái)描述事件的信息量。同時(shí)，概率越小，信息量越大。給出了信息量I的計(jì)算公式，其中p是事件發(fā)生的概率。例如，巴西有三分之一的機(jī)會(huì)獲勝。那么相應(yīng)的信息量約為1.58；而日本的中簽概率為1/60，信息量為5.9；可以看出，概率越低，消除不確定性所需的信息就越多。

信息熵實(shí)際上是每個(gè)事件的加權(quán)平均信息。對(duì)于誰(shuí)將贏得世界杯的事件（x），信息熵是所有參賽隊(duì)（x）能贏得的信息量的加權(quán)平均值。

Label smoothing是什么？有何作用？

標(biāo)簽平滑，或標(biāo)簽平滑，是機(jī)器學(xué)習(xí)中的一種模型正則化方法。在分類(lèi)模型中，通常的過(guò)程是先提取特征，然后進(jìn)行全連接層，將輸出映射到分類(lèi)大小，再進(jìn)行softmax，將結(jié)果映射到0-1，然后用一個(gè)熱標(biāo)簽計(jì)算交叉熵?fù)p失函數(shù)來(lái)訓(xùn)練模型。標(biāo)簽平滑基于兩個(gè)原因：1。另外，使用一個(gè)熱表達(dá)式會(huì)使模型逐漸逼近1，從而對(duì)預(yù)測(cè)結(jié)果表現(xiàn)出過(guò)度自信，這種自信會(huì)使模型過(guò)度擬合。

2. 在分類(lèi)模型中，標(biāo)簽通常用一個(gè)熱向量來(lái)表示，存在過(guò)度擬合的風(fēng)險(xiǎn)。由于訓(xùn)練集中的訓(xùn)練數(shù)據(jù)往往是有限的，不能真實(shí)地反映預(yù)測(cè)結(jié)果的真實(shí)分布。

特別是在翻譯模型中，當(dāng)預(yù)測(cè)單詞時(shí)，通常沒(méi)有唯一的答案，同一個(gè)句子可以對(duì)應(yīng)多個(gè)翻譯方案。但一個(gè)熱點(diǎn)將消除這種可能性，使結(jié)果獨(dú)特，并使正確答案和其他答案之間的距離盡可能長(zhǎng)。我們希望為每種情況留下預(yù)測(cè)的可能性。

然后標(biāo)簽平滑是使一個(gè)熱編碼更軟。方法也很簡(jiǎn)單。一方面，它減小了1的大小，另一方面，它使0的標(biāo)記變大。加權(quán)先驗(yàn)分布計(jì)算如下：]。如果先驗(yàn)分布是均勻的，那么u（k）=1/k，k是分類(lèi)數(shù)。這樣，模型的預(yù)測(cè)結(jié)果將同時(shí)擬合一個(gè)熱點(diǎn)的標(biāo)簽分布和先驗(yàn)分布，從而提高了模型的泛化能力，降低了過(guò)度擬合的風(fēng)險(xiǎn)。

人工智能可以實(shí)現(xiàn)智能垃圾分類(lèi)嗎？

這是一個(gè)非常好的問(wèn)題。誠(chéng)然，人工智能完全可以實(shí)現(xiàn)垃圾分類(lèi)，但它并不是在混合垃圾分類(lèi)，而是代替人們按分類(lèi)挨家挨戶收集垃圾，而且每個(gè)家庭都可以交納一定的費(fèi)用。