為什么交叉熵cross-entropy可以用于計算代價？如何通俗的解釋交叉熵與相對熵？我很蠢：使用pdist2函數(shù)r=pdist2（x，y），組合m行和m列矩陣，并獲取所需數(shù)據(jù)簡而言之，熵是事物接近混

為什么交叉熵cross-entropy可以用于計算代價？

如何通俗的解釋交叉熵與相對熵？

我很蠢：使用pdist2函數(shù)r=pdist2（x，y），組合m行和m列矩陣，并獲取所需數(shù)據(jù)

簡而言之，熵是事物接近混沌狀態(tài)的程度。無序的事物越多，它們就越混亂，熵也就越大。世界上的一切事物都有一個從高階到低階的自然趨勢，這就是熵增加的趨勢。好像每個人都很懶。想象一下，當沒有人清理時，環(huán)境就會開始變得一團糟。這就是熵。

通常情況下，瓶子更容易打碎玻璃渣，從玻璃渣中回收到整個瓶子需要消耗能量。周邊環(huán)境更容易變得凌亂和惡劣，而要恢復一個干凈有序的環(huán)境，我們需要做工作來實現(xiàn)，必須有能源消耗。世界上的一切事物，甚至宇宙，都無法逃脫熵的詛咒，并逐漸變得混亂，最終達到溫度的平衡。整個宇宙都處于一種寒冷而孤獨的死亡狀態(tài)。

但對于生命，薛定諤早就提出，它是建立在負熵的基礎上的，即生物體可以通過吃、喝、呼吸和外界物質(zhì)交換來維持生命的秩序，這相當于從周圍環(huán)境中獲得秩序。從出生到死亡，熵增加到最大。

能否盡量通俗地解釋什么叫做“熵”？

熵是一種進口產(chǎn)品，在英語中是一個濃縮詞，其中en=能量，TR=trans，superse/more and more，Op=開放，y[后綴]表示特征。

所以熵的字面意思是能量越來越開放。一般來說，熵是濃度擴散的特征。

事實上，古代道家早已認識到熵增原理。它的“無限”就是“熵到”。

無極，顧名思義，是生命力的無極性分布（即最無序）。

熵增原理：在封閉系統(tǒng)中，高密度狀態(tài)總是需要輻射能量或自我分解，發(fā)散到附近空間，最終形成熱平衡。

例如，將油墨滴入一杯清水中，由于濃度擴散效應，油墨分子會滲透并稀釋到所有水分子中，形成最分散、最均勻、最無序的分布狀態(tài)。

1000公里大氣中的氣體分子可以在大約50000公里的高真空下進入地球輻射帶。由于濃度擴散效應或熵增能，氣體分子會自發(fā)分解成等離子體或子原子，如自由電子和自由質(zhì)子，其分布最為混亂，振蕩最為無序。

光要常紅，水要常低，水要常蒸發(fā)，熱要常膨脹，憂郁癥要發(fā)泄，搶富能扶貧，冷熱要平。這是熵增加的自然現(xiàn)象。

物理學的新視野旨在對物理/邏輯/雙語問題進行建設性的新思維和共同討論。