啟發(fā)式算法是運(yùn)籌學(xué)嗎？在計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)，另一種算法是指用處發(fā)現(xiàn)到形狀相同方法來(lái)解決優(yōu)化問(wèn)題的算法。類(lèi)似算常情況與NP-difficult問(wèn)題查找因此不可能比較有效的多項(xiàng)式時(shí)間精確計(jì)算算來(lái)幫忙解決N

啟發(fā)式算法是運(yùn)籌學(xué)嗎？

在計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)，另一種算法是指用處發(fā)現(xiàn)到形狀相同方法來(lái)解決優(yōu)化問(wèn)題的算法。類(lèi)似算常情況與NP-difficult問(wèn)題查找因此不可能比較有效的多項(xiàng)式時(shí)間精確計(jì)算算來(lái)幫忙解決NP-work問(wèn)題，因?yàn)橐粋€(gè)求解答多項(xiàng)式時(shí)間次優(yōu)解。

與啟發(fā)式算法差別，通常沒(méi)法找到合理的解決方案非常飛速，要可可以證明的解決方案質(zhì)量和可證明的運(yùn)行時(shí)間范圍。

理想情況下，近似值最優(yōu)可提升一個(gè)小的常數(shù)因子（例如在最優(yōu)解的5%以上的話(huà)）。

近似算法越來(lái)越密集地主要是用于.設(shè)精確多項(xiàng)式時(shí)間算法但而輸入大小而太貴得要命的問(wèn)題。啟發(fā)式算法（heuristicalgorithm)是對(duì)于最優(yōu)化算法給出的。另一個(gè)問(wèn)題的選擇最優(yōu)算法求得該問(wèn)題你是什么實(shí)例的最優(yōu)解。啟發(fā)式算法可以這樣的話(huà)定義,定義：一個(gè)基于直觀或經(jīng)驗(yàn)構(gòu)造的算法，在可接受的花費(fèi)（指可以計(jì)算時(shí)間和空間）下給出未解決組合優(yōu)化問(wèn)題每另一個(gè)實(shí)例的另一個(gè)可行解，該看似可行解與最優(yōu)解的移動(dòng)的方向程度象肯定不能被最遲?，F(xiàn)階段，啟發(fā)式算法以仿自然體算法為主兼顧，主要有蟻群算法、設(shè)計(jì)模擬退火處理法、神經(jīng)網(wǎng)絡(luò)等。

數(shù)學(xué)建模最難的算法？

01、蒙特卡羅算法

02、數(shù)據(jù)數(shù)據(jù)擬合、參數(shù)估計(jì)、插值等數(shù)據(jù)處理算法

03、線性規(guī)劃、整數(shù)規(guī)劃、多元規(guī)劃、二次規(guī)劃等規(guī)劃類(lèi)問(wèn)題

04、圖論算法

05、動(dòng)態(tài)規(guī)劃、復(fù)現(xiàn)搜索、治于算法、分支定界等計(jì)算機(jī)算法

06、最優(yōu)化系統(tǒng)理論的三大超經(jīng)典算法：設(shè)計(jì)模擬退火法、神經(jīng)網(wǎng)絡(luò)、遺傳算法

07、網(wǎng)格算法和遞歸法

08、一些嘗試特征轉(zhuǎn)換方法

09、數(shù)值分析算法

10、圖象處理算法

退火技術(shù)指的是什么意思呢？

模擬退火是一個(gè)可以修的全局最優(yōu)化算法。

要表述它的思想，也可以從Gibbs Distribution從哪里開(kāi)始：

這定義了兩個(gè)概率分布特點(diǎn)，其中x來(lái)表示系統(tǒng)的狀態(tài)，P(x)可以表示系統(tǒng)取x狀態(tài)的概率，E(x)可以表示系統(tǒng)進(jìn)入x狀態(tài)的能量，T來(lái)表示溫度。在物理上，E(.)的定義取決于它系統(tǒng)本質(zhì)，在最系統(tǒng)優(yōu)化上，我們需要虛擬軟件另一個(gè)系統(tǒng)，讓這些系統(tǒng)的E(.)按到我們的優(yōu)化目標(biāo)。

這個(gè)分布有兩個(gè)特點(diǎn)：

1.E(x)越小，P(x)則越大；道理一樣。

2.T越大，P(.)其分布越uniform，或且P(.)越subtle。

根據(jù)(1)，我們做最小化的時(shí)候，諸如我們要小化函數(shù)f(x)的值，就這個(gè)可以就讓E(x)f(x)；如果沒(méi)有是最大化f(x)，可以設(shè)E(x)-f(x)。不過(guò)，這樣一來(lái)原始的最優(yōu)化問(wèn)題就變成了在P分布特點(diǎn)下去尋找概率大的的狀態(tài)x。

對(duì)此(2)，是可以畫(huà)個(gè)不太特別嚴(yán)謹(jǐn)?shù)膱D回答萬(wàn)分感謝：

可以看到，當(dāng)T0的時(shí)候，只有一是對(duì)讓E(x)最小的x*，我們有P(x*)1，別的的x均為P(x)0。

而當(dāng)T∞時(shí)，對(duì)此大部分的x，P(x)均相等，隨后就組成了兩個(gè)均勻分布（從上面的概率公式看，此時(shí)相對(duì)于一丁點(diǎn)x應(yīng)該有E(x)/TE(x)/∞0，跟E(x)4幾已經(jīng)任何關(guān)系了）。

當(dāng)T取其他值的時(shí)候呢，是介乎0和∞之間的狀態(tài)。想罷我們最終的結(jié)論：T越大，P(.)越均勻地，T越小，P(.)越險(xiǎn)峻。

是為更形象直觀，本物理盲在這里扯蛋幾句：假設(shè)一些水分子橫列了三個(gè)系統(tǒng)，系統(tǒng)的變量是水分子的空間坐標(biāo)。當(dāng)T太大的時(shí)候，P(.)變得均勻，索性這座系統(tǒng)變得更加相當(dāng)?shù)牟环€(wěn)定，所有的水分子都亂飄（只不過(guò)取完全沒(méi)有坐標(biāo)的概率都均等性嘛），宏觀上那就是水被蒸發(fā)成了氣體。當(dāng)T變成0時(shí)，P(.)變得更加太陡峭，索性雷鳴系統(tǒng)的狀態(tài)很穩(wěn)定在P(x)1的x上，宏觀上看那是水聚成了固體。

現(xiàn)在假設(shè)不成立我們有另一個(gè)算法，是可以在計(jì)算變量的P(.)上面采樣。那你，當(dāng)T0時(shí)，因此只能最優(yōu)的x*滿(mǎn)足的條件P(x*)1，剩下的的x均為P(x)0。因?yàn)槿绻芪覀冊(cè)俨杉臉颖静粷M(mǎn)足此時(shí)P(.)的分布，那就它是有就是x*。這樣的算法應(yīng)該是模擬退火。

學(xué)過(guò)C語(yǔ)言的人都很清楚rand()，它會(huì)以之和的概率趕往一個(gè)另一種0到RAND_MAX之間的隨機(jī)數(shù)。這填寫(xiě)的是在[0,RAND_MAX]的均勻分布上采樣點(diǎn)。題中我們要在更加古怪的分布上樣本采集，比如說(shuō)上面的P(.)，該怎么做呢？解決方法應(yīng)該是MCMC（Markov chain Monte Carlo

）。

MCMC簡(jiǎn)單其實(shí)是，從個(gè)精靈召喚狀態(tài)正在，經(jīng)由若干步狀態(tài)轉(zhuǎn)移，之后至少另一個(gè)狀態(tài)，這個(gè)那是再采集不出來(lái)的樣本。在每次狀態(tài)轉(zhuǎn)移時(shí)（到，到等），首先不需要propose個(gè)可能的新?tīng)顟B(tài)x，然后把根據(jù)P(.)的特點(diǎn)確定是否需要要給予（accept）這種新的狀態(tài)：如果沒(méi)有進(jìn)行了，這樣下一次的狀態(tài)就變?yōu)閤，不然一直保持變?yōu)?。這但是是替以維護(hù)精細(xì)入微平衡（Detailedbalance

）。對(duì)此MCMC而言，正是這樣的最重要的的步驟絕對(duì)的保證了重新采樣的結(jié)果條件符合目標(biāo)廣泛分布。在模擬退火的算法中，有三個(gè)很詭異的rejection操作，反正是那個(gè)原因。但，維護(hù)細(xì)致平衡是有代價(jià)的，如果沒(méi)有目標(biāo)其分布P(.)過(guò)多險(xiǎn)峻陡峭，那么，很可能會(huì)consider的x能量遠(yuǎn)大于當(dāng)前的x（E(x)E(x)），據(jù)rejection公式，可以找到這樣的x全都總是會(huì)被委婉地拒絕。隨后系統(tǒng)的收斂速度會(huì)變得巨慢：簡(jiǎn)單來(lái)講，你必須相當(dāng)多的狀態(tài)轉(zhuǎn)移才能再采集到個(gè)考試合格的樣本。但要是P(.)都很勻?qū)嵞兀^(guò)了一會(huì)兒新的x就很難被得到，相對(duì)來(lái)說(shuō)就更太容易搞到不合格的樣本。因?yàn)樵谀M退火中，從未不然后從T0（或是其他低溫狀態(tài)）又開(kāi)始采樣點(diǎn)，事實(shí)上理論上這樣的話(huà)再采集到的樣本也最優(yōu)選擇，但為了取得另一個(gè)樣本，你即便要永遠(yuǎn)不會(huì)地等下來(lái)。演示退火區(qū)分的方法是：從高溫正在重新采樣，讓算法可以迅速拿到下的樣本，接著很緩慢地降低一點(diǎn)溫度到，正在此時(shí)我以為起點(diǎn)，在溫度下采樣點(diǎn)，因此和很距離，只好也很接近下面的考試合格樣本，經(jīng)少數(shù)幾輪狀態(tài)轉(zhuǎn)移，就也可以期望拿到下面的樣本，想罷再繼續(xù)稍微地減少溫度到，再重復(fù)一遍這樣的過(guò)程……直到此時(shí)前往了一個(gè)極低溫度，這時(shí)的樣本就是全局最優(yōu)解?？梢哉业絋有另一個(gè)大小改變的過(guò)程，這差不多就是“退火”這種說(shuō)法的由來(lái)。在1983年相關(guān)證明了模擬退火這些想法雖然是六逆重生療法的。因此（理論上）它最啊的地方只是相對(duì)而言：這是個(gè)通用算法。也就是說(shuō)全都也可以咬死絕大部分的最優(yōu)化問(wèn)題，但我得到的結(jié)果還是全局最優(yōu)的！但實(shí)踐應(yīng)用中，全局最優(yōu)基本是不能保證的，這是是因?yàn)橥瑫r(shí)也可以證明了要至少全局最優(yōu)需要實(shí)現(xiàn)方法的退火速度（也就是T會(huì)增大的速度）——這樣的速度基本都是慢到人類(lèi)根本無(wú)法承受住的。不過(guò)幸好實(shí)際應(yīng)用效果中，我們常見(jiàn)也可以需要一個(gè)快速的溫度下降策略，再依靠一些heuristic算法，那樣之后能夠得到的結(jié)果雖不是全局最優(yōu)，但基本是又是全局確實(shí)不錯(cuò)的。關(guān)與MCMC講的比較好intuitive，請(qǐng)有興趣的同學(xué)讓其做個(gè)參考相關(guān)資料：）