如何提高keras模型預(yù)測(cè)速度？一旦確定了keras模型，不修改keras框架的源代碼就不會(huì)有任何改變。唯一的出路是擴(kuò)大GPU。一般情況下，我們只能?chē)L試修改模型結(jié)構(gòu)、量化剪枝等方式，自行修改框架源代碼

如何提高keras模型預(yù)測(cè)速度？

一旦確定了keras模型，不修改keras框架的源代碼就不會(huì)有任何改變。唯一的出路是擴(kuò)大GPU。

一般情況下，我們只能?chē)L試修改模型結(jié)構(gòu)、量化剪枝等方式，自行修改框架源代碼，沒(méi)有必要。

通常，為了加快模型的預(yù)測(cè)速度，只需加載一次模型即可。

當(dāng)模型的預(yù)測(cè)時(shí)間過(guò)長(zhǎng)時(shí)，通常采用減少卷積核、減少卷積核數(shù)、增加步長(zhǎng)、增加池單元等方法。一些參數(shù)較少的主干也可能被替換。

或者考慮使用移動(dòng)終端分離卷積和空穴卷積。

最后，默認(rèn)情況下，我們的模型由floaf32的精度表示，可以適當(dāng)量化。它以16位、8位甚至2位精度表示。只要模型的精度不顯著降低，且滿(mǎn)足使用場(chǎng)景，則是合理的。

如果您在這方面還有其他問(wèn)題，請(qǐng)關(guān)注我，一起學(xué)習(xí)。