為什么tensorflow訓(xùn)練用GPU比CPU更慢了？最重要的因素可能是GPU的利用率不足。例如，我的機(jī)器運(yùn)行時(shí)尚MNIST，GPU的利用率只有3%左右，而且GPU的速度是CPU的兩倍。GPU性能一般

為什么tensorflow訓(xùn)練用GPU比CPU更慢了？

最重要的因素可能是GPU的利用率不足。例如，我的機(jī)器運(yùn)行時(shí)尚MNIST，GPU的利用率只有3%左右，而且GPU的速度是CPU的兩倍。

GPU性能一般，怎么實(shí)現(xiàn)分布式模型訓(xùn)練？

如果同一臺機(jī)器上有多個(gè)GPU

請使用多塔結(jié)構(gòu)（詳細(xì)信息請參閱tensorflow官方教程）

如果總共只有一個(gè)GPU

請使用AWS云GPU服務(wù)器，最多可租用8塊并行特斯拉V100計(jì)算圖形卡

歡迎關(guān)注標(biāo)題|機(jī)器學(xué)習(xí)干貨

補(bǔ)充：

所謂多塔結(jié)構(gòu)就是讓每個(gè)GPU承擔(dān)一個(gè)小批量的一小部分，并計(jì)算每個(gè)小批量中每個(gè)參數(shù)的導(dǎo)數(shù)值。最后，你可以通過平均這些導(dǎo)數(shù)值來完成一批訓(xùn)練

tensorflow是由Google開發(fā)的人工智能框架?，F(xiàn)在有了中國的官方網(wǎng)站和他們的社區(qū)。你可以按照官方網(wǎng)站的例子來學(xué)習(xí)。如果不懂，可以去tensorflow社區(qū)查看，或者提問，當(dāng)然GitHub在這方面也有很多知識，可以參考學(xué)習(xí)，如果沒有GPU，可以使用谷歌的colab，免費(fèi)的GPU