tensorflow2分布式訓(xùn)練 GPU性能一般，怎么實現(xiàn)分布式模型訓(xùn)練？
GPU性能一般，怎么實現(xiàn)分布式模型訓(xùn)練？如果同一臺機器上有多個GPU使用多塔結(jié)構(gòu)（詳見tensorflow官方教程）如果總共只有一個GPU使用AWS云GPU服務(wù)器，最多可租用8個并行的Tesla V1
GPU性能一般，怎么實現(xiàn)分布式模型訓(xùn)練？
如果同一臺機器上有多個GPU
使用多塔結(jié)構(gòu)（詳見tensorflow官方教程）
如果總共只有一個GPU
使用AWS云GPU服務(wù)器，最多可租用8個并行的Tesla V100計算圖形卡
歡迎關(guān)注標(biāo)題|機器學(xué)習(xí)干巴巴的商品
補充：
所謂多塔結(jié)構(gòu)就是讓每個GPU承擔(dān)一個小批量的一小部分，并計算每個小批量中每個參數(shù)的導(dǎo)數(shù)值。最后，平均這些導(dǎo)數(shù)值可以完成一批訓(xùn)練