異構環(huán)境感知的分布式神經網絡訓練模型

摘要： 針對分布式神經網絡訓練在異構環(huán)境中訓練速度慢、資源利用率低的問題，提出一種異構環(huán)境感知的分布式神經網絡訓練模型(H-PS)。根據計算節(jié)點當前狀態(tài)動態(tài)調度訓練任務，使計算節(jié)點能夠在相同時間完成訓練任務，提高資源利用率。提出通信與計算并行策略，參數服務器與計算節(jié)點傳輸模型參數期間，計算節(jié)點持續(xù)模型計算，進一步提高資源利用率。使用靈活的量化策略，壓縮神經網絡模型參數，減少參數服務器與... （共7頁）