面向深度神經(jīng)網(wǎng)絡大規(guī)模分布式數(shù)據(jù)并行訓練的MC~2能耗模型

摘要： 深度神經(jīng)網(wǎng)絡（deep neural network,DNN）在許多現(xiàn)代人工智能（artificial intelligence,AI）任務中取得了最高的精度.近年來，使用高性能計算平臺進行大規(guī)模分布式并行訓練DNN越來越普遍.能耗模型在設計和優(yōu)化DNN大規(guī)模并行訓練和抑制高性能計算平臺過量能耗方面起著至關(guān)重要的作用.目前，大部分的能耗模型都是從設備的角度出發(fā)對單個設備或多個設... （共20頁）