分散学習

Mesh Tensorflowについて勉強会で発表してきた

勉強会 Tensorflow内部構造勉強会というTensorflowに関する勉強会を会社の人達と開催しました. 第1回 TensorFlow内部構造 勉強会 - connpass 自分は「Mesh Tensorflow」に関して発表しました.他の人達はTensorflowの最適化や、tensorflowのapiを作り方、bf…

DeepLearningで使われるallreduceのアルゴリズム

DeepLearningで利用されているallreduceのアルゴリズム allreduceのアルゴリズムについて調べたかったので, 自分の観測できた範囲でまとめて行こうと思います. その道のプロではないので,コメントなど頂けると幸いです. ring-all-reduce baiduが提唱した…