DeepLearningで利用されているallreduceのアルゴリズム allreduceのアルゴリズムについて調べたかったので， 自分の観測できた範囲でまとめて行こうと思います． その道のプロではないので，コメントなど頂けると幸いです． ring-all-reduce baiduが提唱した…