horovodの機能追加 最近のhorovodの機能追加について fp16の対応 fp16への変換はtf.castを利用．またOpenMPIはfp16対応していないのでhorovod内でfp16用のMPI custum opを作成 eager mode対応 tensorflowのeager modeで動作します refactoring codeのリファ…

pytorchはc++のインターフェースがあるので，それを利用する形です． 今の所はmnistで簡単な演算だけ動きます． github.com mnist sample package main import "github.com/kuroko1t/gotorch/go" import "fmt" func main() { model := torch.ModelInit() fc1…

勉強会 Tensorflow内部構造勉強会というTensorflowに関する勉強会を会社の人達と開催しました． 第1回 TensorFlow内部構造 勉強会 - connpass 自分は「Mesh Tensorflow」に関して発表しました．他の人達はTensorflowの最適化や、tensorflowのapiを作り方、bf…

先日書いた記事で書いたallreduceを簡単に実装してみて，理解できているか試した． kuroko1t.hatenablog.com コードはここ． （2D-Torus all-reduceとdouble binary treesはまだ．．） hierachical 最初のグループ内のReduce用にMPI_Comm_splitを利用してcom…

DeepLearningで利用されているallreduceのアルゴリズム allreduceのアルゴリズムについて調べたかったので， 自分の観測できた範囲でまとめて行こうと思います． その道のプロではないので，コメントなど頂けると幸いです． ring-all-reduce baiduが提唱した…