Mesh Tensorflowについて勉強会で発表してきた

勉強会

Tensorflow内部構造勉強会というTensorflowに関する勉強会を会社の人達と開催しました．
第1回 TensorFlow内部構造 勉強会 - connpass

自分は「Mesh Tensorflow」に関して発表しました．他の人達はTensorflowの最適化や、tensorflowのapiを作り方、bfloat16に関してだったりと各々が興味持った所に関して発表してた感じです． 雨だったこともあったのか参加人数はそこそこな感じでしたが、質問などもあり楽しく勉強会ができて良かったなと．

第２回はうちの会社以外の発表が増えると面白そうだなー

Mesh Tensorflow

Tensorflowを用いたモデル並列やデータ並列を記述しやすくするのを目的としたFWです．あまり資料などないことから題材に選びました． 発表資料は以下です。

Mesh tensorflow from kuroko

DEV SUMMIT 2019

DEV SUMMITでもMesh Tensorflowに関する発表がありました． Future Workとして，対応するモデルを増やすことや(現在はtransformer，CNNなど限定的)，Mesh Layoutを自動的に行って，Mesh割当をユーザは意識せずにFW側で行えるようにしたいようです．

Mesh-TensorFlow: Model Parallelism for Supercomputers (TF Dev Summit ‘19)