はじめに 最近DeepLearningのモデル構築もDeepLearningで行う手法(AutoML)が流行っています。 AutoMLの一つであるNAS（Neural Architechture Search）は、２０１６年にGoogleから発表されました。強化学習を利用してアーキテクチャ、ハイパラメータの最適化…

何者か知らなかったのでちょっとだけ覗いてみた。 github.com blueoilにはlmnetとdlkというものがあった。 lmnet lmnetはTensorflowによる学習や推論をサポートしている。 分散学習するかどうかもconfig_fileに設定できてhorovodを利用している。 dlk Tensor…

勉強会 Tensorflow内部構造勉強会というTensorflowに関する勉強会を会社の人達と開催しました． 第1回 TensorFlow内部構造 勉強会 - connpass 自分は「Mesh Tensorflow」に関して発表しました．他の人達はTensorflowの最適化や、tensorflowのapiを作り方、bf…

DeepLearningで利用されているallreduceのアルゴリズム allreduceのアルゴリズムについて調べたかったので， 自分の観測できた範囲でまとめて行こうと思います． その道のプロではないので，コメントなど頂けると幸いです． ring-all-reduce baiduが提唱した…