TFUG_yuma_matsuoka__distributed_GPU

深層学習フレームワークと分散GPU処理の比較

法政大学松岡佑磨

自己紹介

松岡佑磨

法政大学理工学研究科 M1

• 彌冨研究室[1]

• 画像処理

• 深層学習

全脳アーキテクチャ若手の会[2] 副代表

1年ぶり[3]のLTで緊張しています！[1] http://iyatomi-lab.info/front.html[2] http://wbawakate.jp/[3] https://www.slideshare.net/YumaMatsuoka/auto-encoder

http://iyatomi-lab.info/front.html

http://wbawakate.jp/

https://www.slideshare.net/YumaMatsuoka/auto-encoder

普段はChainerを使っています

http://chainer.org/

http://chainer.org/

なので...Chainerで分散GPU処理をやってみた！

ここ...TensorFlow User Groupだろ

なので...Chainerで分散GPU処理をやってみた！

目的に合う深層学習フレームワークは？

Posted by Silicon Valley Data Science LLC

https://www.svds.com/getting-started-deep-learning/

https://www.svds.com/getting-started-deep-learning/

ホットなフレームワークはTensorflow???

https://twitter.com/fchollet

https://twitter.com/fchollet

人はなぜTensorFlowを使うのか

分散GPU処理における複数の深層学習フレームワークの比較

今日話す内容

①使用した深層学習フレームワークと実装について

• Chainer(PFN)

• TensorFlow(Google)

• MXNet(Amazon)

• CNTK(Microsoft)

• Paddle(Baidu)

②フレームワーク間の結果の比較

Tensorflowとのかかわり...

2015年12月23日、例のチュートリアル[4]を写経

2016年2月8日、女の子のかわいさの定量化

2016年2月10日、TensorFlow勉強会(2)[5]に参加

2017年3月 TFの分散GPU処理を書こうとして洗礼を受ける

2017年4月、(NEW!)TFUG#4に登壇

[4] https://www.tensorflow.org/get_started/mnist/beginners

[5] https://connpass.com/event/24265/

https://www.tensorflow.org/get_started/mnist/beginners

https://connpass.com/event/24265/

チュートリアルとクリスマスデート♡

女の子のかわいさの定量化に挑戦！

• 青い本[6]でConvolutional Neural Network(CNN)を勉強

• Google画像検索で拾った

女性の顔画像3000枚に

1~100点を主観で

ラベル付け

• 層構造を変えて

学習誤差の比較

• TensorFlowムズイ...!

[6]岡谷, 講談社, ISBN:4061529021深層学習(機械学習プロフェッショナルシリーズ), 2015.

1年前にはここに立つとは思っていなかった

上司ご乱心(TensorFlowを使えだと...)

2017年3月某日某所

Tensorflowを使って分散GPU処理コード作成を試みる

⇒実装力がなさすぎて洗礼を受ける

1年以上の付き合いだが

Tensorflowだけは好きになれない！書けない！

⇒BackendがTensorflowのKerasを使用

今日話す内容


• Chainer(PFN, http://docs.chainer.org/en/latest/)

• TensorFlow(Google, https://www.tensorflow.org/)

⇒Keras, TF Backend(François Cholletsさん, https://keras.io/ja/)

• MXNet(Amazon, http://mxnet.io/)

• CNTK(Microsoft, https://github.com/Microsoft/CNTK/wiki)

• Paddle(Baidu, https://github.com/PaddlePaddle/Paddle/wiki)


http://docs.chainer.org/en/latest/

https://www.tensorflow.org/

https://keras.io/ja/

http://mxnet.io/

https://github.com/Microsoft/CNTK/wiki

https://github.com/PaddlePaddle/Paddle/wiki

GPUによる並列処理について

GPUごとに分割したbatchの誤差を計算マージした誤差を１つのGPUでBackprop

実験環境

• Computer• さくらインターネット高火力

NVIDIA TitanX(PASCAL)×４

• TitanX(900series)×２

• OS: Ubuntu14.04

• Python: anaconda3-2.5.0

• CUDA environment• CUDA 8.0

• cudnn 5.0

[高火力]https://www.sakura.ad.jp/koukaryoku/[高火力の使い方]http://knowledge.sakura.ad.jp/knowledge/8363/

1時間300円程度で格安！！！インスタンスを作成している時間で課金される

https://www.sakura.ad.jp/koukaryoku/

http://knowledge.sakura.ad.jp/knowledge/8363/

実験環境




• OS: Ubuntu14.04



• cudnn 5.0

[高火力]https://www.sakura.ad.jp/koukaryoku/[高火力の使い方]http://knowledge.sakura.ad.jp/knowledge/8363/

課金を止めるごとにCUDA環境を作るのがめんどくさい⇒今回は使用せず

https://www.sakura.ad.jp/koukaryoku/

http://knowledge.sakura.ad.jp/knowledge/8363/

実験環境




• OS: Ubuntu14.04



• cudnn 5.0

[セットアップの作業ログ]

https://gist.github.com/yumatsuoka/d8a31742c572f0c20229dc7847a8c08b

このTitanXの環境を使いたかった...！

https://gist.github.com/yumatsuoka/d8a31742c572f0c20229dc7847a8c08b

実験環境

使用時のフレームワークのバージョン

• Chainer: 1.23.0

• TensorFlow: tensorflow-gpu==1.0.1

• Keras: 2.0.3

• MXNet: mxnet-cu80==0.9.5

• CNTK: 2.0.beta15.0

• Paddle: 0.9.0

実験環境

使用したデータセット：CIFAR10

使用したCNNのモデル：All Convolutional Net[7]

• CNNのプーリング層、全結合層を畳込み層で代用

• VGG netほど大きくない

• batchsize=100, epoch=100, Optimizer=Adam

[7]https://arxiv.org/abs/1412.6806

https://arxiv.org/abs/1412.6806

今日話す内容


• Chainer(PFN)

• Keras-TF Backend(François Cholletsさん)

• MXNet(Amazon)

• CNTK(Microsoft)

• Paddle(Baidu)


Chainer

モダンに作られており”ヒト”が

記述すべき内容が少なくて済む

NNの派生のadversarial training,

triplet networkなども実装可能

コードや情報がネットにまとまっている



Chainer

インストール

• pip install chainer

分散GPU処理に必要なこと

• StanderedUpdaterをParallelUpdaterに変更

• Chainer=2.0では大きく変わる？