[DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images
-
Upload
deep-learning-jp -
Category
Technology
-
view
172 -
download
8
Transcript of [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images
![Page 1: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/1.jpg)
1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“The Conditional Analogy GAN: Swapping Fashion Articleson People Images” (ICCV2017 workshop) [DL hacks]
Shizuma Kubo, Matsuo Lab
![Page 2: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/2.jpg)
実装
• CAGANの実装 (https://github.com/DLHacks/CAGAN)
- クローリングの実装[ruby]( https://github.com/DLHacks/CAGAN/tree/master/data_crawling )
- 今日説明で使うファイル[ipython
notebook]( https://github.com/DLHacks/CAGAN/tree/master/models/ca_gan_exerc
ise )
- 以下のスライドは前回と同じ論文紹介です。
2
![Page 3: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/3.jpg)
書誌情報
• “The Conditional Analogy GAN: Swapping Fashion Articles on People
Images” (arXiv 14 Sep 2017 / ICCV 2017)
• Author: Nikolay Jetchev, Urs Bergmann (Zaland Research)
• Zalandはヨーロッパに展開するドイツのファッションECサイト。
• DL輪読会でも発表あり。(2017/09/25 VASILY 後藤さん)
• 選定理由: 本論文と同様のタスクを研究で行いたい。
3
![Page 4: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/4.jpg)
論文概要
4
• GANによって服を着ているモデルの画像を別の任意の服の画像に着せ替えるタスクを行うことが出来る。
• データセットが容易に集められる。
-セグメンテーションのデータを用いずに
暗に学習する。
• 計算コストが比較的小さい
- 3Dオブジェクトより2Dオブジェクトを
扱うほうがコストが小さくすむ。
![Page 5: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/5.jpg)
背景
1. モデルが服を着た画像を作ることは高価でかつ時間がかかる。
- ファッションECでは素早く規模を拡大することが課題。
-服単体の画像であれば比較的安く出来る。
-既存のモデルの画像の再利用はファッション業界にとって非常に有効。
2. “virtual try-on” の可能性。
- 異なるファッションアイテムが似合うかどうかを確かめる
アプリケーションの実現の可能性がある。
5
![Page 6: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/6.jpg)
生成例
6
着せ替えが出来ている!
![Page 7: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/7.jpg)
モデル概要
7
![Page 8: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/8.jpg)
ネットワーク
8
・Generatorはskip connection付きのencoder-decoderモデル。
・DiscriminatorはpatchGANのアプローチ(63x63 receptive field)。
・上記2点ともpic2picの構造を参考にしている。
・Generatorの出力は4channel(3channel
が服のRGBで、1channelがマスク)。(channel) x (width) x (height)
![Page 9: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/9.jpg)
ロス関数
• 大きく分けて3種類のロスを足し合わせる。
① cGANのロス(Generator、Discriminatorそれぞれ騙し合うロス)
② id ロス (出来るだけ元の画像を維持するための正則化項)
③ Cycle ロス (生成を2回繰り返し元に戻したときの差)
9
![Page 10: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/10.jpg)
ロス① ( cGANのロス )
10
① (モデル画像) + (対応する服画像)
の識別
Discriminator: True
② (生成したモデル画像) + (対応する服画像) の識別
Discriminator: False
Generator: True
③ (モデル画像) + (関係ない服画像)
の識別
Discriminator: False
![Page 11: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/11.jpg)
ロス② ( idロス )
11
・Generatorの出力は4channel
・そのうち、1channelはマスク(α)。
・αで元画像を変換する部分を決める。
・L1-norm。
・変換する部分を出来るだけ小さくしたいという気持ち。(変換する服の部分以外は維持したい)
![Page 12: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/12.jpg)
ロス③ ( Cycleロス )
12
・1度着せ替えした画像を元着ていた画像で再度着せ替え、元々の画像と同じになることを期待する。
・L1-norm。
・Generatorの学習を安定化することが目的。
![Page 13: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/13.jpg)
ロス関数
• 大きく分けて3種類のロスを足し合わせる。
① cGANのロス(Generator、Discriminatorそれぞれ騙し合うロス)
② id ロス (出来るだけ元の画像を維持するための正則化項)
③ Cycle ロス (生成を2回繰り返し元に戻したときの差)
13
![Page 14: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/14.jpg)
実験
• 15,000のモデルと着用服の画像のペアのデータセットを利用
• Adam(learning rate 0.0002)
• Minibatch size 16
• 10,000 gradient stepである程度の精度
• 各Layerでnormalizationを行う(一部除く)
• ActivationはRelu
• γi : 0.1、γc : 1.0 (改善の余地あり)
14
![Page 15: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/15.jpg)
結果
• 定量的な評価については記述はない。
• 見た感じそこそこうまくいっている。
• ただし単色についてはうまくいくが、模様は崩れる。
15
![Page 16: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/16.jpg)
future work
1. カラースペースをRGBではなくLabにして行う。
2. 模様の説明が精度の向上に役立つか確かめる。
3. 服の画像(conditioningする画像)をembeddingすることでよりはやく学習を収束出来ないか分析する。
16
![Page 17: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/17.jpg)
実装の現状
• データはzalandのECサイトから取得。(9400ペアのデータ)
• KerasでCA-GAN実装done。
• 次週までにコードを整理する。
17
![Page 18: [DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Images](https://reader031.fdocument.pub/reader031/viewer/2022020301/5a64798d7f8b9a27568b48c3/html5/thumbnails/18.jpg)
参考
• The Conditional Analogy GAN: Swapping Fashion Articles on People
Images http://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w32/Jetchev_The_Condition
al_Analogy_ICCV_2017_paper.pdf
• [DL輪読会] The Conditional Analogy GAN: Swapping Fashion Articles
on People Imageshttps://www.slideshare.net/DeepLearningJP2016/the-conditional-analogy-gan-swapping-fashion-
articles-on-people-images
• Magic Mirror for Fashion Storeshttps://www.slideshare.net/metatechnology/magic-mirror-for-fashion-stores
18