DEEP LEARNING JP [DL Papers]

“The Conditional Analogy GAN: Swapping Fashion Articles on People Images”

Ryosuke Goto, VASILY, Inc.

http://deeplearning.jp/

2

• The Conditional Analogy GAN: Swapping Fashion Articles on People Images• 著者

• Nikolay Jetchev, Urs Bergmann• Zalando Research

• 選定理由• 服の着せ替えの仕組みをサービスとして実用化したい• 問題設定がシンプルでよい

書誌情報

3

• ドイツのファッションECサイト• ヨーロッパ各国に展開• 売上はzozotownの7倍• 技術ブログ• https://jobs.zalando.com/tech/blog/

Zalando?

4

• 入力xiとyiとyjの関係を学習し、xiとyjに対応するxijを生成するCA-GANを提案• 服を着ているモデルに別の服を着せ替えることができる

Abstract

• 利用するデータの種類• 置き撮り画像(Article)

• モデル着用画像(Human)

• ECサイトで入手しやすいペア• どんな商品でも用意されている• 集めるのが簡単

5

IntroductionArticle Human

6

• ファッションビジネスにおける課題• Humanは着用イメージが湧きやすいため、購買にとって重要• しかし、Humanの作成は高価で時間がかかる• 置き撮りから生成できると有り難い

Introduction

7

• バーチャル試着への応用• 服の3Dモデル作成の必要• 写真を取るよりコスト高• Articleから生成したい

Introduction

https://www.slideshare.net/metatechnology/ magic-mirror-for-fashion-stores

8

• CAGAN• xiとyi

Proposed Model

Article Human

9

• Generator• 入力• トリプレット

• 出力• 着せ替えイメージ

• フィルタ• Discriminator• 入力• Human, Articleのペア

Networks

Real/Fake

10

• 3つの損失関数を重み付けしたものを学習• cGAN（通常のGAN アーキテクチャ）• id loss （フィルターの学習に掛かる制約）• cycle loss （生成物を元に戻した際の差分）

Loss Function

11

• 各組み合わせをReal/Fakeで識別• 着せ替え後の生成物はFake

cGAN

12

• Generatorのアウトプット• フィルターと重ねる前のイメージ

• できるだけフィルター範囲を小さく取りたい

id loss

13

• 着せ替え後のモデルに元の服を着せる• 生成結果が整合性を保つために必要

Cycle Loss

14

• ADAM (lr = 0.0002)• minibatch: 16• 3つのlossの比: 1.0 : 0.1 : 1.0

• input 128×98 pixel image

Experiments

15

• 首周りもきちんと着せ替えできている• 着せ替え部分のみに反応するフィルターを獲得

Results

16

• 特定のHumanに様々なArticleを着せ替え• 横縞のようなtextureの着せ替えが苦手

Results

17

• 様々なHumanに特定のArticleを着せ替え• 顔が崩れる…

Results

18

• 手に入れやすいHumanとArticleのデータで、精度の高い着せ替えに成功• 色の着せ替えはうまくいく一方で、横縞などのtexsureの着せ替えが苦手• future work

• 今回は、背景が単純な画像のみのデータセット• 外で撮ったスナップ写真などはより難しいタスクになる

まとめ