[DL輪読会]Beyond Shared Hierarchies: Deep Multitask Learning through Soft Layer Ordering

DEEP LEARNING JP[DL Papers]

NaokiNonaka,MatsuoLab

http://deeplearning.jp/

“BEYONDSHAREDHIERARCHIES:DEEPMULTITASKLEARNINGTHROUGHSOFTLAYERORDERING(ICLR2018)”

2018/3/1 1

2018/3/2 2

書誌情報

著者：Elliot Meyerson & Risto Miikkulainen(The University of Texas at Austin and Sentient Technologies, Inc.)

学会：ICLR 2018 Accepted paper (Poster) (7, 7, 6)

2018/3/2 3

背景

Improving Machined Surface Variation Prediction by Integrating Multi-Task Gaussian Process Learning with Cutting Force Induced Surface Variation Modelingより

Singletask

Multitask

マルチタスク学習関連する複数のタスクを同時に学習させることで，これらのタスクに共通の要因を獲得させ，タスクの予測精度を向上させる（朱鷺の杜Wikiより）

深層学習によるマルチタスク学習（Deep MTL）

2018/3/2 4

背景

（これまでの）Deep MTL⇒ 少数のタスク and/or 類似するタスクでしか解かれていない

（これまでの）Deep MTLの前提• 学習された変換はタスク間で共有可能【+ 暗黙的な前提】• タスク間での共有は，モデル構造により決まる

特徴量の階層において，平⾏する層間でのみ⾏われるL1

L3

L2

L2

L4

L3

L4

Task1 Task2

層の順序が不変層の順序が変わることを許可すれば，より柔軟なモデルが可能

2018/3/1 5

本研究で検証すること

Deep MTLにおいて，

üタスク間で層の順番が同⼀である必要性を検証üタスクごとに共有される層の順番を変更することにより，

精度が向上するかを検証

2018/3/2 6

先⾏研究

これまでのDeep MTLa. 関連するタスクを解く出⼒層を追加する⼿法b. タスクごとに層を重ね，並⾏する層の間を結合する⼿法c. ネットワークの中間層に出⼒層を追加する⼿法d. 全てのタスクで核となるパラメータを共有し，少数のタスク特異的なパラメータを置く⼿法

2018/3/2 7

検証

üタスク間で層の順番が同⼀である必要性を検証

L1

L3

L2

L2

L4

L3

L4

Task1 Task2

層の順序が不変

”Parallel ordering”

L1

L3

L2

L3

L2

L4

L4

Task1 Task2

層の順序を変更

”Permutated ordering”

2018/3/2 8

検証

タスク間で層の順番を固定しない”Permutated ordering”でも同程度の精度

2018/3/1 9

提案⼿法

üタスクごとに共有される層の順番を変更することにより，精度が向上するかを検証

ここまでのモデル“Parallelordering”⇒タスク間で層の順番を固定“Permutatedordering”⇒学習時に層の順番をあらかじめ固定

層の順番をタスクごとに学習する⼿法（”Softordering”）

2018/3/2 10

提案⼿法

2018/3/1 11

実験

1.提案⼿法によるDeep MTLの分類精度1.関連あるタスク2.（表⾯的に）関係のないタスク3.CNNへの拡張4.⼤規模データへの適⽤

2.“Soft ordering”を⾏なった層の可視化

2018/3/2 12

実験

L1

L3

L2

L2

L4

L3

L4

Task1 Task2

層の順序が不変

L1

L3

L2

L2

L4

L3

L4

Task1 Task2

独⽴で学習

”Parallel ordering”Single task “Soft ordering”

2018/3/2 13

実験

2018/3/2 14

実験

Iterationが増えると提案⼿法のErrorが減少

表⾯的には関係のなさそうなUCIのデータセットを同時に学習

2018/3/2 15

実験

CNNへの拡張Omniglot（50種類の⽂字群のそれぞれを個別のタスクとしてマルチタスク学習）

提案⼿法により精度が向上

2018/3/2 16

実験

⼤規模データへの適⽤CelebA（40種類の属性値がそれぞれ付与されるかを個別タスクとしてMTL）

提案⼿法により精度が向上

2018/3/2 17

実験

2018/3/2 18

今後の課題と結論

今後の課題• Recurrent構造との関連の分析• 共有している層の⼀般化• ⼀般化できる層の学習

結論• これまでのDeep MTLでは，層の順番が固定されていたが，

その制約を軽減する”Soft ordering”を提案• 複数のタスクにおいて，提案⼿法が既存⼿法を上回った

[DL輪読会]Beyond Shared Hierarchies: Deep Multitask Learning through Soft Layer Ordering

Technology

Transcript of [DL輪読会]Beyond Shared Hierarchies: Deep Multitask Learning through Soft Layer Ordering