CVPR 2015 読み会 "Understanding Deep Image Representations by Inverting Them"
CVPR 2011 ImageNet Challenge 文献紹介
-
Upload
narihira-takuya -
Category
Technology
-
view
1.232 -
download
0
description
Transcript of CVPR 2011 ImageNet Challenge 文献紹介
![Page 1: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/1.jpg)
CVPR/ICCV 2011 輪講2012/5/14なりひら
![Page 2: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/2.jpg)
紹介内容
●ImageNet challengeの2010,2011 Winnerの報告● 2010 NEC-UIUC (CVPR2011) 紹介● 2011 XRCE(CVPR2011) 概要紹介
●ImageNet Challenge 2012● Fine-Grained classificationが追加● 多分有力:Yao Bangpeng, Fei-Fei Liら
![Page 3: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/3.jpg)
ImageNet Challenge● 大規模データセットImageNetを使った画像認識コンペ
–
とんでもないクラス数
とんでもないサンプル数
![Page 4: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/4.jpg)
評価方法
● Ground Truth– N classes labels / image
● アルゴリズム
– Top 5 classes labels / image● 評価
– [ sum [5 classesとも当たっていなければペナ1 for n=1:N] for i=1:numImage ]
![Page 5: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/5.jpg)
j
ImageNet Challenge 2010 Winner
(Published in CVPR 2011)
![Page 6: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/6.jpg)
The Contribution of this paper
新しいアルゴリズムは目的じゃない
中規模データセット(PASCAL VOCなど)の時と同等の性能で
効率的大規模データセット問題を解くこと
1. Hadoopによる特徴抽出並列化2. 大規模データでのSVMの効率的な学習
![Page 7: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/7.jpg)
中規模データセットでのState-of-the-art
HoG (Shape), LBP (Texture)Multi-scale 16, 24, 32
LCC: Sparse codingより改善Super-vector: 高次特徴量
Poolingになんとなく位置情報
Feature mapping次第で線形でいける
![Page 8: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/8.jpg)
大規模に適用しようとすると(1.2M画像、1000クラス)
〜208日(一枚〜15秒)
250日 Liblinear, svnlight etc.
No more than 500px at either side
![Page 9: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/9.jpg)
ScSPM: Sparse coding + Spatial pyramid pooling
spatial max pooling CVPR2009 average pooling
Histogram max pooling multiscale max pooling
![Page 10: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/10.jpg)
LCC JinJun Wang et al, CVPR2010
Sparse codingよりも速く性能も高いcoding方法
解析的に係数が求まるので速い
![Page 11: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/11.jpg)
Super-vector coding
![Page 12: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/12.jpg)
特徴量の規模
ぐぬぅ…
![Page 13: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/13.jpg)
Feature extractionをHadoopで配列化
● 特徴量計算はサンプルで独立だから並列化しやすい
● 流行のHadoop使ってやったぜ
208日 → 2日(120 workers)
![Page 14: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/14.jpg)
詳しくはWEBで ぽち
![Page 15: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/15.jpg)
SVM学習
1000 クラス 1-vs-all binary classifiersを学習
前述のとおり特徴量はとんでもないサイズ
SVN^light LibSVMなどはBatch最適化だから無理
Stochastic Gradient DescentでやるAveragingバージョンは更に良い
1000クラスでmemory sharingするとI/O効率的
![Page 16: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/16.jpg)
SVMのコスト関数
正則化+ヒンジロス
![Page 17: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/17.jpg)
コスト関数の偏微分
![Page 18: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/18.jpg)
Stochastic Gradient Descent (SGD)
サンプルごとの勾配でwを更新
![Page 19: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/19.jpg)
Averaging Stochastic Gradient Descent (ASGD)
超シンプル大規模データでないと上手くいかないらしい
2次のSGDと同様な収束性能Hesseの計算の必要なし
ちょっとした計算テクニックも紹介
![Page 20: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/20.jpg)
ASGD SVMの並列化
● File I/Oがボトルネック(Readだけで19 hours)
● Bin classifier x 1000 を並列化
● データセットをメモリ共有
250日 → 4日(6x12 workers)
![Page 21: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/21.jpg)
Results
セット5の結果
![Page 22: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/22.jpg)
ASGD v.s. SGD● ASGD converged
very fast!
![Page 23: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/23.jpg)
性能
● Classification accuracy: 52.9%
● Top 5 hit rate: 71.8%
![Page 24: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/24.jpg)
![Page 25: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/25.jpg)
![Page 26: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/26.jpg)
ImageNet Challenge 2011 Winner (Published in CVPR 2011)
![Page 27: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/27.jpg)
ポイント
高次元特徴量(+線形識別器)を使うと性能良いのは知られている
しかし、高次元(Fisher Vector)を扱うのは大変
良い特徴量圧縮方法Product quantizationを使うHash Kernelよりも性能が落ちない
![Page 28: CVPR 2011 ImageNet Challenge 文献紹介](https://reader036.fdocument.pub/reader036/viewer/2022062304/559b561a1a28ab26298b460a/html5/thumbnails/28.jpg)
力尽き…