[CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

101

Transcript of [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Page 1: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 2: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 3: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 4: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 5: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Research

Page 6: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 7: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014

ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016

PG 2016

On-Going

Page 8: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

PG 2016

PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014

ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016 On-GoingACM/EG SCA 2012 ACM/EG SCA 2013

Page 9: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

PG 2016

PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014

ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016 On-Going

EG-Short 2016 医療情報学 2014

Page 10: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

PG 2016

PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014

ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016 On-Going

ACM Trans. Graph. 2014

ACM Trans. Graph. 2015

PG 2016

Page 11: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

PG 2016

PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014

ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016 On-GoingACM UIST 2014 ACM CHI 2016 On-Going

PG-Short 2016

Page 12: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014

ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016

PG 2016

On-Going

Page 13: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Real-Time Example-Based Elastic Deformation Y. Koyama, K. Takayama, N. Umetani, and T. Igarashi SCA 2012

Page 14: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 15: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Interactive Deformation of Heart Models from Medical Images K. Nakashima, Y. Koyama, T. Igarashi, T. Ijiri, S. Inada, K. Nakazawa Eurographics 2016 Short Papers

Page 16: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 17: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 18: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 19: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 20: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 21: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 22: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 23: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 24: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 25: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 26: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

0

100

200

300

400

500

600

700

800

2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

Page 27: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 28: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 29: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 30: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 31: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 32: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 33: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 34: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 35: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Body Talk: Crowdshaping Realistic 3D Avatars with Words S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black SIGGRAPH 2016

Page 36: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 37: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 38: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 39: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 40: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 41: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 42: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

AttribIt: Content Creation with Semantic Attributes S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser UIST 2013

Page 43: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 44: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

「もっと怖く」「もっと強そうに」などの 言葉にもとづいた三次元モデリングが可能

Page 45: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Semantic Shape Editing Using Deformation Handles M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara SIGGRAPH 2015

Page 46: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 47: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

言葉に基づくスライダによる形状編集

Page 48: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

異なるトポロジでも適用可能

Page 49: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

A Similarity Measure for Illustration Style E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann SIGGRAPH 2014

Page 50: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 51: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

スタイルを考慮した画像検索

Page 52: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Style Compatibility for 3D Furniture Models T. Liu, A. Hertzmann, W. Li, T. Funkhouser SIGGRAPH 2015

Page 53: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 54: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

応用:スタイルの親和性を考慮した三次元モデル検索

Page 55: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Crowd-Powered Parameter Analysis for Visual Design Exploration Y. Koyama, D. Sakamoto, and T. Igarashi UIST 2014

Page 56: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 57: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 58: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 59: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Mirror Mirror: Crowdsourcing Better Portraits J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang SIGGRAPH Asia 2014

Page 60: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 61: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 62: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Body Talk: Crowdshaping Realistic 3D Avatars with Words S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black SIGGRAPH 2016

AttribIt: Content Creation with Semantic Attributes S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser UIST 2013

Semantic Shape Editing Using Deformation Handles M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara SIGGRAPH 2015

A Similarity Measure for Illustration Style E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann SIGGRAPH 2014

Style Compatibility for 3D Furniture Models T. Liu, A. Hertzmann, W. Li, T. Funkhouser SIGGRAPH 2015

Crowd-Powered Parameter Analysis for Visual Design Exploration Y. Koyama, D. Sakamoto, and T. Igarashi UIST 2014

Mirror Mirror: Crowdsourcing Better Portraits J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang SIGGRAPH Asia 2014

Page 63: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Body Talk: Crowdshaping Realistic 3D Avatars with Words S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black SIGGRAPH 2016

AttribIt: Content Creation with Semantic Attributes S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser UIST 2013

Semantic Shape Editing Using Deformation Handles M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara SIGGRAPH 2015

A Similarity Measure for Illustration Style E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann SIGGRAPH 2014

Style Compatibility for 3D Furniture Models T. Liu, A. Hertzmann, W. Li, T. Funkhouser SIGGRAPH 2015

Crowd-Powered Parameter Analysis for Visual Design Exploration Y. Koyama, D. Sakamoto, and T. Igarashi UIST 2014

Mirror Mirror: Crowdsourcing Better Portraits J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang SIGGRAPH Asia 2014

言葉や描写とデザイン要素の関係性を学習

Page 64: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Body Talk: Crowdshaping Realistic 3D Avatars with Words S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black SIGGRAPH 2016

AttribIt: Content Creation with Semantic Attributes S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser UIST 2013

Semantic Shape Editing Using Deformation Handles M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara SIGGRAPH 2015

A Similarity Measure for Illustration Style E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann SIGGRAPH 2014

Style Compatibility for 3D Furniture Models T. Liu, A. Hertzmann, W. Li, T. Funkhouser SIGGRAPH 2015

Crowd-Powered Parameter Analysis for Visual Design Exploration Y. Koyama, D. Sakamoto, and T. Igarashi UIST 2014

Mirror Mirror: Crowdsourcing Better Portraits J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang SIGGRAPH Asia 2014

言葉や描写とデザイン要素の関係性を学習

デザイン要素間の認知的な距離を学習

Page 65: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

Body Talk: Crowdshaping Realistic 3D Avatars with Words S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black SIGGRAPH 2016

AttribIt: Content Creation with Semantic Attributes S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser UIST 2013

Semantic Shape Editing Using Deformation Handles M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara SIGGRAPH 2015

A Similarity Measure for Illustration Style E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann SIGGRAPH 2014

Style Compatibility for 3D Furniture Models T. Liu, A. Hertzmann, W. Li, T. Funkhouser SIGGRAPH 2015

Crowd-Powered Parameter Analysis for Visual Design Exploration Y. Koyama, D. Sakamoto, and T. Igarashi UIST 2014

Mirror Mirror: Crowdsourcing Better Portraits J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang SIGGRAPH Asia 2014

言葉や描写とデザイン要素の関係性を学習

デザイン要素間の認知的な距離を学習

デザイン要素の美的評価基準を学習

Page 66: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 67: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 68: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 69: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

(x) =

1

1 + exp(x)

-3 -2 -1 0 1 2 3

0.5

1

(x)

Page 70: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

(x) =

1

1 + exp(x)

-3 -2 -1 0 1 2 3

0.5

1

(x)

Page 71: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 72: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 73: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

f( ) = 0.13

f( ) = 0.96

f( ) = 0.53

Page 74: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

f( ) = 0.13

f( ) = 0.96

f( ) = 0.53

f

Page 75: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

f(x) = w

Tx

x f

Page 76: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

f(x) = w

Tx

x f

f w,

Page 77: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

i Ai Bi

Page 78: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

i Ai Bi

A5 B5

Page 79: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

i Ai Bi

Page 80: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

i Ai Bi

f(x

iA) > f(x

iB) f

Page 81: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

i Ai Bi

f(x

iA) > f(x

iB) f

(f(x

iA) f(x

iB)

)f

Page 82: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

i Ai Bi

max

w

X

i2D

�f(x

iA) f(x

iB)

�f

f(x

iA) > f(x

iB) f

(f(x

iA) f(x

iB)

)f

Page 83: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 84: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

p(choose A over B) = (f(xA) f(xB))

Page 85: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

arg max

w{p(w|D)} = arg max

w{p(D|w)p(w)}

= arg max

w{log p(D|w) + log p(w)}

= arg max

w

(X

i2Dlog σ(f(x

iA)− f(x

iB))− λkwk1

)

p(choose A over B) = (f(xA) f(xB))

Page 86: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

arg max

w{p(w|D)} = arg max

w{p(D|w)p(w)}

= arg max

w{log p(D|w) + log p(w)}

= arg max

w

(X

i2Dlog σ(f(x

iA)− f(x

iB))− λkwk1

)

p(choose A over B) = (f(xA) f(xB))

Page 87: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

arg max

w{p(w|D)} = arg max

w{p(D|w)p(w)}

= arg max

w{log p(D|w) + log p(w)}

= arg max

w

(X

i2Dlog σ(f(x

iA)− f(x

iB))− λkwk1

)

p(choose A over B) = (f(xA) f(xB))

Page 88: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

arg max

w{p(w|D)} = arg max

w{p(D|w)p(w)}

= arg max

w{log p(D|w) + log p(w)}

= arg max

w

(X

i2Dlog σ(f(x

iA)− f(x

iB))− λkwk1

)

p(choose A over B) = (f(xA) f(xB))

Page 89: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

arg max

w{p(w|D)} = arg max

w{p(D|w)p(w)}

= arg max

w{log p(D|w) + log p(w)}

= arg max

w

(X

i2Dlog σ(f(x

iA)− f(x

iB))− λkwk1

)

p(choose A over B) = (f(xA) f(xB))

Page 90: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

arg max

w{p(w|D)} = arg max

w{p(D|w)p(w)}

= arg max

w{log p(D|w) + log p(w)}

= arg max

w

(X

i2Dlog σ(f(x

iA)− f(x

iB))− λkwk1

)

p(choose A over B) = (f(xA) f(xB))

Page 91: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

arg max

w{p(w|D)} = arg max

w{p(D|w)p(w)}

= arg max

w{log p(D|w) + log p(w)}

= arg max

w

(X

i2Dlog σ(f(x

iA)− f(x

iB))− λkwk1

)

p(choose A over B) = (f(xA) f(xB))

Page 92: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半

arg max

w{p(w|D)} = arg max

w{p(D|w)p(w)}

= arg max

w{log p(D|w) + log p(w)}

= arg max

w

(X

i2Dlog σ(f(x

iA)− f(x

iB))− λkwk1

)

p(choose A over B) = (f(xA) f(xB))

Page 93: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 94: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 95: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 96: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 97: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 98: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 99: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 100: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半
Page 101: [CEDEC2016] 大規模学習を用いたCGの最先端研究の紹介 - 前半