佐藤誠先生ご退職記念シンポジウム「パターン認識と人工現実感の４０年」

"おもしろい研究"への挑戦

神奈川工科大学情報学部情報メディア学科

白井暁彦

1

“VRエンタテイメントシステム”の研究者

IVRC国際VRコンテスト運営・国際化（2001年～)

“Manga Generator”学生のコンペ作品を研究に引き上げる

欧州最大の国際VR展 Laval Virtual デモ部門“ReVolution” Chair（2006～）

ゲーム技術を未来にアタッチしたい

多重化隠蔽映像[Scritter],[2x3D],[ExPixel]…

東工大佐藤誠研究室に2001年4月～2004年3月まで在籍

白井暁彦Photo in Laval Virtual 2015

3

4

君，おもしろいね…

白井をゲーム会社から引き抜いたときの佐藤先生のお言葉

5

白井「PlayStation4の時代にはＶＲが標準デバイスになりますよ！」（たぶん）

佐藤先生「そのときにSPIDARが…」

博士時代の思い出

博士以後の研究

何がおもしろい研究で、何が挑戦なのか？

6

“おもしろい研究”への挑戦

Fantastic Phantom Slipper (SIGGRAPH’98)Tokyo Institute of Polytechnics, Kume Lab.

先史時代の絵画からラスコー洞窟の壁画

15,000年前のクロマニョン人による

顔料も自作

遠近法を使用

そもそも何のために？

The author permits further using of the picture for private, public or commercial purposes. The author's name has to be mentioned in a visible manner. Inform the author where you use the picture

「あそび」の研究とその歴史

▼J.コラリー(洪,1870-1940)科学的遊び批判(1933)

1880 1890 1900 1910 1920 1930 1940 1950 1960 1970 1980 1990

▲H.スペンサー(英,1820-1903) 余剰説を生物学に展開(1897)

▼D.エリコニン(露,1904-1984)『遊びの心理学』(1978)

▼J.ホイジンガ(蘭,1872-1945 )『ホモ・ルーデンス』(1938)

▲S.ヴィゴツキー (露,1896-1934)『思考と言語』(1934)

▲J.ピアジェ (瑞,1896-1980)『新しい児童心理学』(1969)

▲M.ミンスキー (米,1927-)『心の社会』(1988)

-19世紀以前

中世，近代から現代(20世紀末)まで

▼R.カイヨワ(仏,1913-1978) 『遊びと人間』(1958)

「遊びの分類」が近代の傾向 発達心理学

年齢ごとの遊びの分類

「観察と分析」が現代の傾向

Research and its history of “Plays”

[ドイツ]ヴント「実験物理学の父」心理学を哲学から独立させ

社会との接点を持たせた(1887)

Wilhelm Max Wundt (1832-1920)

father of Experimental Psychology

★「カリアス書簡」…シラーと友人ケル

ナーとの手紙のやり取りによって構築され

た、美と芸術の理論化『人間の美的教育に

ついて』 (1795)。感性衝動と形式衝動の衝

動に加えて第三の遊戯衝動について深く言

及している。

Johann Christoph Friedrich

von Schiller (1759-1805)

思想家・詩人

[ドイツ]シラー「美学」美と芸術の源流思想における「遊戯衝動」について言及。『自由／余剰エネルギー』

Herbert Spencer

(1820-1903) 社会学者

「進化(evolution)」、

「適者生存(survival of

the fittest)」の語を生

む Marvin Minsky (1927-)

Artificial Intelligence

★子供は積み木遊びによって、多くの物理的法則を

発見していく。「子供は積み木で塔をつくるという

行為だけでも、高さと幅の独立性のようなことをた

くさん発見していかなければならない」…『心の社

会』より

Roger Caillois

(1913-1978)

★『ホモ・ルーデンス』に影響されて『遊びと人

間』を執筆した。遊びをアゴーン(競争)、アレア(偶

然)、ミミクリー(模倣)、イリンクス(眩暈)の4種類に

分類して考察している。

言語的問題を整理

多義性：中国語における「遊び」

欧州言語と同様な多義性を確認できる

「遊」 ･･･旅行する（出歩く）友達のところへ行ったり，一緒に旅行したりする．

「游」 ･･･泳ぐ→水面を浮くようにして泳ぐこと(「泳」は水中を潜行しておよぐこと)

「戯」 ･･･たわむれる→動作や言葉に重点がある

「玩」 ･･･もてあそぶ→愛でる．よい意味と悪い意味がある．

「弄」 ･･･たわむれる（手の動作に重点がある）その手段（触る，歩く，言葉，移動，泳ぐ)や対象によって，異なる語であることが興味深い．

例えば英語の「Play」は…？

「遊び」の成立

全ての特徴がそろっているときに「遊び」が成立，「遊戯状態」にあると定義する

遊び

隔離された活動

非生産的活動

虚構の活動

規則のある活動

未確定の活動

自由な活動

自己目的性の行為

いつでもやめられる

日常と非連続

現実世界に富を生まない

現実とは区別がつく

（写実でもよい）遊びの世界を支配する

＝先が読めない

選択の自由がある

＝「遊ぶために遊ぶ」

現代における問題

「遊びを崩壊させる遊び」の台頭＝「ゲーム」ではあるが「遊び」ではないもの

遊び

隔離された活動

非生産的活動

虚構の活動

規則のある活動

未確定の活動

自由な活動

自己目的性の行為

いつでもやめられる

日常と非連続

現実世界に富を生まない

現実とは区別がつく

（写実でもよい）遊びの世界を支配する

＝先が読めない

選択の自由がある

パチンコパチスロ

携帯電話

MMO/SNS

RMT リハビリ脳トレ

目的が別に存在

攻略本

ピアジェの「遊びの段階説」

感覚運動遊び(sensorimotor play)生後から1歳半～2歳ぐらいまで．感覚-運動的知能の獲得期．（＝外界を操作できるだけで楽しい,走っているだけで興奮する）

象徴的遊び(symbolic play)2歳～5,6歳まで．記号化から言語的想起まで．ごっこ遊び，空想，模倣遊びなど．

ルールのある遊び(rule play)おおむね7歳以降．思考の具体的操作，個人間の関係理解，世界観，因果と偶然が理解できる．ルールのある遊び，社会的遊び．

注：ピアジェはそれぞれの遊びが発現する年齢よりも「順序は逆転しない」という

特徴に注目している。

ピアジェの「遊びの段階説」

1.感覚運動遊び(sensorimotor play)

2.象徴的遊び(symbolic play)

3.ルールのある遊び(rule play)

•現代のビデオゲームのほとんどが[Rule play]以降である

•また「CEROレーティング全年齢」は「３歳児でもマリオカートが遊べる(＝危険でない)」という視点をとっている。

•これからは感覚運動遊びが重要な時代！

現代におけるディスカッションの必要性現代におけるディスカッションの必要性

「エンタテイメントシステム」とは何なのか？

定義 (Definition in this talk)

「人間の娯楽に作用するようにデザインされたコンピュータシステム」Computer systems that was designed to affect to human amusements.

ビデオゲーム，体感ゲーム，テーマパークアトラクション

メディアアート，科学館などの展示物，デジタルサイネージ

映画やDVDはかつては一部しか含まれなかったが，例えば「YouTube」や「ニコニコ動画は」ネットワークに接続された「娯楽に作用するようにデザインされたコンピュータシステム」といえる

16

Tangible Playroom

•博士時代の思い出

•博士以後の研究

•何がおもしろい研究で、何が挑戦なのか？

18

“おもしろい研究”への挑戦

神奈川工科大学着任まで…

NHK-ESでのポスドク

Global Illumination Renderer

奥行きカメラAxi-Vision

ワイヤードモーションコントロールカメラ

フランスENSAMでのVRテーマパーク開発

RoboGamer, GPUVision, AceSpeeder2

WiiMedia→書籍「WiiRemoteプログラミング」

国際VR作品公募展ReVolution立ち上げ

日本科学未来館での科学コミュニケーター

DCEXPO

3F常設展示「アナグラのうた」基盤技術・基本設計

東工大世界文明センター，ＩＣＵでの非常勤講師

19

博士以後の研究

20

任天堂「Ｗｉｉ」の衝撃(2006)

コードネーム「REVOLUTION」の予告映像より

歴史をふりかえる「遊び」の研究は現代に始まったものではない

哲学→文学→美学→実験物理学→生物学→社会学→心理学→人工知能（→工学）

過去の「遊び研究」に学び、定義をしっかり行わなければ遊び研究は「科学者の遊び」に。

科学者の遊びから“使える科学”にもっていきたい！！科学者の遊びから“使える科学”にもっていきたい！！

Slide

©Akihiko SHIRAI, Ph.D

書籍執筆

「WiiRemoteプログラミング」

（オーム社開発部）(著)白井 暁彦, 小坂 崇之, くるくる研究室, 木村 秀敬単行本: 400ページ 2,940円

ISBN-10: 4274067505

単なるWiiRemoteのハッキングではなくインタラクティブ技術の教科書。

日本科学未来館『アナグラのうた～消えた博士と残された装置～』レーザーセンシングによる非装着体験者追跡，複数プロジェクタによる大規模な没入空間，自動生成楽曲などにより情報科学の未来を楽しく伝える

情報学部情報メディア学科

エンタテイメントシステムの研究室

ＩＶＲＣを通した教育機会→産業へ

多重化隠蔽映像

おもしろさを測る

27

神奈川工科大学での研究

全身動作・実世界指向エンタテイメントシステム

「瞬刊少年マルマル」(IVRC2012作品) http://blog.shirai.la/ivrc2012

差分画像Ａ

隠蔽用画像Ｂ

プロジェクター２台

多重化隠蔽画像

偏光板2種

多重化･隠蔽画像システム「ScriterH」

差分画像A 隠蔽用画像B

隠蔽画像生成プログラム宇津木健,長野光希,谷中一寿,白井暁彦,山口雅浩,「多重化映像表示における隠蔽映像生成アルゴリズム」,第15回日本バーチャルリアリティ学会大会論文集(2010.9.15)※論文リストは http://blog.shirai.la/publications

30

GPU上のリアルタイム処理

実用化事例「ニコニコメガネ」

31

グーグルグラスなんてもう古い!? 「多重化隠蔽映像」技術を駆使したニコニコメガネが登場！

http://www.gizmodo.jp/2013/04/_chokaigi_niconicomegane.html

UbiCode

次世代カラオケエンタテイメント

コンテンツを阻害しないメニュー表示

プライバシー保護

隠蔽入力画面の利点

メインディスプレイ

隠蔽入力画面

インタラクションF/B

PARAOKE• “Parallel Augmented Reality for Audience-Oriented Karaoke

Entertainment”• 聴衆志向のカラオケエンタテイメントのためのパラレルAR

• カラオケ歌詞＋ダンスゲーム＋カロリー表示• 動画URL http://www.youtube.com/watch?v=yvUY-ZJkwPc

新型デバイスの考案

Fil-Con

ディスプレイに電源を用いない

大画面である

耐久性が高い

Fil-Conの利点

多重化隠蔽された画面での使用を目的としたデバイス，隠蔽された画面で操作を

行うことができる

レーザー加工によるプロトタイピング

エンタテイメント

ユーザーＡ

ユーザーＢ

ユーザーＣ

多重化カラオケエンタテイメントシステム

エンタテイメントの享受を参加者全体が受けられる

ＡＢＣ

歌唱者

ダンサー

エンタテイメントARシステムの可能性

2-3 ハイブリッドシアター[2x3D]

ハイブリッドシアター[2x3D]

2-3 ハイブリッドシアター[2X3D]

視差もしっかり出ています

次世代多重化技術「ExPixel」

あのホリエモンも注目…

IT業界の

IT業界の注目の人物を紹介する

「ホリエモンWITH」にて特集

http://horiemon.com/talk/7346/

Related Works: Multiplex display Direction based separation

“Bois-Clair” (Gaspar Antoine, 1692)

“Vari-Vue” (Victor Anderson, 1962)

“Lumisight Table”(2005), ”UlteriorScape” (2008) by Kakehi

Time/Shutter based technologies “Snared illumination” (fakespace lab, 2004)

“ThirdEye” (Pranav Mistry, 2009)

“SimulView” (SONY, 2010-)

Polarization based technologies “FairyFinder” (Hachiya, 2005)

“Mysterious Pond”, “A visibility control system for collaborative digital table” (Kitamura, Sakurai. 2009)

Hidden but not shown for naked eyes Patent: JPA2005-092227 (Semiconductor Energy Lab, 2005)

45

46

47

小出雄空明，白井暁彦, "LCDプロジェクターを用いた偏光によるステレオ立体視のための画質向上アルゴリズム", 情報処理学会第75回全国大会 2013年3月6日～8日

田口裕起，鈴木久貴，白井暁彦, "多重化不可視映像技術（第2報）－FPGAを用いたハードウェア化－", 一般社団法人電子情報通信学会信学技報SIS2014 (2014-12-18)

白井暁彦，鈴木久貴，田口裕起, "ゲームの次元を拡張する次世代多重化映像技術「ExPixel」", コンピュータエンターテインメントデベロッパーズカンファレンス2014(CEDEC2014)

鈴木久貴，白井暁彦：多重化不可視映像技術（第1報）―民生品ステレオ3Dフラットパネルでの実現―，第19回日本VR学会大会予稿集（2014） 上石悠樹 , 岡本遼 , 小瀬由樹 , 三上雄太 , 白井暁彦 : "球体ディスプレイとモーション入力を用いた科学コンテンツのエンタテイメントシステム化と展示評価手法", エンタテインメントコンピューティングシンポジウム2014論文集, (2014-09-12)

白井暁彦: "3Dディスプレイに付加価値を与える多重化隠蔽映像技術", 応用物理学会・日本光学会・微小光学研究グループ第131回微小光学研究会招待講演, 6pages, , , 2014年3月5日

藤村 航, 小出雄空明, 國富彦岐, 田口裕起, 鈴木久貴, 白井暁彦: "直線偏光による多重化隠蔽型ハイブリッド3Dディスプレイにおける画質評価", 映像情報メディア学会技術報告立体映像における人間工学的研究，及び立体映像技術一般（ヒューマンインフォメーション研究会共催） , pp.35-38, vol. ITE-38, no. 11, 2014.2.27

小出雄空明，藤村航，國富彦岐，田口裕起，鈴木久貴，白井暁彦: "液晶フラットパネルにおける多重化隠蔽映像の試行と実現", 映像情報メディア学会技術報告 -立体映像における人間工学的研究,及び立体映像技術一般, pp. 39-40, vol. ITE-38, no. 11, 2014-02-27.

多重化不可視映像技術（第3報）―普及型ディスプレイにおける視聴特性評価―，鈴木久貴, 鈴木百合彩, 津田良太郎(神奈川工科大学), VimuktalopPinyapach, Jaruthien Nine(Chulalongkorn University), 白井暁彦，第20回日本バーチャルリアリティ学会大会

Augmented TVを使ったテレヒ視聴者の身長推定，鈴木百合彩(神奈川工科大学), 川喜田裕之 (NHK放送技術研究所), 鈴木久貴, 白井暁彦(神奈川工科大学), 上原道宏, 中川俊夫(NHK放送技術研究所)，第20回日本バーチャルリアリティ学会大会

ミュージアムのための多重化サイネージシステムの提案森拓也，岡本遼，鈴木久貴，白井暁彦, Entertainment Computing 2015

裸眼立体視技術を応用した多重化映像技術の提案，鈴木久貴, 白井暁彦, 谷中一寿，ITシンポジウム2015

発表論文リスト(2013-2015)

(1)ニコニコ超会議2にて「ニコニコメガネ」を招待展示

(2)経産省Innovative Technologiesに採択，DCEXPO2013にて「2x3D」を展示

(3)研究成果2作品が先端技術館＠tepiaで常設展示化

(4)テレビの多重化を可能にする汎用ソフトウェア「ExPixel」の開発に成功

(5)裸眼とメガネ装着で全く異なる映像を見せられる「ExPixel」技術

論文以外の成果(2013)

[2014/8] CEDEC2014 [2014/10]多重化クリエイソン [2015/4] Laval Virtual Award [2015/4] ニコニコ超会議2015ニコニコ学会β「金賞」

[2015/6]多重化スプラトゥーン!! [2015/10] DCEXPO 2015 [2015/11] SIGGRAPH ASIA 2015 Exhibition [2016/3/1]研究成果発表会「エンタテイメントシステム工学研究会」

論文以外の成果(2014-2015)

2015年度卒業研究一覧

鈴木百合彩「Augmented TVにおける年齢推定機能の開発と評価」

森 拓也「ミュージアムのための多重化サイネージシステムの提案」

松澤 孟「スマートウォッチによる睡眠習慣改善システムの開発」

岡本 遼「超人スポーツのためのボクシングトレーニングツールの開発」

中澤 遥「新しいマンガ表現のための瞳デザインツールの提案」

安藤 歩美「マンガ没入型VRエンタテイメントシステムの長期展示を通したプレイヤデータの集合知化」

津田 良太郎「笑顔認識技術を利用したエンタテイメント体験の客観評価手法」

W. James1842-1910

52

背景・笑顔研究の歴史

「人は幸福であるがゆえに笑うのではなく，笑うがゆえに幸福である」 (W. James : 1895)

笑いが人体に良い影響があることが明らかに「医療看護の場でのユーモアの意味と効用 ; 「笑い療法」を中心に」(中川 : 1989)「健康における笑いの効果の文献学的考察」(三宅ら : 2007)

“感情”と“表情”の結びつきFACS(Facial Action Coding System)(P. Ekman : 1978)

笑顔の訓練が活発化・トレーニングシステム登場「笑顔促進支援システム : Happiness Counter」(辻田，暦本ら : 2011年)]

個人認証やセキュリティに利用USJ年間パスポート(NEC「NeoFace」)Lenovo「VeriFace」，「FastAccess」(2011)Microsoft「Window Hello」(2015)

製品として普及SONY「Cyber – Shot スマイルシャッター」(2007)Intel RealSense, Kinect v2, Omron HVC-C(2014)

笑顔は微笑み(smile)と笑い(laughter)に大別「目と口の動きの追跡による笑顔の分類」(片岡ら : 2001年)表情・喉・腹に着目した笑い測定システムを用いて8パターンに類型化(森下ら :2008年)

笑顔の物理評価・笑顔を計測する試み「魅力的な笑顔に表れる幾何学的特徴」表情矩形の縦横比が黄金比(井口ら : 2007年)「リアルタイム笑顔度推定」事前登録を必要としない高速な笑顔認識を実現(小西ら : 2008年)

笑顔の哲学 笑顔を計測する 製品化・一般へ普及哲学から心理学・医学の分野へ

哲学的・心理学的・医学的

技術的

1900年以前 1970-1990年頃 2000年代 2010年代

53

佐藤先生はいつも笑顔に見える

～博士時代の思い出～

54

その実は，笑っていないことも多かった…

品質，ノウハウ，国立大学思考

博士は「強いベクトル」x3なのか，コントロールフィールドなのか

大型2種免許（人を乗せて新しい場所に連れて行くのに必要な免許）

知能システム科学での最終諮問「人類においてどのような意味を持つか？」

しつこくやること

55

佐藤研で学んだ“博士”とは

56

その実は，笑っていないことも多かった…

57

白井「PlayStation4の時代にはＶＲが標準デバイスになりますよ！」（たぶん）

佐藤先生「そのときにSPIDARが…」

1st 3D Craze（the1950s)

Dawn ofVR

(the1960s)

1940 1960 1980 2000 20201920

Dawn of 3D

（the1920s)

2nd 3D Craze（the1980s)

3rd 3D Craze（the2010s)

2ndVR Wave(the2020s)

?1st

VR Wave(the1990s)

movie movie

Theme-park

computer

game

TV

movie movie

Susumu Tachi: From 3D to VR and further to Telexistence, Proceedings of the 23rd International Conference on Artificial Reality and Telexistence(ICAT), Tokyo, Japan, pp.1-10 (2013.12)

しつこくやるの大事！

1st gen “Scritter”Multiplex

2nd gen“ScritterH Multiplex Hidden

3rd gen on LCD Projector

4th gen on Flat Panel

5th gen Public Media

2010 2012 2014 2016 2018 2020

A. Shirai 2015.8.10

Multilanguage Presentation, education application

▲Medial appli.

▶ “PARAOKE”(2012)

◀ 4K/240 inch large screen(2010)

◀ “Scritter” by Koki Nagano (2010)

▲ “2x3D”, Hybrid theater （2012）▲ “UbiCode”Interactivity for digital signage （2012）

▶ private on public signage

◀「ニコニコメガネ」(2013)

60

Georg Wilhelm Friedrich Hegel« Vorlesungen über die Ästhetik »

(Lectures on Aesthetics) 1835–8

1. Architecture

2. Sculpture

3. Painting

4. Music & Dance(=performing art)

5. Poetry

Definition of “Arts”

Modern philosophy in

https://fr.wiktionary.org/

6. Photography

7. Cinema

8. Television & Drama (=Broadcasting)

9. Bande dessinée, Manga, Comic

10. Video Game

ラスコーやショーヴェの洞窟は現代ではアートか教科書にしか見えない

きっと初音ミクも1000年ぐらい経てば、アートか特異点にみえるはず

突然紙が緑の芸能人が年間数百曲の曲をリリースする

今の世の中の人間には「不可能」「ボカロやUCGのおかげ」と理解できるが

きっと未来から見ると、そんな技術の進歩の違いは見えてこない

とはいえ2020年には21世紀も1/5は終了

人々がそれぞれレガシーメディアに固執し続ける時代

不可能なことがなくなる時代（魔法と認識される仕組みだけが残る）

実は「映像の世紀」もしくは「戦争の世紀」の車輪になるのでは

人間が「おもしろい」と思う仕組み解明（白井の興味）

家族、性、生といった人間性の意味を探求したい

ライブで人と会ったり見たりすることの重要性とコスト（ライブは死なない）

メディアアートは人と人との関係性（と信じている）

近い将来「年賀状」はメディアアートになっているだろうな

→そうなるとたとえば、

「お葬式」を現実の世界の生き死にとは関係なく楽しめる、

といった世界が2050年ぐらいにアート（が融けて）産業になるぐらいの

世の中が来ていれば平和だなあと思います。62

最近考えていること

63

佐藤先生ありがとうございました！