#FTMA15 第七回課題全コースサーベイ

Augmented reality flavors: gustatory display based on edible marker and cross-‐modal interac9on Takuji Narumi, Shinya Nishizaka, Takashi Kajinami, Tomohiro Tanikawa and Michitaka Hirose

先行研究と比べてどこがすごい？

どんなもの？

味覚を拡張現実として再現したもの。

技術や手法のキモは？次に読むべき論文は？

議論はある？

どうやって有効だと検証した？

味覚を表現するディスプレイはこれまで一部で議論こそされていたが実装はなされていなかった。

味の感知の強い要因として見た目と匂いがあることを利用してARマーカーをクッキーにプリントし、そのマーカーに応じた匂いのする空気をユーザーに嗅がせている。

被験者にリストの中から味を選んでもらった後でプレーンなクッキーとの味の違いを感じるか、何の味か、どのくらいはっきりと感じるかを聞いた。8割の人が味の違いを感じるという結果が出た

視覚と嗅覚それぞれが味覚に与える影響は分からなかったが影響を与えることは分かった

Edible Bits: Seamless Interfaces between People, Data and Food.

Edible Bits: Seamless Interfaces between People, Data and Food

Dan Maynes-‐Aminzade Stanford University

Edible User Interface (EUI) についての紹介。例としてメモリやネットワークの状態をjellybeansで表現したBeanCounterとスクリーンを特定の味のする液体で薄くコーティングするTasteScreenをあげている。

Food Simulator: A Hap9c Interface for Bi9ng Hiroo Iwata, Hiroaki Yano, Takahiro Uemura and Tetsuro

Moriya Ins@tute of Engineering Mechanics and Systems,

University of Tsukuba

ある特定の食べ物を噛む音や噛む力を記録し、それを元に食感と音と

味を再現するもの。

"Taste-‐smell confusions" and the duality of the olfactory sense

PAUL ROZIN University of Pennsylvania, Philadelphia, Pennsylvania

食べている時鼻から抜ける香りと食べ物そのものの香りの違いについてとそれが味に与える影響から匂いの特性について考察したもの

Mul9sensory flavor percep9on: Assessing the influence of fruit acids and color cues

on the percep9on of fruit-‐flavored beverages

Massimiliano Zampini a,b,c,*, Emma Wantling d, Nicola Phillips e, Charles Spence

フルーツ飲料の液体の色とフルーツ酸が味の知覚に与える影響について

調査した論文

Does Food Color Influence Taste and Flavor Percep9on in Humans?

Charles Spence & Carmel A. Levitan & Maya U. Shankar & Massimiliano Zampini

食べ物の色が味や匂いの知覚に与える影響について調査した

"It's Mine, Don't Touch!": Interactions at aLargeMulti-Touch Display in a City CentreCHI 2008 Proceedings · Multitouch and Surface Computing Peter Peltonen, Esko Kurvinen, Antti Salovaara, Giulio Jacucci, Tommi Ilmonen, John Evans, Antti Oulasvirta, Petri Saarikko

どんなもの？


技術や手法のキモはどこ？どうやって有効だと検証した？

論議はある？次に進むべき論文は？

野外でもマルチタッチディスプレイが安定して動くようにした.公共空間で動くディスプレイの相互作用.利用者の共通した言動等を見る．

An emperical comparison of pie vs.Linear menus.とか

公共に利用されるグループ用途のアプリケーション規範は古いため，新しい規範の確立を考えて行っている.小規模なグループで使うタッチディスプレイではなく，パブリックスペースで使うタッチディスプレイであること．

ヘルシンキとフィンランドの中央に,8日間大きなタッチディスプレイを置いて，1199人の利用について詳細なデータの報告.

公共の野外に設置したマルチディスプレイで，年代順に写真を並べてもらう．

論文URL: http://dl.acm.org.ezproxy.tulips.tsukuba.ac.jp/citation.cfm?id=1357255

論文URL: http://dl.acm.org.ezproxy.tulips.tsukuba.ac.jp/citation.cfm?id=1124952

Cooperative Gestures:Multi-User Gestural Interactionsfor Co-located Groupware

CHI 2006 Proceedings • Gestures and VisualizationsMeredith Ringel Morris*, Anqi Huang**, Andreas Paepcke*, Terry Winograd*

少人数グループでの共同作業時でマルチタッチ相互作用,協力的なジェスチャーの研究.

どんなもの？

Position-Based Fluid Control

3Dモデルを土台とした流体シミュレーション

先行研究との違い

技術や手法のキモ

リアルタイムの素早く大きい変形に対応、さらに必要なものがメッシュモデルとアニメーションボーンのみ

検証方法

様々な形のオブジェクトで実験を重ねた

結論

思っていたシミュレータが完成した。処理速度も非常に早い。拡張性もめっちゃある。

次

なんだろう

素早いリアルタイムの変形にも対応できる

Adaptively sampled particle fluids

パーティクルベースの流体シミュレーションアルゴリズムの設計。幾何的に複雑な状態においても綺麗に動く。

Target-driven smoke animation.

何かしらのある形に変形する煙を作成するアルゴリズムの作成

Practical Animation of Liquids

流体シミュレーション。特により自然なアニメーションの再現にこだわっている（結構初期の研究）

Position Based Fluids

圧縮できないような環境でも安定して、かつリアルタイムでの流体シミュレーションを可能とするアルゴリズムの開発

Unified Particle Physics for Real-Time Applications

最近流行りの単一化アルゴリズムを気体や液体などにもリアルタイムで適用できるようなアルゴリズムの作成


どんなもの？

次に読むべき論文は？どうやって有用だと検証した？

技術や手法のキモはどこ？議論はある？

ARと物理シュミレーションそれぞれはたくさんの研究があるが、実際に配置した現実の物体の動きをシュミレートする点

スマートフォンのアプリとして製作し、手軽に確認ができるようにし検証を行った。

Jones, B. R., Benko, H., Ofek, E., Wilson, A. D., IllumiRoom: peripheral projected illusions for interactive experiences, In Proc. CHI ‘13, 2013.

グラフィック（見た目）部分に関してまだ改善の余地があり、他にも要約された情報を提供できるようにしていきたい。

実際の物体をつつくことでその物体を動かした場合のシュミレーションができたり、内部のセンサの値から傾きに対する反応も見れる。

配置したブロックの次の動きをARを使った物理シュミレーションで確認することができる。

201411399 長田一馬（人間コース）7

どんなもの？

先行技術と比べてどこがすごい？

技術や手法のキモはどこ？


議論はある？

次に読む論文は？

画像をアスキーアートに変換する技術。手で打ち込んだかのように繊細にできる。

今までのアスキーアートは表示する環境によっては字が乱れてしまうことが多かったが、正しい並びで表示することができる。また、tone-basedとstructure-basedの両方を表示することができる。

アスキーアートを画像として変換することはできたので、今度は動きが出せるように研究することに価値があるのでは？

アスキーアーティストが形を崩す様子を参考にし、大量の画像をアスキーアートに変換してその効率の良さを調べた。

Articulated swimming creatures SIGGRAPH 2011

画像を細かく格子状に分解し、それぞれのセルに適切な文字を対応させた点。

イラストをベクトルでアニメーションに直す技術。

手描きのスケッチをパーツごとに認識できる。

Data-driven Segmentation and Labeling of Freehand Sketches

紙や衣類のシワの様子をシュミレーションできる。ケンカを高画質なＣＧで

シュミレーションできる。

Compu&ng Smooth Surface Contours with Accurate Topology

• 検証

人型、うさぎなどの動物型オブジェクトの描画によって検証

• 議論の余地

他には輪郭をわざと誇張して描画させる手法があり、そちらはスムーズさに欠けるが一本一本の輪郭線を安定して描画できる

• 次に読むべき論文

Programmable Rendering of Line Drawing from 3D Scenes (予定)

• どんなもの?3Dモデルの輪郭をスムーズに描画するための手

法

• 新規性従来の手法よりも綺麗で正確に描画することがで

き、モデルを動かした時の描写にも対応している

• 手法の肝

従来のメッシュによる手法を様々な視点から行い、それにより描画された輪郭(mesh contours)の情報を多く収集することにより、動画でも静画でもより自然に描画させている。

201411465 冨永洋平 (人間コース)

Ac>ve Strokes: Coherent Line Styliza>on for Animated 3D Models

• アニメーションの線画を抽象化・様式化する手法

Synthesis of Complex Dynamic Character Mo>on from Simple Anima>on

• 3Dオブジェクトを解析して、立体感を失わないように色合いのデフォルメを施して、2D化するための基準となる線を計算する手法

Human-level control through deep reinforcement learning

どんなものか


技術のキモはどこか


議論はある？

次に進むべき論文は？

時間的に拡張していく戦略ゲームについてはこのエージェントでは難しい。評価値ではなく学習時間など？

Playing Atari with Deep Reinforcement Learning

深層学習と強化学習を用いた人工知能(ここではエージェント)を進化,非常に最小限の予備知識と異なる環境の範囲内で制御のポリシーを学ぶことができる.atari2600での実証

Atari の49種類のゲームを用いてスコアを評価,学習結果によるスコアはマスターレベルの人間と同等または上回る結果を得られた.学習速度も計測.

「Playing Atari with Deep Reinforcement Learning」で紹介したものより汎用的に,評価実験をの種類を増している. 対比するとend-to-endの強化学習の’報酬’が断続的なたたみ込みニューラルネットワーク(Convolutional Neural Network)を構築するために利用されている

ゲームのピクセルとゲームスコアの入力だけで学習していく

An Analysis of Temporal-‐Difference Learning with Func;on Approxima;on

無限期間においてマルコフ連鎖によって動的費用関数は時間差学習アルゴリズムによって近似し適用で

きるかについて議論

既約非周マルコフ連鎖で適用した時の、線形関数近似の学習の時間的な差の収束を確立

Deep Auto-Encoder Neural Networks in Reinforcement Learning

強化学習とニューラルネットワークでのオートエ

ンコーダの有効性を評価

　タスクに依存する情報を利用して特徴空間のトポロジーを改善する手法の提案

合成画像と実画像を用いて、学習の結果を提示。

Marc G. Bellemare　Joel Veness　Michael Bowling Sascha Lange and Mar;n Riedmiller

非線形関数のダイバージェンスでの近似例

ImageNet Classification with Deep Convolutional Neural Networks

ImageNet LSVRC-2010のコンテスト課題

120万の高解像度の画像を分類するために 1000個の異なるクラスにDeep Learningと

Convolutional Neural Networkを用いた大規模なネットワークをトレーニング

ImageNet LSVRC-2012で上記に加え改善過学習を回避するためにDropOutを実装

非飽和ニューロンとGPU畳み込み演算の

インプリメンテーション

Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern

Recognition Unaffected by Shift in Position

視覚パターン認識のメカニズムのためのニューラルネットワークモデルの提案

自己組織化ニューラルネットワークモデル

ニックネーム“neocognitron” 視覚神経系の階層モデルに類似した構造

2次元または3次元マップ内の各データポイントに ‘場所’を与え高次元データを可視化する「T-SNE」と呼ばれる新しい手法を提案

多種多様なデータセットに対して

「T-SNE」の性能を実証

Visualizing Data using t-SNE

どんなもの？

　一人称視点の動画から、カメラを滑らかに動かしたかのようなタイムラプス動画を作成する

他と比べてどこがすごい？

　これまでの手法では対応していない動画でも、よりなめらかなハイパーラプスを作成可能

技術のキモ・手法は？

・運動からの形状復元(SfM)技術・カメラ経路を決めるための、新たな最適化手法・イメージベースレンダリング技術・マルコフ確率場(MRF)を用いた、複数のソースフレームから最終的なフレームの合成手法

次に読むべき論文は？

議論・結論は？

コンセプトの実証に重きをおいていたため実行速度は遅いく高速化が必要　また、より良いシーン理解が求められるが、この研究で1ステップ前に進んだと考える

IM2GPS

どうやって有用だと示した？

カメラとしてGoPro,Hero2 ,Hero3を用いて、バイクやクライミングなどの6つのハイパーラプス動画を作成し、他の手法ではエラーが起きるような動画にも対応していることを示した

SIGGRAPH,2014

共著者であるSZELISKI, Rが参加していた研究。規則的でない写真の集まりに対し、撮影された位置と視点を再構成することで、インタラクティブな写真探索が可能な新しいシステムを提案した。

上の研究の続きとなる研究で、スクロールに用いる軌道や写真間の最適経路などを自動的に計算し、その動きをシステムに追加した。

SIGGRAPH,2006

SIGGRAPH,2008

これもSZELISKI, Rによる研究。複数の入力画像から滑らかな1つの出力画像を作り出すための手法を提案している。パノラマ画像の作成も行った。

運動からの形状復元(SfM)アルゴリズムは通常𝑂(𝑛↑4 )のコストがかかるが、この研究では、精度と速

度のバランスを取る新しい手法により、 𝑂(𝑛)のコストですむSfMを提案している。

3DV,2013

ICCV,2005

複数のカメラ経路の束を用いた、新しい動画安定化手法を提案した。この手法のポイントは、歪みを用いた動きの表現と、時空間の経路最適化である。

SIGGRAPH,2006

どんなもの？どうやって有効だと検証した？

先行研究と比べてどこがすごい？議論はある？

技術や手法のキモはどこ？次に読むべき論文は？

Stress Relief: Improving Structural Strength of 3D Printable ObjectsOndrej Stava 1, Juraj Vanek 1, Bedrich Benes 1, Nathan Carr 2, Radomír Měch 2 1 Purdue University, 2 Adobe Systems Incorporated

3Dプリント物の構造強化。高負荷になる部分を検出したら，空洞化, 肥厚化, 支柱追加を組み合わせてモデルを改善する。

「幾何学的な自動補正」技術と「物理ベースの分析」技術の両方が統合されたシステム

以前は、構造上の問題を検出できても、補正は手動だった。本手法では、応力的に問題のある部分を検出した後、見た目に影響が少ないアプローチを選んで、自動で改善モデルを作る。

入力モデルと改善モデルの両方を3Dプリンタで実際に出力して、壊れなくなったことを確認。さらに改善後の出力物を解析して、応力を緩和するのに十分な補強がなされていることを確認。

（構造解析）非均一な素材への対応は？洗浄時の負荷を評価するには？

（補強）　　見た目の変化の許容範囲は？ヒンジ、ベアリングなど動くパーツへの対応は？

[Allaire and Jouve 2008] Minimum stress optimal design with the level set method

https://www.youtube.com/watch?v=J8bPXk5od4I

http://dl.acm.org/citation.cfm?id=2185544

Generative Fluid Profilesfor Interactive Media Arts Projects Angus Graeme Forbes, Tobias Hollerer, George Legrady

どんなもの？どうやって有効と検証した？

先行研究と比べてどこがすごい？議論はある？


様々な指の動きや変数の変化を通じて、作られる液体シミュレーションの結果を示す。

インタラクティブ液体シミュレータを使うことによって新しい作品が作られると見込んでいる。このシステムをメディアアーティストが発展させることもできる

ようになっている。


まだ具体的には決まってないが、インタラクティブメディアアート系の論文

小数の変数を変えることで、様々な液体シミュレーションを実演しうるプロファイルを作成し、簡単に共同芸術

作品を作り出せること。

液体シミュレーターを用いてメディアアーティスト達がどのように作品を作っていけるかを例を示しながら説明して

いく。

リアルタイムで双方向的に液体のシミュレーションとベクトルの表示を行う技術。メディアアートの共同作成を想定。

Structured Annotations for 2D-to-3D Modeling

エッジまたは比較的平坦な表面や棘をモデル化出来ない。細かいものをモデル化するのに適していなく、色を指定することが出来ない。また、現実では可能である曲面の接続が出来ないものが存在する。

ANDRE, A., SAITO, S., AND NAKAJIMA, M. 2007. CrossSketch: Freeform surface modeling with details. In Eurographics Work- shop on Sketch-Based Interfaces and Modeling (SBM), 45–52.

2Dスケッチから、3Dをモデリングする。絵中のキャラクターを三次元化する。

モデリングする際、回転しなくても三次元モデルをつくることが出来る。

二次元モデルから三次元モデル全体へモデリングする際のプロセスが簡単であり、持続性がある。



議論はある？


どんなもの？

Acoustic Barcodes: Passive, Durable and Inexpensive Notched Identification Tags

バーコードが長くなると正確性が減少してしまう。

Rekimoto J., and Ayatsuka, Y. CyberCode: designing augmented reality environments with visual tags. In Proc. DARE'00. 1-‐10.

バーコード状の溝を爪やコイン等でなぞった時に出る音からデータを得ることができる技術

一般的なvisual markersより小さく、巧妙にでき、また多種多様な材料に組み込むことができる。

安価なマイクでも波形をとらえて読み込める。



議論はある？


どんなもの？

溝の間隔の距離を調整するによって、それぞれのデータを信号化する。

動画：hHps://www.youtube.com/watch?v=NB_UoJGd5-‐E BCH符号を用いてエラー訂正にあてるbit数を減らした。

Chris Harrison, Robert Xiao, and Scott E. Hudson　UIST’12

A Programmable System for Ar1s1c Volumetric Ligh1ng Derek Nowrouzezahrai Jared Johnson Andrew Selle Dylan Lacewell

Michel Kaschalk Wojciech Jarosz

どんなもの？物理法則に即した光線のシミュレーションをアーティストが任意にデザインしてプログラムできる。

どうやって有効だと証明した？プログラムに使われている数式の値を変えて、光の散乱の度合いを検証。

先行研究と比べてどこがすごい？アーティスティックでアニメチックかつ物理法則にのっとった光の再現ができる。

議論はある？アーティストにとってより直感的でより効率的な、操作のしやすい設計にする。

技術や手法のキモは？色や形をアーティスト好みで自由にデザインできつつ、物理法則上自然な仕上がりになるようにプログラミングされる。

次に読むべき論文は？ Point-‐based approximate color bleeding (Pixar Technical Memo)

hGp://www.cs.dartmouth.edu/~wjarosz/publicaLons/

nowrouzezahrai11programmable.html

どんなもの？タブレットなどの操作時、、絵を描くときんなどに手を画面に置いて描くと、いちいち手のひらに反応してしまうのを防ぐ研究。

先行研究と比べてどこがすごい？以前のタッチスクリーンはタッチペンと手のひらの区別が曖昧であったが、今回の研究で98％正確にタッチペンに反応し、手のひらを誤って反応することを減らした。

技術や手法のキモは？この研究において、画面の向きとユーザーの利き手には依存していない。

どうやって有効だと検証した？ユーザーにスタイラスを与え、画面に手のひらを置くよう指示し、カードに描かれた１５のシンボルを複製させて、スクリーンのスタイラスの正しい反応率と手のひらに反応してしまった誤作動率を比較し検証した。

議論はある？画面にスタイラスを置いた瞬間の手のひらとの区別の正確さが約50ms間であるがに低い。

次に読むべき論文は？ Boring, S., Ledo, D., Chen, X., Marquadt, N., Tang, A. and Greenberg, S. The fat thumb: using the thumb's contact size for single-‐handed mobile interacLon. In Proc. MobileHCI ‘12, 39-‐48

A material point method for snow simula3onAlexey Stomakhin, Craig Schroeder, Lawrence Chai, Joseph Teran, Andrew Selle

どんなもの？

固体と流体の特徴をもつ雪のシミュレート法。

先行研究と比べて

Material Point Methodをグラフィックスで使用したのは初。


材料の点の密度を相対的に測定することでゆるく詰まった雪と密に詰まった雪を視覚的に変化させた

どうやって検証したか

様々な雪玉を転がす、砕く、キャラクターを雪の上で歩かせるなどのシミュレーションをした。

議論はあるか

パウダースノーや雪崩を表現するのに必要な空気との相互作用を無視している。

次に読むべき論文

YU, J.,AND　TURK, G. 2010. Reconstruc3ng surfaces of par3cle-‐based fluids using anisotropic kernels. 2010 ACM SIGGRAPH/Eurographics

Modeling and Es3ma3on of Internal Fric3on in ClothEder Miguel, Rasmus Tamstorf, Derek Bradley, Sara C. Schvartzman, Bernhard Thomaszewski, Bernd Bickel, Wojciech Matusik, Steve Marschner, Miguel A. Otaduy

どんなもの？

布のシミュレーションの際の効率的な内部摩擦のシミュレーションのアルゴリズムを提供。

先行研究と比べて

今までの研究では正確なデータを補足するために複雑なハードウェアに依存していたがこの研究はそれを必要としていない。


どうやって検証したか

布に摩擦がある場合、ない場合などでシミュレーションした。

議論はあるか

布の重量は弾性と摩擦力を支配しているため低い曲げ剛性対密度比を有する布に対して充分に敏感に働かない。


DAHL, P. R. 1968. A solid fric3on model. Tech. rep., The Aerospace Corpora3on.

ダールのモデルでは新しい状態変数を含める

ことが必要だがその代わりに力式としてだけダールの摩擦力を扱うことを可能としている。

どんなもの？





Jackson, 2013. Panop3con: A Parallel Video Overview System.

eLearningのようなオンライン講義映像内の情報探索を補助するシステム。

YouTubeよりも早く目的のビデオシーンを見つけることができる。

議論はある？

・動画のトピックによって早さに差が出てしまう。・スライド表示の時でないと効果的でない。

Panop3conとYoutubeでそれぞれビデオのクラス（Talk,Slides,Interacive）にそれぞれ到達するまでの時間を、事前に映像を見た人と見てない人でそれぞれ計測する。

hKps://www.youtube.com/watch?v=TWT7nNNSjx4

映像全体のサムネイルをタイル状に表示し、マウスをサムネイル状に置くとそのサムネイルの映像と音声が再生される。

どんなもの？




論文中でこの手法で行ったこと

Fast Simulaton of Inextensible Hair and Fur

制約を設定することで、動き方を制御する

Posi3on Based Dynamicsという位置ベースの方法の提案

Posi3on Based Dynamics

安定していて早く、理解と実装が簡単。位置を直接動かしてコントロールできる

今後の課題

今回は硬い物体は扱わなかったが、扱えるように簡単にできるので、それを行う。

衝突、頂点間の距離に関する制約を行い、計算コストが高い布のシミュレーションを高速に行った

ShrinkyCircuits: Sketching, Shrinking,and Formgiving for Electronic Circuits


どんなもの？



議論はある？


どんなもの？

プラスチックポリマーの特性を利用し、クラフトを製作する要領で数分で簡単に平面や湾曲面の回路基板を作れる技術

より複雑な構造設計が可能小型のものを早く作れる非平面上のものも作れる

スケッチして、導電性のペンで回路をトレースし、熱を加えはんだ付けを行い基板をつくる技術材料であるポリスチレンシートが元の40%になることを利用したところ

６つのタイプの試作を作り、評価した

熱を利用するため、熱に弱い部品が損傷する湾曲したときの反りにより、回路の配置が歪む

Interactive Paper Devices: End-userDesign & Fabrication

ShadowDraw: Real-Time User Guidance for Freehand Drawing




議論はある？


どんなもの？

データベースには画像の輪郭が保存されており、ユーザの入力と形状的・空間的に適当なものを影として表示させる

顔や自転車など3万枚の画像をデータベースに保存。システムを使用した時と使用しなかった時のユーザのスケッチを比較した。

データベースに保存されていない場合は見当違いな影が表示される。スケッチの能力が中間の人にしか使用できない。

IGARASHI, T., AND HUGHES, J. F. 2001.A suggestive interface for 3d drawing.ACM UIST.

お絵かきを支援するシステム。ユーザが描くとリアルタイムで自動的に影が表示され、それをなぞることで上手に描くことができる。

過去の研究ではデータベースに保存された画像の色調や形状がとユーザのスケッチの一部とどのくらい似ているかで候補を表示させていたが、このシステムでは輪郭抽出を行っている。

VPN Gate: A Volunteer-Organized Public VPN Relay System with Blocking Resistance for Bypassing Government Censorship Firewalls

どこがすごい？

どんなもの？


どうやって有効性を検証した？

議論はある？


ボランティアのゲートウェイを用いて通信を秘匿化して、国家レベルのファイヤウォールをもくぐり抜けるもの。

ボランティアとして、参加したい人がVPNのゲートサーバーを運用できること。実際に運用実験が行われた点。

VPN Gate List Server を用いて参照できるようにし、パケットの中身は外部から見えないようになっている点。

運用実験の結果、70%のボランティアのサーバーが稼働していたことで、ファイアウォール突破したことになる。

無線通信で近いのことができないかどうか。いや出来る。

Daiyuu Nobori and Yasushi Shinjo

USENIX ‘14

Daniel Anderson: "Splinternet Behind the Great Firewall of China", ACM Queue, Vol. 10, No. 11, 2012. [

VPN Gate List ServerVPN Gate Server #1

VPN Gate Server #2

VPN Gate Server #3

Server listIP1 IP2 IP3

VPN Client

User

Internet servers(e.g. Twitter)

1

2 33

4

Provided by volunteers.

The free world

Behind thecensorshipfirewall

2

1

1

4

0

500

1,000

1,500

2,000

2,500

3,000

3/31/2013 4/30/2013 5/31/2013 6/30/2013 7/31/2013

Servers blocked by GFW Servers not blocked by GFW

We started collaborative spy detection

on4/24/2013.

TranSection: Hand-Based Interaction for Playing a Game within a Virtual Reality Game

どこがすごい？

どんなもの？


どうやって有効性を検証した？

議論はある？


3次元と2次元の組み合わせをコンセプトとしVRインターフェース. Oculus RiftやLeap Motionのトラッキング機能を利用することでゲーム内でのプレイヤーの手と仮想物体とのふれあいを実現している.

仮想の3Dオブジェクトを使って仮想空間の中での2Dゲームの中の仕掛けや敵と戦うことができる.

Oculus RiftやLeap Motionのトラッキング機能を活用した手などの描画、酔いを軽減するための対策、NUIの実現、手で仮想物体を持つ際の判定の工夫など.

男性7名,女性5名の計12名に実際に遊んでもらいアンケートを取った. 楽しさや珍しさの評価は5段階中それぞれ4.17と4.33で好評だった. また、もう一度遊んでみたいかという質問には83%がYESと答えた. 酔いに関してはOculus VR Shareの同じカテゴリのゲームの中で一番評価の高いものと比較したところTranSectionの方が酔いにくいことがはっきりと分かった.

記述なし.

・Applying multi-layer game design and environmental storytelling.(CHI EA '13)

Po-Wei Lee, Han-Yu,Wang, Jhe-Wei Lin, Andries Valstar, Ying-Chao Tung

CHI'15 Extended Abstracts

Display Composed of Water Drops for Filling Space with Materialized Virtual Three-dimensional Objects

Shin’ichiro EITOKU∗ Tomohiro TANIKAWA† Yasuhiro SUZUKI Koichi HIROTA§ Toshio IWAI¶ Michitaka HIROSE

どんなもの？


技術や手汰のキモは何？


議論はある？


FTMA15

３次元空間を小さな物体、ここでは水滴を用いて埋めることで３次元ディスプレイを実現させた。

ディスプレイを３次元の内部、外部どこからでも見れ、複数ユーザーが操作を同時に行なうことが可能で、触れることも可能である。

水滴の大きさ、落ちる間隔を実行可能な上限と下限の範囲で対応するように設定。プロジェクタの光と水滴までの距離による投影像の大きさの変化、また色彩の変化をもたらす。

水滴間隔は1/60sec間隔で1~19まで実行し、6~14の間で可能だと判断。また距離の変化により0.52~1.00倍の大きさで投影像の大きさを変化させ適応することがわかった。

投影像をより鮮明に映し出す手法の研究と、より高い位置から落下してくる水滴に対しての処理が可能にできるかというところ。

投影像に入るということで「The walk-through Fog Screen experience」

Touch & Activate: Adding Interactivity to Existing Objects usingActive Acoustic Sensing

Makoto Ono, Buntarou Shizuki, and Jiro Tanaka

どんなもの？

• 新たな音響タッチセンシングの手法

先行研究と比べてどこがすごい？• 準備が簡単な機器で、画像処理などの重い処理を行わずタッチセンシングができる


• 物体に触れた状態もしくは触れない状態の周波数応答のセンシングにより物体の共振特性の変化を掴み、機械学習する。

どうやって有効だと判断した？


議論はある？

• 制御実験の結果、ある程度の精度を確認

Greenberg, S., and Fitchett, C. Phidgets: easydevelopment of physical interfaces throughphysical widgets. In UIST ’01, 209‒218.

• 境界条件の変化に敏感なので継続的な調整が必要

3D Modeling with Silhoue1es

どんなもの？

先行文献と比べてどこがすごい？



議論はある？


複数の正射影2Dのシルエットを描くことでスケッチベースの対話的3Dモデリングを実現した。

複数の平面図から曲面を実物に近似して生成することはすでにできていた。今回は3Dモデリングに応用した。

3次元上で存在しうる形状しか2Dシルエットで描けないように制限している。ただのシルエットではなく断面図のシルエットを描くと、くり抜きや凹面も生成できる。

WordNetの単語から採取した人工物のランダムサンプリングをモデル化して評価した。このアプローチを使用して迅速かつ容易にモデル化できることを示した。

空気力学的な乗り物や彫刻、衣類などのモデリングは困難である。

SZELISKI, R. 1993. Rapid octree construcCon from image sequences.

Style and Abstrac9on in Portrait Sketching

どんなものか

先行研究と比べてすごいところ

技術や手法について

有効だと検証した方法

議論


ポートレート写真から様々な芸術の形態での異なるスケッチを合成するアプリケーション。

指定したスタイルに従って写真を現実的なスケッチに変換する。抽象化はランダムではなく芸術家のスタイルに従ってストロークの位置決めがされるのでより自然なスケッチに近づく。

多くの芸術家から、人間の顔のスケッチを描くデータを収集し分析することで得た抽象化のプロセスを元に写真を加工する。

芸術家が描いた写真だけでなく任意の画像から合成できることを検証した。

対応しているのはポートレート写真だけであるので汎用性のあるスケッチ合成ではない。また髪の毛のモデル化ができておらず自然でない部分が残る。

Shape matching and object recogniCon using shape contexts.

Real-Time Dual-Band Haptic Music Player for Mobile Devices Inwook Hwang, Hyeseon Lee, Seungmoon Choi

どんなもの？技術や手法のキモはどこ？



議論はある？

リアルタイムで音楽を再生すると同時に曲に合わせた振動を作り出すことが出来るデバイス。

音楽に自動で振動効果を合成するアルゴリズムを用いて、リアルタイムに振動を作り出したところ。

先行研究では、低音の音響信号をもとにリズムやビートに乗せた振動を出していたが、高い目立った音に対しても振動を割り当てたところ

Dual-mode-Actuatorを用いて、振動のバリエーションを増やしたところ

DMAを用いた場合とLRAを用いた場合で4ジャンル各4曲の計16曲で、どちらの方が利益を多く得られるか検証した。

低音の音響信号から取り出す特徴量と実際に耳で知覚する特徴量との間に誤差がある。

Orphion: A Gestural Multi-Touch Instrument for the iPad■どんなもの？

■先行研究と比べてどこがすごい？

■技術や手法のキモはどこ？

■どうやって有効だと検証した？

■議論はある？

■次に進むべき論文は？

https://www.youtube.com/watch?v=ybGB5sr5JM8

iPadを用いた新しいデジタル楽器

手頃な価格で使いやすい自己完結型のデジタル楽器

画面上の円の中心との距離でイントネーションや音色を,タッチしたサイズと圧力でボリュームと減衰を調節できる

アプリストアで配信してレビューを集めてワードクラウドを作成したところ肯定的な単語が多かった

プロトタイプをプレイしてもらい,そこから得た意見を参考にした

Malloch, J., Birnbaum, D., Sinyor, E., & Wanderley, M. M. 2006. Towards a new conceptual framework for digital musical in- struments. In Proceedings of the 9th International Conference on Digital Audio Effects. 49–52.

IMPART: BIG MEDIA DATA PROCESSING AND ANALYSIS FOR FILM PRODUCTION

Josep Blat1, Alun Evans1, Javi Agenjo1, Hansung Kim2, Evren Imre2, Adrian Hilton2, Anastasios Tefas3, Nikos Nikolaidis3, Ioannis Pitas3, Lukas Polok4, Pavel Smrz4, Pavel Zemcik4

どんなものか大規模なメデイアデータの効率的な処理・解析について述べた論文である。この論文では、映画作成に用いるデータの処理方法に焦点を当てている。

様々なデバイス・異なる環境で取得されたデータをまとめて統合できるとこ



どうやって有効だと証した？

議論など

次に読む論文は？ E.Imre and A. Hilton, “Coverage EvaluaXon of CameraNetworks for FacilitaXng Big Data Management in FilmProducXon,” accepted to ICIP 2015.

実際の映画作成に用いられるデータ、を元にデータ処理・解析を行った。

2Dデータと3Dデータを統合的にまとめることのできるRANSACアルゴリズムがキモである。

映像・音楽以外の分野のビッグデータにも応用したい。

iGameFloor -‐ a Pla-orm for Co-‐Located Collabora5ve Games

どんなものか

インタラクティブなガラスの床。下からプロジェクションするとともにカメラで人の場所や足などの接触点を取得しゲームを行える。

先行研究と比べてどこが凄いか

より視覚的なフィードバックが豊かである。複数の人に対応しており、下から投影するので影で見えなくもならない。

技術や手法のキモはどこなのか

下から投影出来るようにガラスを多層構造にしている点。また、床下に大きな空間を作り、下からトラッキングや投影を行う発想。

どうやって有効だと検証したか

3つのゲームを制作し、実際に子供達に遊んでもらい、調査した。

今後の課題や議論

ユーザを識別するため、ユーザごとに異なる色のLEDを取り付けること。足で行うジェスチャー操作などを取り入れることで、地図をズームしたりスクロール出来るかもしれない。

次に読むべき論文 Stepstone -‐ An InteracXve Floor ApplicaXon for Hearing Impaired Children with a Cochlear Implant

どんなものか？

先行研究と比べてどこがすごいか？

技術や手法のキモはどこか？次に読むべき論文は？

議論はあるか？

どうやって有効だと検証したか？

ある写真の風景を、様々な季節・天気に変える

季節・明るさ・時間帯・暑さ・天気など、たくさんの種類のシーンの表現が可能

クラウドソーシングや機械学習を利用している。

8571枚の写真と101のウェブカメラを使用したデータセットを分類し、ピクセルを比較して特徴を定める

特徴のシーンの独立した組み合わせが少ないため、アプローチが難しい

Garg et al. [2009]

どんなものかデータベースを用いて写真からヘアスタイルの３Dモデルを作成する先行と比べてなにがすごいか今までのものは粗かったが細かくなることで高品質なものになった手法・技術のキモ目的のヘアスタイルにマッチするために複数のヘアスタイルを一貫したものに結合することができるアセンブリアルゴリズム粗い３Dヘアスタイルを純化するメゾッド

どうやって有効だと検証したかさまざまな例で実行して効果とアプローチの検証をした議論データベース内のどの例よりも長いなど極端な髪型には対応できない次に読むべき論文Constrained local neural fields for robust facial landmark detec5on in the wild.

#FTMA15 第七回課題全コースサーベイ

Education

Transcript of #FTMA15 第七回課題全コースサーベイ

#FTMA15 第七回課題 全コースサーベイ

Education

Transcript of #FTMA15 第七回課題 全コースサーベイ

#FTMA15 第七回課題全コースサーベイ

Transcript of #FTMA15 第七回課題全コースサーベイ