IIEEJ 41(3): 288-295 (2012) - JST

8
デゞタルカメラのしくみず画像凊理 蚊 野 浩京郜産業倧孊 Structure, Function and Image Processing of Digital Camera Hiroshi KANOKyoto Sangyo University 1. はじめに デゞタルカメラの基本機胜は撮像玠子衚面に圢成された 光の像に忠実なデゞタル画像を生成するこずであるそこで は被写䜓を画像ずしお再珟するための写真画像凊理技術ず ずもに顔怜出・動被写䜓の远跡などのコンピュヌタビゞョ ン技術が利甚されおいる デゞタルカメラ以前から攟送甚カメラや民生甚ビデオカ メラが存圚しそれらにもある皋床のデゞタル画像凊理は実 甚化されおいたしかし技術的制玄からその範囲は階調特 性の制埡や色信号の補正ノむズ陀去・茪郭補正などに限ら れおいた画像凊理技術がデゞタルカメラの差別化技術ずし お認知された背景はカメラ甚システム LSI本皿では「画 像凊理゚ンゞン」ず呌ぶを「XX ゚ンゞン」ず固有名詞化 する宣䌝手法が定着したこずであるそれずずもに顔怜出の ようにデゞタル凊理でなければ䞍可胜な機胜が実珟され実 質的にもデゞタルカメラに䞍可欠な技術になった 本講座ではデゞタルカメラのしくみず実甚化されおいる 画像凊理技術の幟぀かを解説するなおこれらは文献 1)に 基づいおいる 2. デゞタルカメラのしくみ デゞタルカメラを分類するずレンズ亀換匏の「デゞタル 䞀県レフ」䞀県レフから反射ミラヌ系を取り去った「ミラヌ レス䞀県」およびレンズ䞀䜓型に分けられるレンズ䞀䜓型 でもコンパクトなものから比范的倧きな機皮たで存圚する 䞀県レフは最も高床で粟密なカメラでありその構造を図 に瀺す䞀県レフの特城は被写䜓像を盎芖できる光孊ビュヌ ファむンダず図瀺しおいない䜍盞差 AF Auto Focusによ る高速な焊点合わせであるこれらの機胜を反射鏡を甚い るこずなく実珟するこずが䞀県レフ以倖のカメラにおける 䞻芁な技術課題になっおいる 䞀県レフは撮圱タむミングに合わせお反射鏡が跳ね䞊が り像が撮像郚に導かれる撮像玠子で瞊暪の空間的なサン プリングおよび光信号から電気信号ぞの倉換ず電気信号の量 子化が行われ生のデゞタル画像が生成されるこの生画像 が画像凊理゚ンゞンで凊理され人間が芳察するのに適した 画像ぞの倉換ずメモリカヌドに保存するための画像圧瞮が 実行される 2.1 レンズ レンズは被写䜓が発する光を集光し撮像玠子䞊に像を圢 成するレンズの基本特性は口埄焊点距離 F 倀である F 倀は「焊点距離/有効口埄」で定矩される数倀である有効口 埄が倧きくなるず像は明るくなり焊点距離が長くなるず像 は暗くなるF 倀は像の明るさに察応するレンズの有効口 埄を制限する郚品を「絞り」ず呌ぶが F 倀を絞り倀ずも呌ぶ 焊点距離は像の倧きさず関係する数倀である焊点距離 20mm の像は 10mm の像の 2 倍であるしかし前者の像を 面積 10×10mm で画玠数 1,000×1,000 画玠の撮像玠子でデゞ タル化したものは埌者を 5×5mm1,000×1,000 画玠の撮 像玠子でデゞタル化した画像ず同じになるこれでは焊点 距離によっお像の拡倧率を比范するこずができないその堎 合カメラ仕様䞊の焊点距離ずしお撮像面を 35mm フィル ムず同じ倧きさに換算した数倀を甚いる デゞタルカメラの画玠数はどこたで倧きくなるのかず いう疑問に察しおレンズ性胜から決たる限界ず撮像玠子の 補造䞊の限界から答えるこずができるレンズによる限界は MTF(Modulation Transform Function)から解析される文献 2) 図 1 デゞタル䞀県レフカメラの構造 Fig.1 Structure of digital single-lens reflex camera The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012 288

Transcript of IIEEJ 41(3): 288-295 (2012) - JST

Page 1: IIEEJ 41(3): 288-295 (2012) - JST

デゞタルカメラのしくみず画像凊理

蚊 野 浩京郜産業倧孊

Structure, Function and Image Processing of Digital Camera

Hiroshi KANOKyoto Sangyo University

1. はじめに

デゞタルカメラの基本機胜は撮像玠子衚面に圢成された

光の像に忠実なデゞタル画像を生成するこずであるそこで

は被写䜓を画像ずしお再珟するための写真画像凊理技術ず

ずもに顔怜出・動被写䜓の远跡などのコンピュヌタビゞョ

ン技術が利甚されおいる デゞタルカメラ以前から攟送甚カメラや民生甚ビデオカ

メラが存圚しそれらにもある皋床のデゞタル画像凊理は実

甚化されおいたしかし技術的制玄からその範囲は階調特

性の制埡や色信号の補正ノむズ陀去・茪郭補正などに限ら

れおいた画像凊理技術がデゞタルカメラの差別化技術ずし

お認知された背景はカメラ甚システム LSI本皿では「画

像凊理゚ンゞン」ず呌ぶを「XX ゚ンゞン」ず固有名詞化

する宣䌝手法が定着したこずであるそれずずもに顔怜出の

ようにデゞタル凊理でなければ䞍可胜な機胜が実珟され実

質的にもデゞタルカメラに䞍可欠な技術になった 本講座ではデゞタルカメラのしくみず実甚化されおいる

画像凊理技術の幟぀かを解説するなおこれらは文献 1)に基づいおいる

2. デゞタルカメラのしくみ

デゞタルカメラを分類するずレンズ亀換匏の「デゞタル

䞀県レフ」䞀県レフから反射ミラヌ系を取り去った「ミラヌ

レス䞀県」およびレンズ䞀䜓型に分けられるレンズ䞀䜓型

でもコンパクトなものから比范的倧きな機皮たで存圚する

䞀県レフは最も高床で粟密なカメラでありその構造を図

に瀺す䞀県レフの特城は被写䜓像を盎芖できる光孊ビュヌ

ファむンダず図瀺しおいない䜍盞差 AFAuto Focusによ

る高速な焊点合わせであるこれらの機胜を反射鏡を甚い

るこずなく実珟するこずが䞀県レフ以倖のカメラにおける

䞻芁な技術課題になっおいる 䞀県レフは撮圱タむミングに合わせお反射鏡が跳ね䞊が

り像が撮像郚に導かれる撮像玠子で瞊暪の空間的なサン

プリングおよび光信号から電気信号ぞの倉換ず電気信号の量

子化が行われ生のデゞタル画像が生成されるこの生画像

が画像凊理゚ンゞンで凊理され人間が芳察するのに適した

画像ぞの倉換ずメモリカヌドに保存するための画像圧瞮が

実行される

2.1 レンズ

レンズは被写䜓が発する光を集光し撮像玠子䞊に像を圢

成するレンズの基本特性は口埄焊点距離F 倀であるF倀は「焊点距離/有効口埄」で定矩される数倀である有効口

埄が倧きくなるず像は明るくなり焊点距離が長くなるず像

は暗くなるF 倀は像の明るさに察応するレンズの有効口

埄を制限する郚品を「絞り」ず呌ぶがF倀を絞り倀ずも呌ぶ 焊点距離は像の倧きさず関係する数倀である焊点距離

20mm の像は 10mm の像の 2 倍であるしかし前者の像を

面積 10×10mmで画玠数 1,000×1,000 画玠の撮像玠子でデゞ

タル化したものは埌者を 5×5mm1,000×1,000 画玠の撮

像玠子でデゞタル化した画像ず同じになるこれでは焊点

距離によっお像の拡倧率を比范するこずができないその堎

合カメラ仕様䞊の焊点距離ずしお撮像面を 35mm フィル

ムず同じ倧きさに換算した数倀を甚いる デゞタルカメラの画玠数はどこたで倧きくなるのかず

いう疑問に察しおレンズ性胜から決たる限界ず撮像玠子の 補造䞊の限界から答えるこずができるレンズによる限界は

MTF(Modulation Transform Function)から解析される文献 2)

図 1 デゞタル䞀県レフカメラの構造 Fig.1 Structure of digital single-lens reflex camera

The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012

288

Page 2: IIEEJ 41(3): 288-295 (2012) - JST

図 2 焊点深床ず被写界深床

Fig.2 Depth of focus and depth of field

によるずF 倀 4.0 のレンズで波長 546.1nm の光を結像する

堎合1.75ÎŒm 呚期の正匊波の MTF は 20%皋床ずなり

1.0ÎŒm 呚期では MTF がほがれロずのこずである䞀方撮

像玠子の埮现化の限界も 1.0ÎŒm付近に収束する傟向が芋える

小型デゞタルカメラではこの限界に近い解像床の撮像玠子が

利甚されおいる䞀県レフやミラヌレス䞀県で利甚される撮

像玠子にはただかなりの䜙裕がある

次いで画像のがけに぀いお説明する点光源を撮圱し

たずきに蚱容されるがけの限界を蚱容錯乱円ず呌ぶがその

盎埄ずしおフィルム写真では撮像面察角長の 1/1000〜1/1500 が基準ずしお䜿われおいたこれをデゞタルカメラに

圓おはめるず1,000䞇画玠クラスの撮像玠子に察しお3.5画玠2,000 䞇画玠クラスの撮像玠子に察しお 5 画玠皋床が蚱

容錯乱円の盎埄になるこの基準に埓うずデゞタルカメラ

ではこの皋床のピンがけ手ぶれが蚱容されるこずになる

結像に蚱容錯乱円たでのがけが蚱されるので図 2に瀺す

ように撮像面ずレンズの距離に誀差が蚱容されこれを焊

点深床ず呌ぶこれに䌎っお被写䜓偎でも正確にピントが

合っおいるず芋なせる範囲が存圚するこずになりこれを被

写界深床ず呌ぶ被写界深床は①焊点距離が短いほど深い

②口埄が小さいほど深い②物䜓たでの距離が遠いほど深い

などの性質がある同じ F 倀のレンズであっおもレンズ口

埄が倧きければ被写界深床は浅くなるこれによっお倧口

埄レンズを甚いるず䞻芁被写䜓だけにピントが合いその

前埌の被写䜓をがかせる独特な写真撮圱が可胜になる

2.2 撮像玠子

撮像玠子はレンズが結像する像を電気信号に倉換するカ

ラヌ画像を取埗する方匏に単板匏ず䞉板匏があり本皿では

単板匏に぀いお蚘述する単板匏の撮像郚は図3のような構成

になるフォトセンサアレむにはCCDセンサかCMOSセンサ

が甚いられるカラヌフィルタアレむは光像を原色に分解

するためのカラヌフィルタでありRGBRed Green Blue個

別の埮小フィルタがモザむク状に配列される図の配列は原

色ベむダヌ型ず呌ばれるマむクロレンズアレむは各画玠

に入射する光束をフォトセルに集光するフォトセンサアレ

むは配線局などフォトダむオヌド以倖の局が積局されるため

図 3 単板撮像郚の構造 Fig.3 Structure of single plate-type imaging device

実際の開口率はかなり䜎くなるマむクロレンズによっお光

を集光するこずで実質的な開口率を皌いでいる光孊フィ

ルタは光孊ロヌパスフィルタず赀倖カットフィルタで構成

される光孊ロヌパスフィルタは氎晶の耇屈折性を利甚した

デバむスで入射光の半分を氎平および垂盎に若干ずらせた

光線を生成しそれを入射光に重畳させるこずで像の高呚

波成分を枛衰させる

撮像玠子のダむナミックレンゞは䞀぀のフォトダむオヌ

ドが出力する最倧電荷量ずノむズずしお発生する電荷量の

比である通垞20log最倧電荷量ノむズ電荷量で蚈算

されdB 単䜍で蚘述されるコンパクトデゞカメで甚いられ

る撮像玠子で 50dB 皋床レンズ亀換匏で甚いられる撮像玠

子で 70dB 皋床であるのでSN は 300〜3000 倍皋床である

2.3 画像凊理゚ンゞン

画像凊理゚ンゞンは撮像玠子から出力される生画像に凊理

を加え人間が芳察するのに適した画像に倉換するこれは

図4に瀺すように組み蟌みCPUやDSP顔怜出などを行う専甚

挔算回路プログラムメモリデヌタメモリ画像メモリな

どで構成されるシステムLSIであるシステムLSIの高集積

化・高機胜化の恩恵によっお豊富な画像凊理機胜が付加さ

れる傟向が続いおおりデゞタルカメラの䞻芁な差別化芁玠

の䞀぀になっおいる

3. デゞタルカメラの䞻芁機胜

デゞタルカメラには倱敗なく矎しい写真が撮圱できるよ

うに倚くの機胜が搭茉されおいるここでは基本的なもの

を説明する

3.1 オヌトフォヌカス

オヌトフォヌカスは被写䜓に自動的に焊点を合わせる機胜

The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012

289

Page 3: IIEEJ 41(3): 288-295 (2012) - JST

図 4 画像凊理゚ンゞン

Fig.4 Image processing engine

図 5 䜍盞差方匏オヌトフォヌカス

Fig.5 Phase detection autofocus であるこれを実珟するには被写䜓たでの距離情報が必芁に

なる䞻に甚いられる䜍盞差方匏ずコントラスト方匏に぀い

お説明する 䜍盞差方匏は䞀県レフで暙準的に甚いられる方匏である

図5に瀺すように被写䜓からの光線のなかで撮圱レンズの端

郚付近を通過する光線をセパレヌタレンズで分離する撮像

玠子ずは別に蚭けたAF甚センサ䞊に2぀の像ができその像

の䜍眮の差䜍盞差から被写䜓たでの距離を求める距離

を盎接求めるためオヌトフォヌカスが高速に動䜜する コントラスト方匏は䞀県レフ以倖で暙準的に甚いられる方

匏である図6においおB点に焊点を合わせるず最もシャヌ

プな画像を撮圱するこずができるずするその前埌のA点C点に焊点を合わせるず画像ががけるカメラが焊点を合わせ

る䜍眮を暪軞にずり撮圱される画像のコントラストの評䟡

倀を瞊軞にずるず図6䞋のようなグラフになるこの性質を

利甚しおコントラストの評䟡倀が最倧になるように焊点䜍眮

を制埡するこの方匏は繰り返し蚈算が必芁になるので合

焊に芁する時間が長くなる傟向はあるが合焊粟床は高い

3.2 シャッタヌ機胜

シャッタヌには物理的に光の開閉を行うメカニカルシャッ

タヌず撮像玠子内で電荷蓄積モヌドず廃棄モヌドを切り替

える電子シャッタヌがある 電子シャッタヌでもCCDはグロヌバルシャッタヌCMOS

はロヌリングシャッタヌず倧きな違いがあるグロヌバルシ

ャッタヌはその蚀葉の通り党画玠が同じタむミングでシ

ャッタヌ動䜜をするロヌリングシャッタヌは撮像玠子の

画玠ごずにタむミングをずらしながらシャッタヌを切るそ

図 6 コントラスト方匏オヌトフォヌカス Fig.6 Contrast measurement autofocus

の結果撮像玠子の䞊郚では時間的に早いタむミングで情景

を捉え䞋郚では時間的に遅いタむミングで情景を捉える 図7にグロヌバルシャッタヌずロヌリングシャッタヌによ

る撮圱画像の違いを瀺す自動車が右から巊に移動する堎合

グロヌバルシャッタヌでは党画玠が同じタむミングの情景を

撮圱するので自動車の像に歪みを生じないそれに察しお

ロヌリングシャッタヌでは画像の䞊郚ず䞋郚で時間的に異

なった情景を撮圱するので図のように歪んだ画像を撮圱し

おしたうこのような画像歪みをフォヌカルプレヌン歪みず

呌ぶ 電子シャッタヌは機構郚品が䞍必芁で制埡性に優れるが

いく぀かの課題があるCCDセンサは電荷転送䞭に撮像面に

匷い光を受けるず転送路ぞの光の挏れこみが原因ずなっお

スミアず呌ばれる筋状の癜ずびが発生するメカシャッタヌ

を甚いお電荷転送䞭の光を遮蔜するこずでスミアを避けるこ

ずができるCMOSのロヌリングシャッタヌによるフォヌカ

ルプレヌン歪みも倧きな問題であるこの問題を軜枛するた

めにもメカシャッタヌが利甚される

3.3 手ぶれ補正

撮圱時の手ぶれを補正する方匏には光孊匏ず電子匏がある

光孊匏はレンズから撮像郚たでの光孊系を機械的に制埡する

こずで光像を安定化する電子匏はぶれお撮圱されおした

った画像や映像を画像凊理によっお補正する電子匏に぀い

おは4章で説明しここでは光孊匏に぀いおふれる 光孊匏手ぶれ補正には図8に瀺すようにレンズシフト方

匏ずセンサシフト方匏があるレンズシフト方匏は撮圱レ

ンズの䞀郚を䞊䞋巊右に移動させるこずで撮像玠子に察す

る光像の䜍眮を安定化させる撮像玠子シフト方匏は撮像

The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012

290

Page 4: IIEEJ 41(3): 288-295 (2012) - JST

図 7 シャッタヌ動䜜の皮類による画像の違い Fig.7 Difference between global shutter and rolling shutter

図 8 光孊匏手ぶれ補正 Fig.8 Optical image stabilizers

玠子そのものを䞊䞋巊右に移動させるこずで光像の䜍眮を

安定化させる䞡方匏ずも効果的に手ぶれを抑えるこずがで

きるがセンサシフト方匏の特城は䞀県レフに適甚した堎

合亀換レンズの遞択肢が広くなるこずであるレンズシフ

ト方匏はレンズ䞀䜓型ずミラヌレス䞀県においお䞀般的に

甚いられおいる

4デゞタルカメラの画像凊理

画像凊理゚ンゞンで実行される凊理には図 9 のようなもの

があるたず最適な撮圱が行えるように撮圱前のラむブ

映像を解析しフォヌカスや絞り・シャッタヌ速床などのカ

メラパラメヌタを制埡する撮圱埌の生画像に察しおはデ

モザむク以降の凊理が斜され最終画像をディスプレむに衚

瀺したた画像デヌタをメモリカヌドに保存する

4.1 デモザむク

単板の撮像玠子で撮圱される生画像であるCFAColor Filter Array画像は各画玠が RGB いずれか䞀぀の倀を保持する

䞍完党なカラヌ画像であるこれを RGB フル解像床の画像

に倉換する凊理をデモザむクず呌ぶデモザむクは画像の補

図 9 デゞタルカメラで行われる画像凊理

Fig.9 Image processing performed in digital camera

図 10 色盞関補間方匏によるデモザむク

Fig.10 Demosaicing algorithm utilizing color correlation 間であるからバむリニアやバむキュヌビックなどの基本的

な補間手法を甚いるこずもできるしかしこれだけでは现

かい絵柄や゚ッゞ郚分に本来存圚しなかった色が停色ずし

お発生しお奜たしくないこれを軜枛するための手法が開発

されおおり代衚的なものに局所的に色信号の割合が䞀定

であるず芋なす色盞関補間方匏がある 図 10 に色盞関補間方匏によるデモザむク凊理を暡匏的に

瀺す図䞭巊偎のRGBの小画像はベむダヌ配列のCFA画像を各色に分解したものである癜い升目には画玠倀が存

圚しないたず䞀般的な補間凊理によっおG成分だけをフ

ル解像床の画像に倉換する図右䞊たたこれを平滑化

LPF凊理した䞭間画像を生成するGlpfRずB成分に぀

いおも補間凊理ず平滑化によっお䞭間画像を生成するRlpf

BlpfRずBの最終画像は局所的にR/GおよびB/Gが䞀定

であるずいう仮定から図䞭の匏によっお蚈算する

The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012

291

Page 5: IIEEJ 41(3): 288-295 (2012) - JST

4.2 ノむズ陀去

画像に衚れるノむズは撮像玠子の特性によるものや撮像

玠子衚面に付着したごみレンズ光孊系に起因するものがあ

るがここでは玠子特性が原因ずなるものを考えるその䞻

たるものはフォトダむオヌドの暗電流による固定パタヌン

的なむンパルスノむズCMOS ではフォトダむオヌドに近接

した増幅噚の 1/f ノむズやランダムテレグラフノむズ電信

波圢状のノむズ画玠をリセットするずきに発生するリセッ

トノむズおよび電荷を転送するずきに発生するさたざたな

回路的なノむズである玠子特性に起因するノむズは半導

䜓プロセスの改良ず回路的な工倫によっお幎々改善されお

いるしかし画玠数の増加ず撮像玠子の小型化も䞊行しお

進んでおりフォトダむオヌドのセルサむズは瞮小されおい

るしたがっお画玠あたりのノむズは必ずしも改善されおお

らず画像凊理によるノむズ陀去ぞの期埅は倧きい 叀兞的なノむズ陀去手法は平滑化フィルタやメディアン

フィルタである本皿では代衚的な゚ッゞ保存型平滑化フィ

ルタであるバむラテラルフィルタBFを1 次元信号を甚

いお説明する図 11巊䞊はノむズを含むステップ信号波圢で

あるこの波圢䞊のステップ盎前の泚目点に察しお BF 凊

理を斜す堎合を説明するたず泚目点からの距離に応じた

ガりス分垃重みず泚目点ずの倀の差に応じたガりス分垃重

みからなる぀の重み係数を蚭定する図巊䞋これを掛

け合わせるこずで泚目点からの距離の差ず倀の差の䞡方を

考慮した重み係数を決定する図右䞋この最終的な重み係

数で近傍画玠を平滑化する党おの原信号に BF を適甚しお

ノむズを陀去した信号波圢を右䞊に瀺すガりス型平滑化フ

ィルタず比范しお優れた゚ッゞ保存性があるこずがわかる

4.3 光孊的劣化ず幟䜕孊的歪みの補正

カメラにはレンズや撮像郚に由来するさたざたな特性や

劣化歪みが存圚する球面収差コマ収差非点収差像

面収差歪曲収差はザむデルの収差ず呌ばれるがこれら

は光が点に集光しない珟象や像が幟䜕孊的に歪む珟象で

あるたた光の色によっお屈折率が異なるため軞䞊色収

差ず倍率色収差ず呌ばれる色のにじみが発生する画像の呚

蟺は光量が枛少するため暗くなるこの珟象はシェヌディン グず呌ばれるこれらの劣化・歪みの䞭で歪曲収差倍率色

収差シェヌディングが画像凊理によっお補正される

4.4 階調ず色の補正

撮像玠子は基本的に被写䜓の茝床に比䟋した電荷を出

力する䞀方代衚的な衚瀺装眮であった CRT ディスプレむ

の画面茝床は入力電圧の玄 2.2 乗に比䟋しこの特性をガン

マ特性ず呌ぶカメラず CRT ディスプレむで構成される入出

力システムで忠実な階調再珟を行うにはカメラ信号に 1/2.2乗の特性を持たせるこずが奜郜合でありこれを逆ガンマ補

図 11 バむラテラルフィルタによるノむズ陀去

Fig.11 Denoising by bilateral filter

図 12 珟実シヌンの茝床範囲

Fig.12 Dynamic range of luminance in real scene

正ず呌ぶ液晶など最近のディスプレむデバむスは必ずし

も CRT ず同じ衚瀺特性ではないがディスプレむ装眮ずしお

はガンマ特性を持たせおいるたたデゞタルカメラの画像

信号も埓来どおり逆ガンマ補正されおいる 明・暗が混圚しダむナミックレンゞが広いシヌンに察しお

適切な露光量ず階調特性を決定するこずは重芁であるデゞ

タルカメラの自動露光機胜では入力画像を 100 以䞊の領域

に分割し領域ごずの平均画玠倀などを求めその党䜓的な

分垃から露光量を決定するさらにあるレベル以䞊の明郚

の信号を圧瞮しお階調再珟するニヌ補正が行われるニヌ補

正のようにシヌンの性質に応じお適応的に階調特性を制埡

するこずをトヌンマネゞメントず呌ぶより高床なトヌンマ

ネゞメント手法は画像のヒストグラムを解析し画玠倀が

密集する階調近傍を䌞長し画玠倀が疎になる階調近傍を圧

瞮する手法などである 珟実シヌンの茝床範囲は図 12のようになるしたがっお

撮圱されるシヌンのダむナミックレンゞが 100dB察数スケ

ヌルで 5 桁以䞊になるこずもあるこのようなシヌンに察

しおコンパクトデゞカメのダむナミックレンゞは 50dB高

性胜な䞀県レフでも 70dB 皋床であるのでカメラのダむナ

ミックレンゞが䞍足するこれを補うために同じシヌンに

察しお露光量を倉化させお耇数枚の画像を取埗しそれらを

合成するこずでハむダむナミックレンゞHDRHigh Dynamic Range画像を取埗する手法が甚いられる

The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012

292

Page 6: IIEEJ 41(3): 288-295 (2012) - JST

図 13 電子匏動画手ぶれ補正 Fig.13 Digital video stabilizer

è¡š 1 代衚的な電子匏静止画手ぶれ補正

Table 1 Representative digital still image stabilization algorithms 方匏 凊理の内容

加算合成匏 通垞の 1/4 皋床の短い露光時間で耇数枚

の画像を連射撮圱しそれらを䜍眮合わ

せしお加算平均する

画像埩元匏 手ぶれが生じた枚の画像を掚定した

PSF を甚いお画像埩元する

長短露光画像 合成匏

手ぶれが生じやすい通垞露光画像ず生じ

にくい短露光画像を連射しそれらを適

応的に合成する

4.5 電子匏手ぶれ補正

電子匏手ぶれ補正はぶれお撮圱されおしたった画像を

画像凊理によっお補正する技術である動画に察する補正手

法ず静止画に察する補正手法がある 高い倍率で撮圱した動画や歩きながら撮圱した動画は手

ぶれが生じお芋難くなるこれを補正する電子匏動画手ぶれ

補正は図 13に瀺すように連続するフレヌム間の動きを蚈

算しフレヌムごずに画像を䜍眮合わせした埌画像の衚瀺

枠を再蚭定する凊理であるフレヌム間の動きをゞャむロセ

ンサで蚈枬するこずも可胜であるが画像凊理による䜍眮合

わせを甚いるこずでこれが䞍芁になる 電子匏の静止画手ぶれ補正技術はレンズや撮像玠子を物

理的に移動させるこずなく静止画に生じる手ぶれを補正す

る技術であるいく぀かの考え方があり代衚的なものを衚

1に瀺す加算合成匏は高速連射が可胜な CMOS センサが必

芁であるが凊理が比范的単玔なため確実な補正性胜を期

埅できる画像埩元匏は手ぶれの原因である PSF (Point Spread Function点拡がり関数) を掚定した埌りィナヌフィ

ルタなどで画像埩元する挔算に畳み蟌みを含むためノむ

ズを増幅する傟向がある長短露光 2 画像合成匏は加算合成

匏に近い方法であり露光時間の異なる 2 枚の画像を取埗し

図 14 顔画像の怜出アルゎリズム

Fig.14 Human face detection algorithm

平坊郚は長露光画像を甚い゚ッゞ郚は短露光画像を甚いる

ように適応的に画像合成する

4.6 顔画像凊理

画像䞭の正面顔を怜出する技術はViola3)らの研究をきっ

かけに急速に発展したその手法はHaar-like 特城ず呌ばれ

る䞀皮の゚ッゞ怜出オペレヌタを甚い顔䞭の目錻口など倧

小さたざたな郚䜍に察応した倚数の Haar-like 特城を AdaBoost ず呌ばれる孊習アルゎリズムで効率的に遞択する

さらに蚈算を高速に実行するために積分画像を甚いるであ

るずか階局的に蚈算を進めるなどの工倫がなされた珟圚

の顔怜出技術はアルゎリズム的により高床であるたた正

面顔だけでなく銖振り回転や顔を傟けるこずによる倉圢

衚情倉圢人皮の差にも頑健で広く実甚化されおいる

怜出された被写䜓の顔情報に基づいお以䞋のような機胜

が実珟されおいる

①顔最適撮圱顔オヌトフォヌカスや顔オヌトアむリス特

定個人優先撮圱など

②顔最適タむミング撮圱笑顔撮圱目぀むり防止など

③顔最適補正矎肌補正矎癜補正赀目補正小顔補正な

ど

④顔画像の怜玢顔画像による分類怜玢など

4.7 動きがある被写䜓の远跡

画像凊理による被写䜓の远跡は指瀺した察象物が動画像

の䞭で移動する経路を掚定する問題である簡単な被写䜓远

跡はテンプレヌトマッチングや色远跡などの方法で実珟さ

れおいたしかし埓来手法は被写䜓の移動や姿勢倉化によ

る芋えの倉動に匱く利甚堎面が限られるそれに察しお

最近の手法はコンピュヌタビゞョン技術の成果を取り入れ

るこずにより動䜜が頑健になった本皿では領域ベヌス

の远跡手法に぀いお簡単に説明する 領域ベヌスの手法は察象に察応した矩圢小領域を远跡す

る埓来手法であるテンプレヌトマッチングは察象の倉圢

に非垞に匱いずいう問題があったこれに察しお最近は画

玠倀を盎接の手がかりずするのではなくカラヌヒストグラ

ムを甚いるものが倚いカラヌヒストグラムは色信号の床数

The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012

293

Page 7: IIEEJ 41(3): 288-295 (2012) - JST

図 15 動被写䜓領域ずそのカラヌヒストグラム

Fig.15 Moving Subject and Its Color Histogram

分垃でありこれによっお被写䜓の倉圢に匷くなる領域間

のカラヌヒストグラムのマッチングにはヒストグラムむンタ

セクションず Bhattacharyya 係数が甚いられる

領域ベヌスの手法で特に重芁になるのは探玢手法であ

る単玔な党探玢は蚈算量が倧きいが領域特城ずしおカラ

ヌヒストグラムを甚い党探玢を効率化する手法にアクティ

ブ探玢 4)があるアクティブ探玢によっお 100 倍皋床高速化

されるアクティブ探玢は探玢範囲内をもれなく探玢するが

それでも正解が発芋できるずは限らないそれに察しお局

所的な挔算によっお移動䜍眮を決定するアルゎリズムずしお

Mean Shift5)があるこれはアクティブ探玢に比范しおもさ

らに高速である

4.8 超解像凊理

画像の拡倧凊理はサンプリング定理に基づいお実行される

最近隣補間バむリニア補間バむキュヌビック補間窓関

数をかけた sinc 関数補間などがあり結果画像に若干の違い

はあるがいずれも元画像に存圚しない成分を発生させる意

図はない図 16 (a) 単玔な拡倧ずは異なる超解像凊理は元画像に存圚しない

高呚波成分を生成するこずでより詳现な画像衚珟を目指す

ものである図 16 (b)に瀺す耇数画像からの凊理ず(c)に瀺

す 1 枚の画像からの凊理がある耇数画像からの凊理はサ

図 16 画像の拡倧ず超解像凊理 Fig.16 Image Enlargement and Super Resolution

ブピクセル粟床で䜍眮合わせした画像矀に画像埩元凊理を

行うこずで画玠数を増やす凊理である耇数の画像を元シ

ヌンの高呚波成分の折り返しが残るように撮圱しそれらを

䜍眮合わせした埌に高呚波成分を匷調する枚の画像か

らの超解像凊理はサンプリング定理の枠組みを倖した凊理

である撮圱された画像は顔画像であるなどず仮定しそ

の仮定のもずで結果画像を掚定するいずれの方匏も実甚

化されおいるがその効果が十分に怜蚌されおいるずはいえ

ない

5. たずめ

電子匏カメラはテレビション技術の䞭で発展したものであ

るがデゞタルカメラの時代になりテレビゞョンシステム

の枠組みが倖れ結果的に倧きく発展した本皿では珟圚

のデゞタルカメラのしくみず画像凊理技術の䞀郚を説明した

がデゞタルカメラ技術の党䜓はもっず膚倧なものである

画像凊理技術に限っおも技術開発の䜙地が倧きい デゞタル写真技術に察する新しいアプロヌチずしお

Computational Photography ず呌ばれる技術が提案されおいる

これは珟圚の画像凊理から䞀歩螏み出しおレンズ・撮像

郚の蚭蚈倉曎たでも考慮したデゞタル写真技術であるデゞ

タルカメラのための画像凊理技術は埓来技術が発展しなが

ら新しい技術が導入されただただ進歩するず思われる

参考文献

1) 蚊野浩監修:デゞカメの画像凊理, 映像情報メディア孊䌚線オヌ

ム瀟2011

The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012

294

Page 8: IIEEJ 41(3): 288-295 (2012) - JST

2) 竹村裕倫:CCD・CMOS カメラ技術入門, コロナ瀟2008

3) P. Viola, M. Jones:“Robust Real-Time Face Detection”, Int. Journal of

Computer Vision, Vol.57, No.2, pp.137-1542004

4) 村瀬掋V.V. Vinod:“局所色情報を甚いた高速物䜓怜玢アクテ

ィブ探玢法”信孊論 D-IIVol.J81-D-II, No.9, pp.2035-20421998

5) D. Comaniciu, V. Ramesh, P.Meer:“Real-Time Tracking of Non-Rigid

Objects using Mean Shift”, Proc.of IEEE Conf. Computer Vision and

Pattern Recognition, pp.142-1492000

蚊野 浩 正䌚員 1984 幎 京郜倧孊倧孊院情報工孊専攻修

了同幎䞉掋電機株匏䌚瀟入瀟カラヌ蚘録装眮画像凊理技術コンピュヌタビゞョン技術などの技術開発に埓事2010 幎 京郜産業倧孊コンピュヌタ理工孊郚教授工孊博士

The Journal of the Institute of Image Electronics Engineers of Japan Vol.41 No.3 2012

295