航測及遙測學刊 第二十一卷 第 3 期 第 183-197 頁 民國 105 年 11 月 183

Journal of Photogrammetry and Remote Sensing Volume 21, No.3, 2016, pp. 183-197

DOI：10.6574/JPRS.2016.21(3).4

1國立成功大學測量及空間資訊學系 博士生 收到日期：民國 103 年 04 月 14 日 2國立成功大學測量及空間資訊學系 副教授 修改日期：民國 105 年 06 月 21 日 3國立台灣大學地理環境資源系 副教授 接受日期：民國 105 年 08 月 16 日 4日成航太科技股份有限公司 處長 5天空飛行科技股份有限公司 總經理 *通訊作者, 電話: 06-2757575 #63812, E-mail: riddle0104@hotmail.com

應用透視投影轉換進行微型化

多相機陣列之波段套合

詹鈞評 1* 饒見有 2 黃倬英 3 劉暹 4 李文慶 5

摘要

微型化多相機陣列(Miniature Multiple Camera Array, MiniMCA)是由多個鏡頭組成的多光譜框幅式相

機，能記錄可見光至近紅外光波譜資訊，且由於體積小重量輕，因此可藉由無人飛行載具 (Unmanned

Aerial Vehicle, UAV)獲取高空間與時間解析度的多光譜遙測影像。MiniMCA 因每個鏡頭之透視中心與觀

測方向皆不同，不僅各鏡頭具有不同的透鏡畸變量，且相機之間亦存在著旋轉與平移的幾何轉換關係，

使得原始多光譜影像具有很大的波段錯位現象。因此本研究提出 MiniMCA 相機的波段套合程序，首先藉

由室內相機率定求得各相機之內方位與相對方位參數，進而得到透鏡畸變修正與透視投影轉換參數，接

著將所有副鏡頭之影像轉換至主鏡頭之像空間，最後結合系統性誤差修正(含平移與透鏡畸變修正)達到波

段套合的目的。研究成果顯示經透視投影轉換與系統性誤差修正後相鄰波段間的平均套合誤差皆在

0.2-0.5 個像元之間，證明本研究提出之波段套合程序其精確度可符合遙感探測應用之需求。

關鍵詞: 多相機陣列系統、多光譜影像、無人飛行載具、波段套合

1. 前言

微型化多相機陣列(MiniMCA)是一台多鏡頭

組成之多光譜感測器，其獲取之多光譜影像主要涵

蓋可見光至近紅外光的波長範圍，適合精緻農業、

地物分類、環境變遷、崩塌地判釋、生物量監測等

生態、地理、環境與經濟各方面的遙測應用。由於

MiniMCA 整體機身設計重量輕且體積小，目前已

經有許多研究如Calderón et al. (2013)與Berni et al.

(2009)應用定翼型或旋翼型 UAV 搭載此相機，或

如 Sankaran et al. (2013) 於地面載具上搭載

MiniMCA，以獲取高解析度多光譜影像進行精緻

農業或植生健康監測等遙測應用。

在遙測應用中，多光譜影像的前處理一般包含

波段套合、幾何改正、輻射改正與地理對位等步驟。

其中波段套合是相當關鍵的課題，因具波段錯位的

影像將無法正確描述地物的波譜反射曲線，進一步

會影響到輻射改正的正確性。然而 MiniMCA 每個

鏡頭的透鏡畸變現象及透視中心與觀測方向皆不

相同，使得原始影像各波段間具有顯著的波段錯位

現象，故本研究的主要目的在於針對 MiniMCA 相

機提出一精準嚴密的波段套合演算法與程序。

1.1 影像套合

影像套合(Image Registration)為利用影像中的

地物特徵透過適當的幾何改正模式進行相同地物

的套合，能適用於各種影像資料如多時期影像、多

光譜影像、扭曲變形影像與具重疊區的影像等。在

應用上可分成(1)經模型轉換使得不同影像之相同

地物套疊後產生無錯位現象的波段套合，(2)利用

184 航測及遙測學刊 第二十一卷 第三期 民國 105 年 11 月

數學式糾正扭曲變形影像之幾何改正，(3)具有重

疊區的影像的拼接，與(4)未知地理座標的影像與

已知地理座標的參考影像進行地理對位套合等相

關應用。而根據 Dawn et al. (2010)與 Zitová and

Flusser (2003)等人所整理的影像套合法相關研究

可知，其處理程序主要包含影像特徵萃取、共軛特

徵匹配、模型轉換與影像內插四大步驟。

影像特徵萃取為利用影像處理方式，在參考影

像與套合影像間找出可靠且獨特之特徵，而特徵可

以是點或線段資訊，如 Harris 角點偵測，Canny 邊

緣偵測等方法。接著可藉由各種區域式匹配

(Area-based Matching)法，如 Normalized Cross

Correlation (NCC)、Mutual Information (MI)、Phase

Correlation (PC)、Adaptive Least Square Matching

(ALSM)等進行正確且可靠的共軛點或共軛線的匹

配。然而區域匹配法的處理效率與罩窗大小有直接

相關，且若影像具有較大的變形或尺度差異，將不

容易得到正確匹配成果。近年來則有利用特徵描述

子(Feature Descriptor)的匹配方式，如 Lowe (2004)

提出之 Scale-Invariant Feature Transform (SIFT)與

Bay et al. (2008) 之 Speed-Up Robust Features

(SURF)等，不僅能克服參考影像與套合影像間在

旋轉與尺度上的差異，且具有極高的效率、準確度

與可靠度。

描述參考影像與套合影像的幾何轉換模式有

許多種，如(1)描述尺度、旋轉與平移的正形轉換

(Conformal Transformation)，(2)與正形轉換相似，

但還能描述雙軸之尺度、旋轉與平移差異的仿射轉

換(Affine Transformation)，(3)使用單一透視中心在

三度空間中描述平面對平面投影關係的透視投影

轉換(Perspective Transformation)，以及(4)利用多項

式(Polynomial Transformation)描述未知的幾何變

形模式等。以上轉換模式一般皆由分佈均勻且數量

足夠的共軛特徵影像坐標，結合最小二乘平差法求

取轉換係數，並符合殘差值平方和最小化的條件。

最後再利用影像內插法，如最鄰近點法(Nearest

Neighbor)、雙線性內插法(Bi-linear Interpolation)、

雙立方內插法(Bi-Cubic Interpolation)等，從原始影

像上重新取樣得到幾何套合後的影像。

1.2 MiniMCA 波段套合

MiniMCA 為 Tetracam 公司所設計製造的多鏡

頭多光譜感測器，採用框幅式中心透視投影成像機

制，各鏡頭的透視中心、觀測方向與透鏡畸變皆不

相同，因而會造成波段間嚴重的錯位現象，故波段

套合成果的好壞將直接影響到後續遙測應用影像

分析結果，以下簡要介紹相關文獻對於 MiniMCA

相機的波段套合處理方式。

Tetracam 公司為使用者提供一套 MiniMCA 影

像後處理軟體稱為 PixelWrench2 (PW2)包括影像

格式轉檔、波段套合與各式植生指標之計算。在波

段套合的處理方式中，Tetracam 公司會根據每台相

機進行率定，產生正形轉換所需之四個參數。或由

使用者以人工量測主影像與副影像的共軛線段以

便計算轉換參數，並利用正形轉換進行波段套合。

然該方法有人工量測不可靠、多餘觀測條件不足與

未考慮到透鏡畸變等問題，使得套合成果仍具有錯

位現象，無法滿足高精度波段套合的需求。如圖 1

所示為本研究於航高 800 公尺所獲取的 MiniMCA

原始影像與經 PW2 波段套合處理後的影像。從圖

可發現原始影像的錯位現象相當嚴重，且經 PW2

套合後成果仍然有波段的錯位問題。

(a) (b)

圖1 MiniMCA波段套合錯位現象(a)原始影像錯

位現象(b) PW2 套合成果

由於 PW2 方法對於 MiniMCA 波段套合的不

足，Laliberte et al. (2011)提出了 Local Weighted

Mean Transform (LWMT)方法，在參考影像與套合

影像中的每 128× 128網格內進行影像匹配，由計

算局部區塊的平移量與修正達到波段套合的目的，

且實驗成果證實 LWMT 的平均套合精度約在次像

詹鈞評、饒見有、黃倬英、劉暹、李文慶：應用透視投影轉換進行微型化多相機陣列之波段套合 185

元等級。此外，新版的 PW2 增加入了視場角(Field

of View, FOV) 的計算以改進套合成果，在

Torres-Sanchez et al. (2013)利用旋翼 UAV 搭載

MiniMCA 監測植被的研究中，透過視覺分析認為

此成果與 LWMT 一致。另一方面 Kelcey and

Lucieer (2012)則是針對 MiniMCA 相機提出一系列

的感測器改正程序，包含降低雜訊、輻射改正與相

機透鏡畸變改正等。而在波段套合部份則是利用

ENVI 軟體進行仿射轉換，並且說明有加入透鏡畸

變改正的影像能減低波段套合的錯位問題。

雖然上述方法對 MiniMCA 的波段套合處理方

式不盡相同，但各方法間仍有以下幾點問題存在。

(1) Ye and Shan (2014)提到多光譜影像因對同一地

物具有不同的反射率，會降低自動化匹配的成功率

與準確度。另一方面，人工匹配雖能判釋相同地物

特徵，但其量測精度差且會耗費大量時間。(2)透

鏡畸變的改正相當重要，然而此部分 PW2 卻未考

慮在內，使其波段套合成果仍有顯著的套合誤差。

(3)由於MiniMCA各相機的投影面彼此互不平行，

不符合正形轉換與相似轉換的幾何轉換關係。(4)

除了 LWMT 提及波段套合精度在次像元等級外，

其他研究多僅利用視覺化分析描述套合成果，但

LWMT 法必須每張照片單獨處理，若影像中沒有

足夠特徵將無法使用。

根據上述分析，本研究假設 MiniMCA 各鏡頭

間的幾何關係穩定，具同步拍攝率且不隨各種環境

的變動而有所變化，同時根據其成像機制採用平面

與平面的單一透視中心投影轉換模式，提出一套相

機率定與波段套合程序。首先藉由室內率定場拍攝

影像，計算各鏡頭之內方位參數及相對方位參數，

並經由透鏡畸變修正與相對方位參數獲取透視投

影轉換模式的幾何轉換係數，同時藉由系統性誤差

(包括平移與透鏡畸變)的修正，達到波段套合的目

的。最後則以影像匹配求取套合影像的錯位誤差並

建立精度指標，並以不同波段組合的假色影像進一

步驗證波段套合成果。

2. 研究設備與資料

2.1 MiniMCA 微型化多相機陣列

本研究採用的是具 12 個鏡頭的 MiniMCA-12

窄波段多光譜相機，其能獲取可見光至近紅外光共

12 個不同波段的多光譜影像，對於地物分類能提

供更多元的波譜分析資訊。MiniMCA-12 的外觀如

圖 2 所示，其大小約為 15 cm × 8 cm × 9 cm，重

量約為 1.3 公斤，因此相當適合裝載於 UAV 上，

以獲取高空間與高時間解析度的多光譜影像。其他

特性包含成像幾何、波譜資訊及儲存與輸出設備簡

要介紹如下：

圖 2 MiniMCA-12

成像幾何

MiniMCA-12 的鏡頭採用 9.6 mm 焦距長的定

焦鏡，光圈大小為 f/3.2，採用滾動式快門(Rolling

shutter)，因此載台必須做好防震措施才能避免振動

時拍照所造成的扭曲變形。影像解析度為 1280 ×

1024，像元大小為 5.2 微米，可推得 FOV 約

38° ×31°。而根據三角幾何，影像的空間解析度與

航高和像元大小成正比，並與焦距成反比，故在航

高 800 公尺時可以獲得約 40 cm 空間解析度

(Ground Sample Distance, GSD)之影像。

波譜資訊

MiniMCA-12 採用 CMOS 光學感測晶片，每

個鏡頭前皆裝備光學分辨率 (Full width at half

186 航測及遙測學刊 第二十一卷 第三期 民國 105 年 11 月

maximum, FWHM)為 10 nm 的不同濾鏡，能記錄

450 nm – 950 nm 範圍的波譜資訊，並可儲存為 8

bits 或 10 bits 輻射解析度之格式。表 1 中列出

MiniMCA-12 各台相機編號及其對應的波譜範圍。

其中以 MCA-0 為主鏡頭，各相機的系統參數設定

以該台相機為基準，且亦為波段套合的參考影像。

儲存與輸出

每台相機擁有 2 GB容量的CF(Compact Flash)

卡儲存設備，以 8 bits 資料格式儲存時約能儲存

1600 張相片。在機身上則擁有兩個 USB 1.1 的傳

輸孔分別連結六台相機，藉由連接電腦設備便能進

行影像下載。然而USB 1.1的傳送速率為 1.5 MB/s，

若透過 USB 傳輸 2 GB 的照片則每台相機需花費

22 分鐘，12 台則至少需要四小時以上的時間，故

實際作業建議採用讀卡機讀取 CF 卡內的影像。

2.2 無人飛行載具與航拍測試區

本研究採用的無人飛行載具為天空飛行科技

公司所設計製作之 AL-40 紅鶴 UAV，其最大載重

為 15 公斤，飛行時速可達 110 公里，航行高度則

可達 5000 公尺，其外觀造型如圖 3 所示，詳細酬

載特性整理列於表 2 中。機上除了 MiniMCA-12

影像感測器外，亦搭載了能控制飛行姿態的飛控電

腦、自動影像拍攝系統(Automatic Image Capture

System, AICS)與定位定向系統(GPS/IMU)。

航拍測試區位於台南市七股區，地物內容主要

包含稻田、水體、道路、各種果樹、草地與少數建

物，面積大小約 2 公里乘 2 公里的範圍，實際飛航

高度為 800 公尺，獲取的多光譜影像解析度約為

40 公分。本實驗在單一相機中共拍攝 550 張相片，

UAV 飛行軌跡及測區地面影像如圖 4 所示。

表 1 MiniMCA-12 各相機編號與對應的波譜範圍

編號 MCA-1 MCA-2 MCA-3 MCA-4 MCA-5 MCA-6

波譜 450 nm 510 nm 530 nm 550 nm 570 nm 650 nm

編號 MCA-7 MCA-8 MCA-9 MCA-0 (主) MCA-A MCA-B

波譜 680 nm 700 nm 720 nm 750 nm 780 nm 950 nm

表 2 AL 40 UAV 酬載特性

大小(寬/長) 3 m / 2.4 m 續航力 2 小時

空機重量 20 kg 最大飛行高度 5000 m

最大起飛重量 40 kg IMU NovAtel© SPAN-CPT

最大酬載重量 15 kg GPS 接收儀 NovAtel© ProPak-V3 (雙頻)

巡航速度 110 km/hr 操作範圍 直徑 100 km

圖 3 AL40 UAV 外觀

圖 4 UAV 飛行軌跡與地面測區影像

詹鈞評、饒見有、黃倬英、劉暹、李文慶：應用透視投影轉換進行微型化多相機陣列之波段套合 187

3. MiniMCA-12 波段套合方法

本研究提出之 MiniMCA-12 多相機陣列波段

套合的流程如圖 5 所示，主要包含四大步驟，分別

為(1)系統率定(內方位與相對方位率定)、(2)透視投

影轉換、(3)特徵點匹配與(4)系統性誤差(平移與透

鏡畸變)修正，而各步驟的說明及作法詳述於以下

章節。

3.1 系統率定

由於 MiniMCA-12 是台由 12 個獨立鏡頭組成

的框幅式相機系統，每個鏡頭都有其獨自的內方位

參數，且鏡頭間的相對關係亦是固定不變。因此系

統率定時，在室內率定場透過拍攝多組相片進行內

方位率定與相機間相對方位參數的求解。其中內方

位參數包含焦距(f)、像主點(𝑥𝑝, 𝑦𝑝)、輻射畸變參數

(𝐾1, 𝐾2, 𝐾3)與偏心畸變參數(𝑃1, 𝑃2)；相對方位參數

是描述主相機與其他副相機的相對旋轉角(𝜔, 𝜌, 𝜅)

與相對平移量(𝑉𝑥, 𝑉𝑦, 𝑉𝑧)。

室內率定場是一個可旋轉的圓盤，Rau and Yeh

(2012)等人在此圓盤上佈置 112 個可自動判釋的人

造標，藉由相機拍攝數個不同攝影站的照片，便能

根據附加參數自率光束法平差模型，同時解算相片

在攝影瞬刻的外方位參數與相機的內方位參數。附

加參數光束法平差的數學模型如式(1)所示，而式(2)

為描述透鏡畸變的附加參數。其中𝑚11至𝑚33為相

片由物空間至像空間的旋轉矩陣九個元素，

(𝑋0, 𝑌0, 𝑍0)為相片拍攝瞬刻的局部坐標系統位置，

並已經過人造標上已知之距離觀測量進行尺度轉

換。

根據式(1)與式(2)可以求得 MiniMCA-12 每個

攝影站(各 12 張照片)的位置與姿態。在解算相對

方位時則是以 MCA-0 作為主鏡頭，並根據式(3)

計算其他11台副鏡頭相對於MCA-0的相對方位參

數。在式(3)中，R 為相機的旋轉矩陣並包含式(1)

中的𝑚11至𝑚33九元素，r 為相機的位置向量，CM

表示主鏡頭，而 CS為副鏡頭，M 為局部座標系統。

上下標的表示為不同相機間的轉換關係，如𝑅𝐶𝑆

𝐶𝑀表

示副相機到主相機之旋轉矩陣；𝑅𝐶𝑠𝑀為副相機到局

部座標系統之旋轉矩陣，𝑅𝑀𝐶𝑠則為𝑅𝐶𝑠

𝑀之轉置；𝑟𝐶𝑠𝑀表

𝐶𝑠在局部座標系統的位置向量，其他則依此類推。

透過式(3)，可由𝑅𝐶𝑆

𝐶𝑀旋轉矩陣求得副相機至主相機

的相對旋轉角(𝜔, 𝜌, 𝜅)，及由𝑟𝐶𝑆

𝐶𝑀求得副像機至主相

機的相對平移量(𝑉𝑥, 𝑉𝑦 , 𝑉𝑧)。由於拍攝率定採拍攝多

站資料解算，故取平均值作為率定值，及計算標準

差做為精度指標。

由於在室內光源無法涵蓋 MiniMCA-12 所有

波段的波譜範圍，同時根據 CMOS 的單色響應原

理(Kelcey and Lucieer, 2012)，藍光(450 nm)與紅外

光(950 nm)的感應率最低，使得拍攝時該兩波段的

相機皆無法獲取可清晰辨識的人造標影像。為了克

服此問題，本研究在拍攝時除採用一般日光燈與省

電燈泡外，另外利用高瓦數的鹵素燈增加近紅外光

光源，以及 450 nm 波長的 LED 燈以擴大整體光源

的波譜範圍，圖 6 即為 MiniMCA-12 實際拍攝情

況。

𝑥 − 𝑥𝑝 = −𝑓𝑚11(X − 𝑋𝑜) + 𝑚12(Y − 𝑌𝑜) + 𝑚13(Z − 𝑍𝑜)

𝑚31(X − 𝑋𝑜) + 𝑚32(Y − 𝑌𝑜) + 𝑚33(Z − 𝑍𝑜)+ Δx

𝑦 − 𝑦𝑝 = −𝑓𝑚21(X − 𝑋𝑜) + 𝑚22(Y − 𝑌𝑜) + 𝑚23(Z − 𝑍𝑜)

𝑚31(X − 𝑋𝑜) + 𝑚32(Y − 𝑌𝑜) + 𝑚33(Z − 𝑍𝑜)+ Δy

(1)

188 航測及遙測學刊 第二十一卷 第三期 民國 105 年 11 月

Δx = (�̅�)(𝐾1𝑟2 + 𝐾2𝑟4 + 𝑘3𝑟6) + 𝑃1(𝑟2 + �̅�2) + 2𝑃2�̅��̅�

Δy = (�̅�)(𝐾1𝑟2 + 𝐾2𝑟4 + 𝑘3𝑟6) + 𝑃2(𝑟2 + �̅�2) + 2𝑃1�̅��̅�

�̅� = 𝑥 − 𝑥𝑝, �̅� = 𝑦 − 𝑦𝑝, r = √(x − 𝑥𝑝)2

+ (y − 𝑦𝑝)2

(2)

𝑅𝐶𝑆

𝐶𝑀 = 𝑅𝑀𝐶𝑀 × 𝑅𝐶𝑆

𝑀 (3)

𝑟𝐶𝑆

𝐶𝑀 = 𝑅𝑀𝐶𝑀 × (𝑟𝐶𝑆

𝑀 − 𝑟𝐶𝑀

𝑀 )

系統率定內方位率定 (內方位參數)

相對方位率定 (相對方位參數)

套和誤差分析

透視投影轉換

平移指標 < 0.1

MiniMCA-12

航拍影像MiniMCA-12

室內照片

波段套合成果

Yes

輻射向相關性指標 < 0.6

Yes

透鏡畸變改正(更新內方位參數)

平移修正(更新相對方位參數)

NO

NO

圖 5 MiniMCA-12 相機波段套合法

套合誤差分析

詹鈞評、饒見有、黃倬英、劉暹、李文慶：應用透視投影轉換進行微型化多相機陣列之波段套合 189

圖 6 MiniMCA-12 系統率定拍攝情況

3.2 透視投影轉換

由於 MiniMCA-12 各相機之成像面彼此不平

行，因此如 PW2 利用正形轉換的波段套合成果仍

然存在錯位現象(Laliberte et al., 2011)。另一方面，

Du et al. (2008)利用影像匹配方式針對三台框幅式

相機之波段套合進行研究，比較三種幾何轉換方式

(相似轉換、Thin-Plate Spline 與透視轉換)於波段套

合的成果評估，並藉由影像匹配解算轉換模型的內

部精度與透過人工量測檢驗成果，證明透視轉換的

套合精度優於其他兩者。因此描述多鏡頭框幅式相

機間的幾何關係應利用單一透視中心的透視轉換

模型。

透視投影轉換是基於攝影測量共線條件式，假

設物空間高程為常數所推導而來，式(4)為其常見

的一般式，透過最小二乘法與四個以上的控制點便

能求解這八個係數。然而由於多光譜影像不同波段

間的影像匹配，會因相同地物之反射率差異而降低

匹配成功率及正確率，如藍光(450 nm)與近紅外光

(950 nm)在植被區將會呈現一暗一亮的差異。

式(5)為本研究採用之透視投影轉換公式，與

Cho and Schenk (1992)利用共線條件式求解正規化

影像(Normalized Image)之公式相似，但本研究加

入了鏡頭平移修正以達透視投影的目的。為了避免

利用影像匹配求取幾何轉換參數時容易造成匹配

錯誤與特徵點數量不足或分佈不均等問題，本研究

藉由系統率定成果可直接求得式(5)所需的各元素。

以此方式進行波段套合時須先修正副影像座標

(𝑥𝑠, 𝑦𝑠)的透鏡畸變差(∆𝑥, ∆𝑦)，再利用率定得到的

相對旋轉角(𝜔, 𝜌, 𝜅)所推求的旋轉矩陣係數𝑚11至

𝑚33，將影像修正至彼此平行，再利用相對平移量

(𝑉𝑥, 𝑉𝑦, 𝑉𝑧)改正鏡頭間之差異。轉換過程亦考慮副影

像與主影像焦距長的差異(𝑓𝑠, 𝑓𝑚)，如此能降低套

合誤差且使套合後的影像具有相同的影像尺度。透

過式(5)便能將副影像座標轉換至與主影像空間相

同的座標系統(𝑥𝑚, 𝑦𝑚)，其中主影像僅修正透鏡畸

變差。

式(5)與核影像轉換的一般式不同，波段套合

成果需考慮平移造成的錯位現象，因而加入像座標

平移量的改正。其計算方式為相機相對平移量(𝑉𝑥,

𝑉𝑦)對於地面解析度(GSD)之比例。

𝑥 =𝑎1𝑋 + 𝑏1𝑌 + 𝑐1

𝑎3𝑋 + 𝑏3𝑌 + 1

𝑦 =𝑎2𝑋 + 𝑏2𝑌 + 𝑐2

𝑎3𝑋 + 𝑏3𝑌 + 1

(4)

𝑥𝑚 = −𝑓𝑚

𝑚11(𝑥𝑠 + ∆𝑥) + 𝑚21(𝑦𝑠 + ∆𝑦) − 𝑓𝑠𝑚31

𝑚13(𝑥𝑠 + ∆𝑥) + 𝑚23(𝑦𝑠 + ∆𝑦) − 𝑓𝑠𝑚33+

𝑉𝑥

𝐺𝑆𝐷

(5) 𝑦𝑚 = −𝑓𝑚

𝑚12(𝑥𝑠 + ∆𝑥) + 𝑚22(𝑦𝑠 + ∆𝑦) − 𝑓𝑠𝑚32

𝑚13(𝑥𝑠 + ∆𝑥) + 𝑚23(𝑦𝑠 + ∆𝑦) − 𝑓𝑠𝑚33+

𝑉𝑦

𝐺𝑆𝐷

190 航測及遙測學刊 第二十一卷 第三期 民國 105 年 11 月

3.3 套合誤差分析

本研究雖未利用影像匹配求取幾何轉換參數

進行波段套合，然套合成果的品質不應以主觀的視

覺化分析成果來評估，因此利用影像特徵匹配計算

波段套合誤差做為整體精度指標是比較客觀的方

法(Du et al., 2008)。本研究採用 FAST 角點偵測

(Rosten et al., 2010)先在一張影像中找尋特徵點，

再應用 NCC 區域匹配法(Debella-Gilo and Kääb,

2011)在另一張影像中求解精密的共軛點影像坐標。

由於此二影像皆已經過波段套合，因此可由共軛點

影像坐標計算套合誤差向量(dx, dy)，並計算其長

度的平均值做為整體波段套合精度的指標。為了避

免地物之反射率差異太大造成匹配錯誤，因此在匹

配策略上本研究根據相鄰波段的相關性較高的特

性，以序列式匹配相鄰波段之影像，例如 MCA-1

對 MCA-2，MCA-2 對 MCA-3，….MCA-A 對

MCA-B，如此可以減少波譜反應之差異所造成的

錯誤匹配問題。在匹配設定中，NCC 的罩窗大小

為 31 x 31，相關係數門檻為 0.95，並亦依統計方

式剔除 dx 與 dy 大於三倍中誤差的粗差(Blunder)

以提升共軛點的可靠度及精度指標之合理性。3.4

系統性誤差校正

由於實際的空拍條件與室內拍攝條件不一定

相符，這使得利用室內率定參數進行波段套合的成

果應用於空拍照片時會有些微的系統性誤差，因而

必須進一步修正來降低套合誤差現象 (Simper,

1996)。藉由分析所有特徵點之套合誤差向量(dx,

dy)，可發現誤差來源包含平移與透鏡畸變差兩種，

這也與內方位參數與相對方位率定成果的準確度

有直接關係。因而本研究針對此二系統性誤差建立

兩種指標—平移指標與輻射向相關性指標。其中平

移指標為套合誤差向量(dx, dy)平均之絕對值，輻

射向相關性指標則由 x 與 dx 及 y 與 dy 的統計相關

係數(correlation coefficient)所估算而得。以下說明

在波段套合過程中如何透過此二指標進行平移與

透鏡畸變的誤差修正。

平移修正

若平移指標的 dx 與 dy 平均之絕對值大於 0.1

個像元，表示兩波段間具有整體平移的系統性誤差。

然而微小的平移誤差，其平移量可視為兩相機之相

對旋轉角𝝎與𝝋有微小的變化。由於 MiniMCA 的

IFOV 約為 0.03 度，故若在 x 方向與 y 方向有一個

像元的波段套合誤差，可視為兩相機的相對旋轉角

𝝋與𝜔有 0.03 度的偏移，因此可在透視投影轉換時

更新其相對旋轉角。若 dx 與 dy 平均之絕對值小於

0.1 個像元，則視此誤差不顯著，可略過不予修正。

透鏡畸變修正

輻射向相關性指標為計算 x 與 dx，y 與 dy 的

相關係數，其表示兩變數之間的相關性，故數值越

高表示兩波段間之套合誤差與像座標的位置有高

相關。而觀察其誤差向量圖可以得知，該趨勢與透

鏡畸變現象有關，故可根據式(2)的透鏡畸變公式

重新計算透鏡畸變的改正量，並在波段套合時假設

參考影像沒有透鏡畸變，僅更新套合影像的內方位

參數。當輻射向相關性指標小於 0.6 時，則視此系

統性誤差不顯著，可略過不予修正。

4. 成果分析與討論

4.1 系統率定成果

圖7為MiniMCA-12在系統性率定後之三維視

圖，從圖中可以觀察到拍攝瞬刻各相機的相對位置

與各攝影站之關係，其中單一攝影站則包含 12 鏡

頭所拍攝的影像。圖中共有 83 個攝影站與 996 張

照片，透過自動辨識人造標，再經空三平差求解的

影像坐標後驗中誤差為 0.14 個像元，顯示內方位

率定成果內部精度相當高。

詹鈞評、饒見有、黃倬英、劉暹、李文慶：應用透視投影轉換進行微型化多相機陣列之波段套合 191

圖 7 MiniMCA-12系統率定後各攝影站與人造標之

三維視圖

內方位率定

表 3 整理了 12 台相機內方位率定的成果，在

此統計各相機的焦距、像主點偏移、最大輻射變形

量與最大偏心變形量。而從表可以發現三點：

(1) 焦距的最大與最小值差為 0.18 mm，故在

透視投影轉換過程中，若未考慮焦距長度的差異，

0.18 mm 將在 x 與 y 方向最大分別造成 13 個像元

與 10 個像元的套合誤差，因此透視投影轉換波段

套合時必須修正不同焦距所造成的尺度變化。

(2)MiniMCA-12的像主點坐標在y方向的偏移

量特別顯著，最大偏移量約 50 個像元，約佔整張

影像幅高 5%。由於如此大的偏移量，經糾正後的

影像會在上方有明顯的黑邊現象，因而本研究將影

像重新裁切成 1280×1010，並向上平移 45 個像元

以保留最多的原始影像資訊。

(3)在輻射向透鏡畸變中，雖然 12 個鏡頭的變

形量相當一致，但仍會造成約 21~25 個像元的顯著

偏移，表示輻射畸變的改正相當重要。另一方面，

雖然各鏡頭的偏心畸變差皆小於 1 個像元，但在高

精度波段套合的需求下，偏心畸變的改正仍需考慮

在內。

相對方位率定

由式(3)解算相對方位時本研究共採用了 83 個

攝影站的資料，因此各相機與主鏡頭(MCA-0)之相

對方位成果可以平均值表示，並以標準偏差(Std.)

作為內部精度指標。各副相機相對於主相機的相對

方位率定成果整理於表 4，從中可觀察到以下幾點

現象：

(1)在相對位置部分可發現各鏡頭相對於主鏡

頭的最大偏移約 11 公分，因本研究在航高 800 公

尺下所獲取的影像空間解析度約 40 cm，由式(5)

僅修正約 1/4 個像元的平移量，這表示航高越高時

此平移量的修正越不重要。

(2)在相對旋轉角部分，由於𝝎角與𝝋角並非 0

度，表示相機的成像面彼此互不平行，這說明應用

正形轉換或相似轉換進行波段套合並不合理。而在

率定的標準偏差中發現𝜿角的率定精度為𝝎角與𝝋

角的五倍，表率定精度相當高，因此在後續的系統

性誤差的修正中不需要考慮到𝜿角造成的影響。另

一方面，進一步比較𝝎角與𝝋角的標準偏差，發現

其最大值約為 0.03 度，相當於一個像元的 IFOV，

這表示在一倍中誤差的範圍內，經透視投影轉換後

最大會有約 1 個像元的不確定性。

表 3 各鏡頭內方位參數成果

焦距(mm) 𝒙𝒑 (像元) 𝒚𝒑 (像元) 輻射畸變(像元) 偏心畸變(像元)

MCA-0 9.76 -3.4 48.2 21.9 0.4

MCA-1 9.82 7.8 32.9 23.2 0.2

MCA-2 9.71 -3.5 44.4 25.0 0.3

MCA-3 9.77 -6.0 48.5 24.7 0.3

MCA-4 9.89 -6.1 30.2 25.0 0.2

MCA-5 9.76 -2.7 24.6 24.2 0.6

192 航測及遙測學刊 第二十一卷 第三期 民國 105 年 11 月

MCA-6 9.76 7.4 44.0 24.6 0.7

MCA-7 9.76 5.9 29.2 24.2 0.2

MCA-8 9.78 -3.0 45.5 24.0 0.8

MCA-9 9.77 -1.2 45.7 24.8 0.4

MCA-A 9.82 -1.1 23.9 24.2 0.1

MCA-B 9.90 -3.3 25.3 24.3 0.3

表 4 副鏡頭相對於主鏡頭的相對方位率定成果

平均值

副相機 相對平移量(mm) 相對旋轉角(°)

𝑉𝑥 𝑉𝑦 𝑉𝑧 𝜔 𝜑 𝜅

MCA-1 -0.19 -34.12 -1.16 -0.37 -0.38 -0.60

MCA-2 -67.98 0.82 -2.87 -0.10 0.03 -0.80

MCA-3 -34.05 0.47 -3.62 0.03 0.03 -0.42

MCA-4 -68.53 -32.96 -3.97 -0.49 0.00 -0.53

MCA-5 -34.46 -33.54 -3.21 -0.66 -0.05 -0.84

MCA-6 -0.89 -75.57 -1.64 -0.15 -0.28 -0.68

MCA-7 -1.26 -109.59 -1.30 -0.51 -0.28 -1.04

MCA-8 -68.95 -74.55 -1.31 -0.08 -0.11 -0.48

MCA-9 -35.07 -74.99 -1.33 -0.04 -0.07 -0.17

MCA-A -69.42 -108.55 -0.92 -0.66 -0.15 -0.46

MCA-B -35.44 -109.04 -2.34 -0.64 -0.06 -0.37

標準偏差

副相機 相對平移量(mm) 相對旋轉角(°)

𝑉𝑥 𝑉𝑦 𝑉𝑧 𝜔 𝜑 𝜅

MCA-1 0.86 0.81 0.59 0.594 0.030 0.032

MCA-2 0.48 0.49 0.76 0.758 0.019 0.018

MCA-3 0.45 0.44 0.94 0.943 0.018 0.018

MCA-4 0.60 0.70 1.19 1.187 0.027 0.021

MCA-5 0.42 0.38 0.90 0.901 0.016 0.018

MCA-6 0.33 0.34 0.67 0.665 0.014 0.014

MCA-7 0.44 0.40 0.66 0.656 0.016 0.019

MCA-8 0.37 0.39 0.59 0.592 0.016 0.018

MCA-9 0.55 0.51 0.59 0.589 0.020 0.022

MCA-A 0.48 0.31 0.70 0.699 0.013 0.022

MCA-B 0.57 0.49 0.74 0.744 0.019 0.025

詹鈞評、饒見有、黃倬英、劉暹、李文慶：應用透視投影轉換進行微型化多相機陣列之波段套合 193

4.2 套合誤差評估

圖 8 (a)-(d)中展示了 MCA-0 與 MCA-9 兩相機

在各階段波段套合後，利用特徵匹配獲得之套合誤

差向量圖，同時各階段的平移指標、輻射向相關性

指標與套合誤差平均長度皆整理於表 5 中。

圖 8 (a)為未經任何改正的原始影像套合誤差

向量圖，可明顯發現如漩渦般的錯位現象，且誤差

向量平均長度可大至 5.7 個像元。圖 8 (b)為經透視

投影轉換後的套合誤差向量圖。由表 5 的統計資料

發現雖其平均長度驟降至 1.13 個像元，但在其套

合誤差向量圖中仍可發現很一致的系統性偏移現

象，且其平移指標與輻射向相關性指標數值亦高於

門檻，這表示仍有進一步修正的必要。而經平移量

修正與更新相對方位旋轉角(𝝎角與𝝋角)後，重新

經透視投影轉換後之套合誤差向量則如圖 8 (c)所

示，該圖顯示僅剩透鏡畸變現象造成的問題，而由

表 4 統計中顯示不僅平移指標小於 0.1 個像元，誤

差向量平均長度亦降至 0.66 像元。最後再經透鏡

畸變改正的套合誤差向量展示於圖 8 (d)，其整體

誤差下降至 0.3 個像元，同時其輻射向相關性指標

亦由原先的高相關(0.79, 0.73)，降至低相關或不相

關的現象(-0.12,0.27)，表示整體之套合誤差已不帶

有系統性。

上述僅針對 MCA-0 與 MCA-9 兩個波段的套

合成果進行分析，證明透視投影轉換與系統誤差修

正能達到最佳的波段套合成果。接著，本研究針對

其他相鄰波段的組合，亦進行相同的套合誤差分析。

圖 9 圖彙整 11 種波段組合套合誤差向量的最大、

最小、平均及標準偏差(STD)。由此圖可明顯發現

各階段之波段套合誤差向量平均長度及標準偏差

皆呈下降的趨勢，且整體套合誤差在 0.2-0.55 個像

元之間，已可符合遙測影像分析各種應用的精度需

求。

(a)原始影像的套合誤差向量圖

(b)經透視投影轉換後的套合誤差向量圖

(C)經平移量改正的套合誤差向量圖

(d) 經平移量改正與透鏡畸變修正的套合誤差向量圖

圖 8 MCA-0對MCA-9在各階段波段套合後之套合誤差向量圖

194 航測及遙測學刊 第二十一卷 第三期 民國 105 年 11 月

圖 9 各階段 11 組套合誤差的統計圖表

表 5 各階段套合誤差統計量

參考圖

平移指標 輻射向相關性指標 誤差向量

平均長度 |dx| |dy| x to dx

相關係數

y to dy

相關係數

(a) -2.57 2.84 0.59 0.56 5.70

(b) -0.46 0.93 0.79 0.81 1.13

(c) -0.04 -0.16 0.79 0.73 0.66

(d) -0.03 -0.04 -0.12 0.27 0.30

4.3 波段套合成果

圖 10 對比一組 MiniMCA-12 原始影像與經透

視投影轉換波段套合之成果，其中(a)與(b)是原始

影像與透視投影轉換後的假色影像，而(c)與(d)則

是對應的水平與垂直方向的灰階變化剖面圖。以視

覺分析未經任何糾正的原始影像因套合誤差而產

生重影現象，且從水平與垂直剖面圖中亦觀察到各

波段間有嚴重錯開的問題。然而應用本研究提出之

波段套合程序後，圖 10 (b)與(d)顯現了良好的波段

套合成果。另一方面，圖 11 展示一組 MiniMCA-12

波段套合影像，12 個波段以四種不同的 RGB 顏色

組合，亦呈現良好的套合成果。顯示本研究在系統

性修正時雖然僅針對相鄰波段進行特徵匹配，但最

後與其他波段之套合成果仍可達到相當可靠與準

確的成果。

(a)原始影像(2%線性增揚)

(R, G, B: 750nm, 570nm, 540nm)

(b)波段套合成果(2%線性增揚)

(R, G, B: 750nm, 570nm, 540nm)

詹鈞評、饒見有、黃倬英、劉暹、李文慶：應用透視投影轉換進行微型化多相機陣列之波段套合 195

(c)原始影像之水平與垂直灰階變化剖面圖 (d)套合影像之水平與垂直灰階變化剖面圖

圖 10 原始影像與波段套合影像之成果比較

(a) (R, G, B: 720 nm, 570 nm, 450 nm)

(b) (R, G, B: 750 nm, 650 nm, 510 nm)

(c) (R, G, B: 780 nm, 680 nm, 530 nm)

(d) (R, G, B: 950 nm, 700 nm, 550 nm)

圖 11 MiniMCA-12 各波段在不同 RGB 顏色組合下的套合成果

5. 結論

多鏡頭多光譜影像的波段套合在遙測影像分

析前是必須克服的問題，未經修正的影像會造成顯

著的錯位現象，而無法精確分析地物的波譜反射值

以進行後續的精緻農業、地物分類、生物質量監測

等遙測應用。對於本研究採用的 MiniMCA-12 相機

陣列系統，因各鏡頭的透視中心、觀測方向與透鏡

畸變皆不同，會造成顯著的錯位現象，這使得波段

套合在此類攝影系統下更顯得其重要性。本研究根

據其成像幾合特性，提出一波段套合程序，包含系

統性率定、透視投影轉換、特徵點匹配與系統性誤

差修正等步驟，經一系列的改正及量化精度指標與

視覺化分析套合成果，證明能達到 0.2 - 0.55 個像

196 航測及遙測學刊 第二十一卷 第三期 民國 105 年 11 月

元的套合精度，足以符合遙感探測各種應用的精度

需求。

理論上若 MiniMCA-12 相機系統穩固不變，僅

需進行一次系統率定便能應用於不同時期收集的

影像資料上。同時對於擁有相同設計理念的多相機

系統，只要其相對關係穩定不變，亦可採用本研究

提出的系統率定、透視投影轉換與系統性誤差修正

程序，以達高精度波段套合的需求。未來工作有必

要持續觀察與評估 MiniMCA-12 相機系統的穩定

性，同時開發正射糾正與輻射改正程序，以符合地

物判釋與多時期影像分析之需求。

參考文獻

Bay, H., Ess, A., Tuytelaars, T., and Van Gool, L.,

2008. Speeded-Up Robust Features (SURF).

Computer Vision and Image Understanding,

110:346-359.

Berni, J., Zarco-Tejada, P.J., Suarez, L., and Fereres,

E., 2009.Thermal and Narrowband Multispectral

Remote Sensing for Vegetation Monitoring

From an Unmanned Aerial Vehicle. IEEE

Transactions on Geoscience and Remote

Sensing, 47:722-738.

Calderón, R., Navas-Cortés, J.A., Lucena, C., and

Zarco-Tejada, P.J., 2013. High-resolution

airborne hyperspectral and thermal imagery for

early detection of Verticillium wilt of olive using

fluorescence, temperature and narrow-band

spectral indices. Remote Sensing of

Environment, 139:231-245.

Cho, W., and Schenk, T., 1992. Resampling Digital

Imagery to Epipolar Geometry, IAPRS

International Archives of Photogrammetry and

Remote Sensing, pp. 404-408.

Dawn, S., Saxena, V., and Sharma, B., 2010. Remote

Sensing Image Registration Techniques: A

Survey, in: Elmoataz, A., Lezoray, O., Nouboud,

F., Mammass, D., Meunier, J. (Eds.), Image and

Signal Processing. Springer Berlin Heidelberg,

pp. 103-112.

Debella-Gilo, M., and Kääb, A., 2011. Sub-pixel

precision image matching for measuring surface

displacements on mass movements using

normalized cross-correlation. Remote Sensing of

Environment, 115:130-142.

Du, Q., Raksuntorn, N., Orduyilmaz, A., and Bruce,

L.M., 2008. Automatic Registration and

Mosaicking for Airborne Multispectral Image

Sequences. Photogrammetric Engineering &

Remote Sensing, 74:169-181.

Kelcey, J., and Lucieer, A., 2012. Sensor Correction

of a 6-Band Multispectral Imaging Sensor for

UAV Remote Sensing. Remote Sensing,

4:1462-1493.

Laliberte, A.S., Goforth, M.A., Steele, C.M., and

Rango, A., 2011. Multispectral Remote Sensing

from Unmanned Aircraft: Image Processing

Workflows and Applications for Rangeland

Environments. Remote Sensing, 3:2529-2551.

Lowe, D.G., 2004. Distinctive Image Features from

Scale-Invariant Keypoints. International Journal

of Computer Vision, 60: 91-110.

Rau, J.Y., and Yeh, P.C., 2012. A Semi-Automatic

Image-Based Close Range 3D Modeling

Pipeline Using a Multi-Camera Configuration.

Sensors, 12:11271.

Rosten, E., Porter, R., and Drummond, T., 2010.

Faster and better: a machine learning approach

to corner detection. IEEE Transactions on

Pattern Analysis and Machine Intelligence, 32:

105-119.

Sankaran, S., Maja, J.M., Buchanon, S., and Ehsani,

R., 2013. Huanglongbing (citrus greening)

detection using visible, near infrared and

thermal imaging techniques. Sensors (Basel),

13:2117-2130.

Simper, A., 1996. Correcting general band-to-band

misregistrations, Image Processing, 1996.

Proceedings., International Conference, 592:

597-600.

Torres-Sanchez, J., Lopez-Granados, F., De Castro,

A.I., and Pena-Barragan, J.M., 2013.

Configuration and specifications of an

Unmanned Aerial Vehicle (UAV) for early site

specific weed management. PloS one 8, e58210.

Ye, Y., and Shan, J., 2014. A local descriptor based

registration method for multispectral remote

sensing images with non-linear intensity

differences. ISPRS Journal of Photogrammetry

and Remote Sensing, 90:83-95.

Zitová, B., and Flusser, J., 2003. Image registration

methods: a survey. Image and Vision Computing,

21:977-1000.

詹鈞評、饒見有、黃倬英、劉暹、李文慶：應用透視投影轉換進行微型化多相機陣列之波段套合 197

1 Ph.D. Student, Department of Geomatics, National Cheng Kung University Received Date: Apr, 14, 2014 2 Associate Professor, Department of Geomatics, National Cheng Kung University Revised Date: Jun. 21, 2016 3 Associate Professor, Department of Geography, National Taiwan University Accepted Date:Aug. 16, 2016 4 Director of Technical Developer, GEOSAT Aerospace Co., Ltd. 5 General Manager, Aeroland UAV Inc.

* Corresponding Author, Phone: 06-2757575 #63812, E-mail: riddle0104@hotmail.com

Band Registration for Miniature Multiple Camera Array through

Perspective Transformation

Jyun-Ping Jhan1* Jiann-Yeou Rau2 Cho-Ying Huang3 Kircheis Liu4 William Lee5

ABSTRACT

Miniature Multiple Camera Array (MiniMCA) is a frame-based multispectral sensor, which compose of

multiple cameras with different filters to acquire images range from visible light to near infrared. Due to its light

weight and small size, it is suitable for mounting on an Unmanned Aerial Vehicle (UAV) for acquiring high

spatial, high temporal, and multispectral imagery. However, since all cameras have different perspective centers

and view directions as well as different lens distortion effects, which will result in significant

band-misregistration phenomena on the original images. In this study, a band registration scheme based on

perspective transformation is thus proposed for MiniMCA sensor. It starts from indoor camera calibration to

obtain the interior orientation parameters (IOPs) and relative orientation parameters (ROPs). Next, the slave

images are transferred into the master camera’s image space through perspective transformation, where the

coefficients are directly acquired from the estimated IOPs and ROPs. In the end, a systematic error correction

(including displacement removal and lens distortion correction) is adopted to minimize the band misregistration

effect. Through visual comparison and quantitative accuracy assessment, the experimental results show that the

average of band misregistration errors are between 0.2 - 0.5 pixels, which proves that the accuracy of the

proposed scheme is accurate and satisfy the demand of remote sensing applications.

Keywords: MiniMCA, multispectral image, UAV, band registrati