自動化光學檢測發展趨勢 -...

自動化光學檢測發展趨勢自動化光學檢測發展趨勢(Automated Optical Inspection, AOI)

范光照教授范光照教授

台灣大學機械系

(2012)(2012)

Automation DivisionNational Science Council

何謂機械視覺？何謂機械視覺？

『機械視覺 (M hi Vi i )為『計算機視覺 (C『機械視覺』(Machine Vision)為『計算機視覺』(Computer Vision) 在工業及生產製造的運用。

『計算機視覺』允許計算機抽取影像中的資訊。

機械視覺運用在生產製造中的檢查稱為自動光學檢查(Automated Optical Inspection)稱為自動光學檢查( p p )


AOI重要性及未來發展

近年來由於新興產業之興起，如IC、PCB、LCD、BGA、通訊等等必須做到百分之百的全檢少數廠商已開始致力於訊等等，必須做到百分之百的全檢，少數廠商已開始致力於精密量測系統之發展。然而，大多數仍歸屬於電子儀器類。除了電性檢驗外，尺寸及表面瑕疵檢測也是必須項目，AOI除了電性檢驗外尺寸及表面瑕疵檢測也是必須項目 AOI設備的產業時代顯然已經來臨，它具有以下特質：

使用者：不影響線上製程、新興產業少不了它、價格昂貴、絕大部分進口、維護更新不易。

製造者：需要高進入技術門檻，產品少量多樣，光-機-電-資訊技術整合，人才取得不易，附加價值高。

研究單位：具有設備研發人力與技術。

學術單位：具有影像處理研發能力。


AOI定義(廣義)

廣義的AOI設備為結合光學感測系統、訊號處理系統及分析軟體應用層面可有：體，應用層面可有：

宇宙探測太空計畫宇宙探測:太空計畫。遙測:航空遙測、衛星遙測。生物醫學 X射線成像同位素成像超音波成像生物醫學:X射線成像、同位素成像、超音波成像。工業生產:生產品質檢測。軍警指紋比對字形辨認 (筆跡) 人像比對文件識別軍警:指紋比對、字形辨認 (筆跡)、人像比對、文件識別。機械視覺:機器人控制、無人駕駛汽車。多媒體技術教學美工廣告大眾傳播多媒體技術:AOI教學、美工廣告、大眾傳播。


AOI應用範例

宇宙探測宇宙探測

( ) (b)

(a)為經太空望遠鏡拍攝傳回地面之玫瑰星雲影像圖(b)為太

(a) (b)


陽日珥影像圖

AOI應用範例

生物醫學

(a) (b)

(a)為影像技術於生醫科技上在人體眼球檢驗的應用。(b)為利用影像技術於生物細胞檢驗上之應用。


用影像技術於生物細胞檢驗上之應用

AOI應用範例

生物醫學

( ) (b)(a) (b)

(a)為利用超音波與影像分析技術與生物腫瘤檢驗之應用。(b)為人體電腦斷層掃瞄之影像圖檔


人體電腦斷層掃瞄之影像圖檔。

AOI應用範例

氣象遙測氣象遙測

(a)、(b)為太空衛星偵測到之颱風眼及外圍環流彩色影像圖

(a) (b)


(a) (b)為太空衛星偵測到之颱風眼及外圍環流彩色影像圖

AOI應用範例:地形遙測

台中地區地形高度干涉影像台中地區地形高度干涉影像

Google Earth of NTU Map


AOI應用範例

科學、文化研究

(a) (b)(a)為畫作原始影像圖。(b)為畫作經影像處理後還原影像原始風貌使清


( ) ( )晰度等較明顯之影像圖。

3D輪廓掃瞄3D輪廓掃瞄Scanning the David

height of gantry: 7.5 metersweight of gantry: 800 kilograms


The importance of viewpointThe importance of viewpoint


classic 3/4 view left profile

AOI定義 (狹義)

狹義的AOI設備為目前急需於工業上使用的，如:

IC及一般電子業：PCB、BGA、LCD螢幕、被動元件形狀腳位及定位、生產插件、晶元(Wafer)鏡面研磨、生產組裝、被動元件辨識MEMS 元件MEMS 元件機械工具/自動化機械：零件尺寸、外形、瑕疵檢測、零件分類比對、裝配定位、加工定位、熔焊檢測

電機工業：控制器紅外線熱像儀檢測、電線瑕疵、裂縫檢測、纜線配置檢測電機工業：控制器紅外線熱像儀檢測電線瑕疵裂縫檢測纜線配置檢測

金屬鋼鐵業：鋼板尺寸檢測、表面瑕疵檢測、鑄件瑕疵檢測、材料金像檢測

橡膠/塑膠製品：保特瓶口尺寸檢測、製品顏色分類檢測食品加工/包裝業：瓶內液位高度、異物或灰塵檢測、包裝印刷辨識、打印字形及食品加工/包裝業：瓶內液位高度、異物或灰塵檢測、包裝印刷辨識、打印字形及零件編號檢測與識別

紡織皮革工業：表面針織紋路檢測、色差檢測、皮革表面特性檢測

汽車工業：陶軸裁切定位、零件塗黃油檢測、白車身檢驗汽車工業：陶軸裁切定位、零件塗黃油檢測、白車身檢驗

家電/辦公：產品外殼印刷檢測、1維/2維條碼辨識保全/監視系統：人像特徵辨識、指紋辨識等


AOI工業檢測應用範例

熱影像檢測

IC表面溫度變化之紅外線影像圖。棕色代表較高溫，藍色代表較低溫。


，藍色代表較低溫。

AOI電子產業應用範例

電子產業OCR應用

LCD字形辨識與檢測之應用零件上刻印字元



文字辨識(OCR) 彩色條紋辨識文字辨識(OCR) 彩色條紋辨識



利用影像檢測技術分析基板切割

(a) (c)

( )正常切割道狀況(a)正常切割道狀況

(b)切割道偏移

(c)切割道偏移及崩陷


(b)


IC腳位檢測



Wire Bond Inspection



PCB Inspection

(a) (c)

利用影像檢測技術分析PCB電路上有關

(a) Under Etch,(b)Short and Line Break,(c)Scratch情況。

Automation DivisionNational Science Council(b)


電子產業BGA應用


範例(二)微三維量測


IC產業應用範例

Macro Defect InspectionStepper DefocusBad Resist Spin

Resolution 50µm

Tweezers Hot SpotsBad Spin Scratches

Tweezers Marks

Hot Spots

Scratches


AOI光電產業應用範例

Light Guide Plate

Alignment of optical switchFerrule

Fiber connectorAlignment of optical switch


CD tracks

AOI紡織工業應用範例

紡織品桶紗檢驗



塑膠工業: 保特瓶口

保特瓶口尺寸檢測Automation DivisionNational Science Council

保特瓶口尺寸檢測

AOI模具工業應用範例

三維影像量測

米老鼠三維影像量測


範例(三) 逆向工程


範例(四) 白光干涉儀


AOI產業面臨的困難

6

7

3

4

5

1

2

3

0

付款

期限

過長

成為

無形

成本

人才

取得

困難

投資

資金

龐大

國外

廠商

競爭

投資

不具

利基

先進

廠商

抗衡

開發

能力

不足

缺乏

驗證

其他

客戶

付款

售後

服務

成為

人才

研發

及設

備投

資

商規

模小

難以

和國

外

需求

市場

有限

，投

資

技術

難以

和國

外先

進

技術

開發

國內

廠商

規

下游

需求

技術

資料來源工研院量測中心問卷調查


資料來源：工研院量測中心問卷調查(2008/03)

AOI產業待解決之關鍵議題

6

7

3

4

5

1

2

3

0

於國

外廠

商手

不利

研發

投入

費需

求龐

大

為無

形成

本

術人

才不

足

外廠

商抗

衡

入成

本過

高

其他

軟體

技術

掌控

於國

需求

市場

有限

，不

利

研發

投資

經費

售後

服務

成為

高階

技術

難以

和國

外

零組

件購

過入

Libr

ary軟

下游

需求

資料來源工研院量測中心問卷調查


資料來源：工研院量測中心問卷調查(2008/03)

國內外廠商差異比較分析國內外廠商差異比較分析（（22））優：優：◎◎ 良：良：○○ 較差：較差：△△

國外主要廠商我國主要廠商

員工人數 ◎◎ ○○員工人數 ◎◎ ○○

財務 ◎◎ △△

行銷 ◎◎ ○○行銷 ◎◎ ○○

研發 ◎◎ △△

技術整機 ◎◎ ○○技術–整機 ◎◎ ○○照明系統 ◎◎ △△

取像系統取像系統 ◎◎ △△

機電控制系統 ◎◎ ◎◎


資料來源：工研院IEK 34

影像處理與分析 ◎◎ ◎◎

AOI檢測技術魚骨圖

影像光學設計機台設計製造系統整合技術

對比增強技術

CCD 校正光源及雷射

精度檢測整機結構測試

定位與回饋控制

掃描機構

CCD選取及評估機構設計

有限元分析

系統校正及誤差補償

CCD 校正

鏡頭設計選取

光源及雷射

模組化零

組件

定位與回饋控制取像及控制電路

光路設計軟體

有限元分析

光機電軟整合

結構測試自動化組件

點處理線處理特徵萃取瑕疵檢測

化光學檢

二值化

特徵萃取

自勳聚焦 2D幾何尺寸3D形貌

影像分割

次像素運算

型態學

影像標記

檢測技

影像前處理影像後處理檢測應用

座標轉換邊界搜尋影像標記術


影像前處理影像後處理檢測應用

AOI技術魚骨圖(3D)

其他:光譜法、螢光法、红外光法、X-ray、OCT、橢偏法、頻閃法等可做材質、斷層掃描及動態量測


量測

採用國產AOI設備的優點

1. 系統軟體自行發展，容易更新或要求加入特別功能

2. 不是 In-line設備，廠商易於接受試用並與國外設備比較

3 維修處理快速，語言溝通容易3. 維修處理快速，語言溝通容易

4. 容易系統整合整廠連線

5. 容易做精度校正及誤差補償以提高系統精度

價格低6. 價格低


AOI儀器系統組成AOI儀器系統組成

照明系統光源選擇照明系統---光源選擇取像系統---鏡頭、CCD(Line&Area)、影像擷取卡機電控制系統照明取像曝光定位平台機電控制系統---照明、取像曝光、定位平台影像處理與分析—影像前處理、3D重建、圖形辨識(Pattern Recognition)、瑕疵分類、瑕疵驗證(Verification)Recognition) 瑕疵分類瑕疵驗證(Verification)

國內廠商技術---系統整合，缺自有軟體


AOI設備規格需求(PCB 2D Inspection)CCD

High Precision X-Y table High Resolution CameraFast inspection

Defects Detected: Shorts, Opens, line/space violations, nicks, protrusions, pinholes,nicks, protrusions, pinholes, missing/excess features, etc.

Inspection Methods: DesignInspection Methods: Design rules Reference comparisonH b idHybrid


AOI Machine


Example: Orbotech SpironExample: Orbotech Spiron

. Inspection + Verification

• line width/space: 2 8 mils• line width/space: 2~8 mils

Scan time: 36 sec ( for 2 mils),Scan time: 36 sec ( for 2 mils), 18 sec for 5 mils (18”x24”)


PCB Defect ClassificationPCB Defect Classification

PCB 底片PCB 底片檢查機

PCB 內層板檢查機

PCB 錫高檢查機

PCB 空板檢查機檢查機

PCB 插件板查Automation DivisionNational Science Council

檢查機

TFT-LCD截切面圗


我國LCD產業結構劍度

勝華科技和鑫光電南亞塑膠

精工美術

輔祥實業先益電子大億電子元律科技台灣康寧

協臻光電力特光電汎納克佳友化學

正太科技

劍度錸德科技勝華科技

聯電合泰

華邦茂矽

上游

生

產

生

奇美電子世界巔峰

元律科技中強光電

玻璃基板液晶彩色濾光片偏光膜 ITO玻璃背光膜組驅動IC

台灣康寧旭硝子台灣默克

佳友化學日東電工

勝華科技默克光電

華邦茂矽凌陽

游材料

產

製

造

產

製

TN LCD TFT LCDSTN LCD中游面板

設

備

製

造

勝華光聯

碧悠美組

華映勝華南亞光聯碧悠國喬凌巨訊倉全台晶像

華象高雄日立台灣愛普生

友達奇美華映廣輝瀚宇彩晶統寶群創元太

板模組

設

模組廠商達威久正所羅門夏普電子泉毅晶彩眾福上靖三富終日新等十多家下

游應

備

影視產品消費產品資訊產品通訊產品儀表產品攜帶電視VCD player

家電產品手錶

筆記型電腦

LCD Monitor行動電話

汽車導航工業儀表

醫療儀表

應用產業


投影機LCD TV

計算機LCD Monitor數位相機 PDA

汽車導航呼叫器視訊電話

醫療儀表飛行儀表

資料來源：PIDA / 中科院二所整理

LCD Process and AOI


LCD檢測設備與分類


薄膜電晶體(TFT)面板(LCD)缺陷示意薄膜電晶體(TFT)面板(LCD)缺陷示意


薄膜電晶體製程之缺陷

白光干涉儀檢測白光干涉儀檢測


Color Filter之缺陷

IR-MURA (色彩不均勻) IRO-ZURE錯誤對位

SIMI基板上有污點微觀缺陷基板上有污點


G6檢查機3D設計圖


Mask Inspection and Subpixel Edge Detection


Apple Industry

iPh & iP d tl i f t d i iiPhone & iPad urgently require fast and precisionAutomated Optical Inspection equipment

Problem: Extreme mass production, Labor cost increasing

Items: PCB, FPCB, connector, panel, coatingRequirements: circuit test, dimension & defect inspections


Example: Mobile Panel Defects InspectionOil stain

S hSt i HoleScratch EdgeStripe


重點發展策略

技術發展五大趨勢 :a.檢視高速化 b.分辨能力微小化 c.軟體智慧化 d.應用多元化 e.系統模組化

技術瓶頸 :a.軟體分析方法 b.影像解析度 c.光源均勻性 d.檢測速度 e.檢測穩定度

未來技術方向 :未來技術方向 :a.多CCD b. PC-based c. Multi-Processor d.3D AOI技術

e 多層顯微AOI技術 f 結合SPC技術提高良率改善製程e.多層顯微AOI技術 f.結合SPC技術提高良率改善製程

欠缺人才:

a.系統分析 b.軟體設計 c.機構設計 d.系統整合 e.光電測試

e.製程改善 f.行銷企劃


e.製程改善 f.行銷企劃

我國我國AOIAOI設備業者營運發展現況設備業者營運發展現況（（11））

•德律•宏瀨•由田•由田•揚博•良瑞•先鋒

•均豪•晶彩•盟立瑞耘

先鋒•捷智•志盛•致茂

•瑞耘•中華聯合•威控旭東

致茂•智泰•旭東•牧徳

•東捷•恆昌



我國我國AOIAOI設備業者營運發展現況設備業者營運發展現況（（22））我國我國AOIAOI設備業者營運發展現況設備業者營運發展現況（（22））ICIC產業產業

前段前段我國我國AOIAOI廠商現況廠商現況

技術技術逐漸趕上逐漸趕上前段前段

我國廠商習於直接向外我國廠商習於直接向外國國AOIAOI廠商購買，我國廠廠商購買，我國廠商難以切入商難以切入

技術技術逐漸趕上逐漸趕上

下游廠商接受意願較大下游廠商接受意願較大

資本額小資本額小商難以切入商難以切入後段後段

我國設備廠商佔有率我國設備廠商佔有率逐逐

資本額小資本額小

研發所佔比重低研發所佔比重低

下游廠商要求現場人力下游廠商要求現場人力我國設備廠商佔有率我國設備廠商佔有率逐逐漸提高漸提高

FPDFPD產業產業AA

下游廠商要求現場人力下游廠商要求現場人力配合，故人力受限配合，故人力受限

缺乏人才缺乏人才ArrayArray欲切入者較少欲切入者較少

Cell&ModuleCell&Module

缺乏人才缺乏人才

Cell&ModuleCell&Module我國廠商紛紛欲跨入我國廠商紛紛欲跨入



AOI的核心技術

AOI基本程式庫開發，國內大部分的AOI設備開發廠商均是採購各硬軟體做系統整合的方式少部份近年來已逐漸可自行發展各硬軟體做系統整合的方式，少部份近年來已逐漸可自行發展AOI軟體，但仍有廣大的發展空間。(e.g. Mill, WIT)

國產化雙軸移動機台，國內的AOI製造廠幾乎都少用國產元件來組裝各軸之精密定位平台，故研發國內可共用的XY精密定位機台技術亦為急需發展的核心技術、功能需達：定位精度3µm 重覆性技術亦為急需發展的核心技術、功能需達：定位精度3µm, 重覆性±2µm

光源分析軟體與打光技術光源種類繁多(如各不同波長光不同光源分析軟體與打光技術，光源種類繁多(如各不同波長光、不同種類燈管)，何種檢測需配何種光源？所選光源須從何角度投入？這些問題都須有一分析及模擬軟體來事先評估。這些問題都須有一分析及模擬軟體來事先評估

(new) 高速影像運算之晶片，將可協助AOI系統發展效率之大幅提升。


提升。

斜角度法 BGA Inspection斜角度法—BGA Inspection

V1V2Light Source

Light Source


2D View 3D View SCANNER Co.

Lighting Technology on Hard Disk

Condensing light source

Unique incidence angleUnique incidence angle and peak frequency

High resolution lens and id tiwide-range zoom ratio

Visualization ability equals to 10 billion pixels

Automation DivisionNational Science CouncilVision Psytec Co.

關鍵技術研究 (1)A. 2D尺寸量控及多功能量測技術建議可選擇「影像量測+控制」所須相關的應用技術,如：

a1. 多軸精密校準定位技術：如光纖校準、nxm光開關組裝校準、微結構封裝、IC校準技術、微器件精密定位等等定位精度指標最終需構封裝、IC校準技術、微器件精密定位等等, 定位精度指標最終需達到0.1µm

a2. 基板精密定位及切割技術：如PCB/BGA/軟板精密定位、 LCD玻璃基板切割晶圓分割等等都需用影像輔助定位璃基板切割、晶圓分割等等都需用mask影像輔助定位

a3. 液晶ODF (one drop fill)技術，ODF需要精密的位置及高度影像量測技術並控制快速液晶滴入噴頭，週圍專利限制重重、產值極高，測技術並控制快速液晶滴入噴頭週圍專利限制重重產值極高是一應積極鼓勵的開發項目

a4. 多功能2D尺寸量測：LCD可同時檢測CD(critical dimension)及OL ( l )偏移在C/F2D尺寸量測檢測中順便看M 不同灰階值(overlay)偏移，在C/F2D尺寸量測檢測中順便看Mura不同灰階值，具VCR功能(自動判讀玻璃的Data code)及定點拍照可變焦聚功能等等。


等

關鍵技術研究(2)

B. 2D表面瑕疵檢測技術

b1. 高速高解析度2D影像掃瞄瑕疵檢測技術：動態取像、影像疊合、圖形判別、瑕疵分類應用(導線架、銅箔版、熱鋼板、小零件

PCB BGA b t t 等等)、PCB、BGA substrate等等)。

b2 數位彩色影像處理：色度校正、彩色座標系統、圖形識別、2Db2. 數位彩色影像處理：色度校正彩色座標系統圖形識別 2D瑕疵分類應用(PCB綠漆板、Monitor、LCD、Shadow mask、布匹等等)。

b3. LCD Cell Pad inspection function (不只是TFT pattern, 連旁邊的電路都要檢測)的電路都要檢測)

b4. (new) Line Scanner介面技術 : 標準化、快速、鏡頭設計Automation DivisionNational Science Council

b4. (new) Line Scanner介面技術 : 標準化快速鏡頭設計


C. 3D尺寸量測

c1. 微3D量測技術：干涉法、全像法、投射條紋法、疊紋法、立體顯微術可量測薄膜錫高階高片等之厚度 BGA體顯微術，可量測薄膜、錫高、階高片等之厚度，BGA、bump、photo spacer等之高度，Substrate的翹曲、Micro array lenses、IC profile、MEMS元件之3D表面輪廓及粗度。array lenses IC profile MEMS元件之3D表面輪廓及粗度

c2. 光通訊元件光學量測：光纖切割及研磨精度、光纖套統、光波導、光連接器、光開關元件等。

c3. 光探頭量測技術研究：共焦探頭、自動聚焦探頭、光纖探頭、多陣列光探頭等。

c4. 微3D元件振動動態量測：Multiple wave interferometer、頻閃顯微干涉儀等，頻率需達1 MHz。



C5. 3D彩色影像表面量測技術：PCB錫球高度、Bonded wires、Thermal images。Thermal images。

C6. 二元光學技術於微型化CCD量測系統的建立：微光機電量測C6. 二元光學技術於微型化CCD量測系統的建立微光機電量測系統、二元光學元件製作、微CCD非球面鏡頭。

C7. 微/奈米級三次元量測儀技術：發展Micro-CMM：量程25x25x5 mm、位移解析度1nm、定位重覆性精度10nm；發展微形接觸式探頭：球徑100 to 1 µm 。微形接觸式探頭：球徑100 to 1 µm.。

C8. 3D內層瑕疵掃描技術: X-ray、螢光、Optical coherenceC8. 3D內層瑕疵掃描技術: X ray 螢光 Optical coherence tomography (OCT)、超音波等光源。應用於PCB、IC、MEMS、BGA等內層瑕疵檢測，解析度需達2µm.。


(3) 一般研究

即利用現有設備及技術在短期內即可研究出來者:

1. 高速黑白影像2D尺寸量測 (CMOS + 高速掃描機構)2 多光學感測器量測技術: 多CCD探頭及混成式光探頭量測2. 多光學感測器量測技術: 多CCD探頭及混成式光探頭量測3. 數位影像處理技術：光源系統、CCD校正、次像素技術、不可

見光影像處理4. 線上自動化光學檢測系統: 各種產業應用（含驅動機構、量測、

控制器等）5 光學影像運算形態學(M h l l ith ) 傅立葉轉換小5. 光學影像運算: 形態學(Morphology algorithm), 傅立葉轉換、小

波分析、碎形分析等等


自動化光學檢測發展趨勢 -...

Documents

Transcript of 自動化光學檢測發展趨勢 -...