Post on 24-Mar-2018
1
N A T I O N A L Test, Measure and Automate Your World
through Virtual Instrumentation
Improve Your Life
I N S T R U M E N T S
산업 자동화를 위한
비전/모션의 손쉬운 통합
Marketing EngineerDong-won Yoon
2
목 차
• 머신 비전 시스템
• 모션 컨트롤 시스템
• 비전/모션 통합 시스템
3
비전/모션 통합 어플리케이션의 수요 증가
• 반도체, PDP, LCD 생산 라인, 생산 업체들의 수요 증가
49.0 (28.9)38.0 (38.3)27.5 (45.5)18.9 (58.4)11.9 (52.0)LCD 수요
20082007200620052004
LCD 수요 추이 및 전망 (백만m2, %)
Morgan Stanley : Global TFT-LCD
4
머신 비전 시스템
5
National Instruments Machine Vision• 다양한 산업분야에서 다양한 실험들을 위한 해결책 제시
반도체 의공학 제조
자동차 전자
6
Vision System의 일반적인 구성 및 어플리케이션
데이터를 원격 시스템으로 전송카메라
조명
트리거
액추에이터
(또는 모터 스테이지)
Digital I/O 장치
영상 수집 장치
7
Demo 1 – Pencil sorting 시스템
8
비전 시스템 구성 시 고려할 5가지 요소
+ + +
조명 카메라프레임 그래버
또는독립형 비전 시스템
어플리케이션소프트웨어
데이터 전송인터페이스
+
9
조명
• 머신 비전 어플리케이션을 구성하는데에 있어 가장중요하며 큰 영향을 주는 요소
– 배경과 대상체를 분리
– 명확히 분리될 수록 필요한 영상 처리 작업의 양이 감소
– 날씨, 시간 등의 변화에 의한 자연광량의 효과를 감소
– Ring lighting, Strobe lighting, Back lighting, Diffused
lighting
10
링 조명 (Ring Lighting)
• 장점 : 균일한 조명
• 단점 : 원형 glare(번쩍임)이발생할 수 있음
스트로브 조명 (Strobe Lighting)
• 장점 : Blur(번짐현상) 효과 제거
• 단점 : 조명과 영상 수집의동기화가 이루어지지 않으면무조명 영상을 얻을 가능성 있음
11
Back Lighting
• 장점 : 대상체의 외곽선을명확하고 선명하게 만듬
• 단점 : 회절 현상 발생 가능성
Diffused Lighting
• 장점 : Glare(번쩍임현상) 효과제거
• 단점 : 조도 감소
12
비전 시스템 구성 시 고려할 5가지 요소
+ + +
조명 카메라프레임 그래버
또는독립형 비전 시스템
어플리케이션소프트웨어
데이터 전송인터페이스
+
13
카메라 선정 시 고려해야 할 점
• 영상 시스템의 물리적 특성
• Scan type – Line/Area
• 데이터 포맷 및 인터페이스– Analog/Digital, 표준/비표준, 필요한 대역폭
• 예산
14
Imaging System Parameters
1. 센서 해상도: 카메라 센서 내의
픽셀 수
2. 센서 크기: 카메라 센서의
물리적 크기
3. Working distance: 렌즈로부터
대상체까지의 거리
4. 해상도: 식별할 수 있는 가장
작은 크기
5. Field of view: 카메라 화면 내에
들어오는 실제 영역의 크기
1, 2
3
5
4
15
카메라의 스캔 방식
Area Scan Camera Line Scan Camera
고가저가가격
대상이 한 화면에
들어오지 않는 경우
대부분의어플리케이션
적용 경우
소프트웨어 영상재조합 필요
거의 불필요데이터 후처리
고속저속데이터 수집 속도
Line ScanArea Scan방식
16
아날로그 카메라
• 아날로그 포맷으로 신호 출력
• Hsync 사이의 아날로그 신호를 한 줄의 신호로 출력
• 하나의 프레임: 한 쌍의 Vsync 사이에 여러 개의 Hsync 존재
Video Data
Hsync Hsync
Single Line Scan
Black Level
Output Registers
CCDSensor
Video Out
Light
17
아날로그 표준 영상 포맷
768 x 576Yes25EuropePAL
768 x 576No25EuropeCCIR
640 x 480Yes30USA, JapanNTSC
640 x 480No30USA, JapanRS-170
영상 크기칼라초당 프레임
수지역표준
국내에선주로 RS-170, NTSC 표준사용
18
디지털 카메라
• 카메라 내부에 디지타이저 내장
• 고화질, 높은 Pixel Depth• 큰 이미지, 빠른 프레임 속도
Valid DataData
H Enable
V Enable
Output RegistersVideo Out
Light
19
고가•고속의 영상 수집
•규격화된 케이블 제공
•중간 속도 데이터 전송(60MB/s로 제한)
•저가
•케이블 단순
•Camera File 불필요
IEEE 1394 ™ 표준
•케이블링이 난해
•표준 인터페이스프로토콜 부재
•고속의 영상 수집
•설정 용이병렬 표준
단 점장 점인터페이스
최근비전어플리케이션은 IEEE 1394와 Camera Link 타입의카메라선호
데이터 전송 인터페이스와 프레임 그래버(디지털 카메라)
데이터 전송 인터페이스와 프레임 그래버(디지털 카메라)
20
카메라 포맷 요약
아날로그
• 장점
– 기술 기반이 이미 확립
– 간단한 결선
– 저가
• 단점
– 시장 변동이 적음
– 상대적으로 낮은 영상품질
디지털
• 장점– 고속, 높은 밝기 해상도(pixel
depth), 큰 영상 사이즈
– 프로그램으로 제어
– 상대적으로 적은 노이즈
• 단점– 고가
– 어플리케이션 별로 다른결선
– 사용자 정의 설정을 위한카메라 파일이 필요할가능성
21
카메라 파일이란?• 카메라 파일은 프레임 그래버와 카메라 사이의
인터페이스를 어떻게 설정할 것인지 알려주는 파일– Identification
– Acquisition
– Control
– Timing & Triggering
B.icd1426, 1427, 1430
A
B
A.icd1426, 1427, 1430
22
존재하는 카메라 파일의 사용
• 90%의 카메라의 경우 이미 카메라 파일이 존재(약 450개)• http://www.ni.com/cameras• 카메라 파일이 존재하지 않는 경우
– 신 모델, 희귀한 카메라, 직접 제작한 카메라
• www.ni.com에서 무료로 사용 가능
• 디지털 카메라용 카메라 파일을 생성
– Parallel Digital, Camera Link• Interactive Utility• 시리얼 통신 포함
NI Camera File GeneratorNI Camera File Generator
23
Camera Advisor
• 원하는 조건을
입력하면 해당 카메라
리스트를 보여줌
• 자세한 카메라 스펙
관련 정보 포함
ni.com/cameras
24
비전 시스템 구성 시 고려할 5가지 요소
+ + +
조명 카메라프레임 그래버
또는독립형 비전 시스템
어플리케이션소프트웨어
데이터 전송인터페이스
+
25
• Progressive Scan 카메라로 초당 최대 60 프레임 수집
• 8비트 또는 10비트의 디지타이징
• 표준/비표준 4채널 흑백 영상 수집
• 16MB의 Onboard 메모리
• Interlaced/Noninterlaced 방식 수집
• 별도의 Hsync와 Vsync 라인 제공
NI PCI-1410
아날로그 프레임 그래버아날로그 프레임 그래버
132만원
※ 대량구매시차별화된가격정책제공
NI-1454331만원
• 고성능 리얼타임 프로세서 탑재
• 사용자 정의 가능한 FPGA 내장
• 최대 3대의 1394 카메라 연결 가능
• Vision Builder AI 혹은 LabVIEW를 이용한 프로그래밍
독립형 비전 시스템, Compact Vision System독립형 비전 시스템, Compact Vision System
26
Compact Vision System NI CVS-145x
Easy connect digital I/O• 1 isolated input• 2 TTL pulse outputs
IEEE 1394 ports• 3 Ports• 400 Mbps shared bandwidth
Additional digital I/O• Product select lines• Pulse generators• Watchdog timer
Ethernet• 10/100 BaseT
Serial port• RS-232
VGA video out• Real-time output• Overlays supported
Industrial ruggedness• No fans or external vents• No moving parts• 0 – 55 C operating temperatures
27
Demo 2 – Ball Bearing Inspection
28
• 8, 10, 12 및 16비트(흑백 또는 칼라) 디지털 프레임 그래버
• 사용이 쉬운 구성 유틸리티
• 최고 80 Mb/s 수집에서 40 MHz 픽셀 클럭 속도
• 통합 카메라 컨트롤을 위한 시리얼 인터페이스 및 4개의 TTL
또는 RS-422 컨트롤 라인
• RS-422 또는 LVDS 카메라와의 호환성
• 트리거링 및 컨트롤을 위한 4개의 프로그램 가능한 디지털
I/O 라인
NI PCI-1422
Parallel 타입 프레임 그래버Parallel 타입 프레임 그래버
143만원
※ 대량구매시차별화된가격정책제공
• PCI Express 인터페이스
• Base, Medium, Full Configuration CameraLink 카메라용
이미지 수집
• 표준 CameraLink 케이블링
• 추가 트리거링 및 절연을 위한 선택적 디지털 I/O 확장 카드
• 680 MB/s 대역폭
NI PCIe-1429221만원
CameraLink 프레임 그래버CameraLink 프레임 그래버
29
Demo 3 – PCI Express를 이용한고속 촬영 동영상
30
비전 시스템 구성 시 고려할 5가지 요소
+ + +
조명 카메라프레임 그래버
또는독립형 비전 시스템
어플리케이션소프트웨어
데이터 전송인터페이스
+
31
NI Vision Software
Vision Builder for Automated Inspection
Configure, benchmark, and deploy without programming
Vision DevelopmentModule
Programming tools for LabVIEW, C/C++, Visual Basic, and .NET
Vision Acquisition SoftwareAcquire, save, and display images from 1000s of cameras
Vision AssistantPrototype and generate scripts
32
Vision Acquisition Software란?
• Vision Acquisition :
– NI-IMAQ
– NI-IMAQ for IEEE 1394
– NI-IMAQ for GigE Vision
– 영상 디스플레이 및 저장 도구
• 동작 모드:
– 독립형(Standalone )
– All NI frame grabbers
– Compact Vision System
– Vision Development Module
– Vision Builder AI
33
Image Acquisition
with LabVIEW
34
Vision Acquisition Software
• 손쉽고 빠른 프로그래밍을 위한 High Level API
• 유연성을 필요로 하는 프로그래밍을 위한 Low Level API
• LabVIEW, C, .NET, Visual Basic 지원
이미지수집팔레트
35
Single Buffer Acquisition - Snap and Grab
• Snap : 사진 한 장 찍기
• Grab : 연속적인 영상 수집
• 한 개의 버퍼 사용
– Grab을 할 경우 한 개의버퍼에 계속 덮어쓰기
Acquisition
Buffer
Processing
Buffer
Snap
Grab
Processing
Buffer
36
이미지 수집용 함수
Snap (단일)
Grab (연속)
37
이미지 수집 코드
Snap (단일)
Grab (연속)
38
Demo 4 - Image Acquisition with LabVIEW
• LabVIEW를 이용한 Snap, Grab 프로그래밍
39
Machine Vision
with NI Vision Assistant
40
NI Vision Development Module
• 영상 품질 향상
– 영상 보정
– 필터링
• 형태의 위치 분석
– 패턴 매칭
– Detect Edges
• 형태 측정
– Gauge
– Geometry
• 제품 유무 판정
– 밝기(Intensity)
측정
– Analyze Particles
– 컬러 매칭
• 부분 식별
– 문자 인식(OCR)
– 1차원 바코드 읽기
– Data Matrix
codes 읽기
– PDF417 codes
읽기
41
• Calibration
• Color matching
• Color pattern matching
• Line profiles
• FFTs and correlation
• Geometric transformations
• Resampling and equalization
• Arithmetic and logic operators
다양한 IMAQ Vision의 기능들
42
NI Vision Assistant
43
NI Vision Assistant
드롭다운 메뉴
스크립트
프로세싱메뉴
프로세싱 창이미지소스
• 비전 알고리즘 작성 툴
Vision Assistant 작업화면
44
NI Vision Assistant의 기능 소개
– Image: 원본 이미지의 기본적인 정보파악– 히스토그램, 오버레이 등
– Color: 컬러이미지로 작업할 때 필요한 함수 제공– 컬러 추출, Color Pattern Matching 등
– Grayscale: 흑백이미지로 작업할 때 필요한 함수 제공– Threshold, 이미지 비트 변환 등
– Binary: 이진화된 이미지 변형에 필요한 함수 제공– 기본 변형, 고급 변형 등
– Machine Vision: 측정이나 Matching 관련 함수 제공– Edge Detection, Pattern Matching 등
– Identification: 문자인식이나 바코드 인식 함수 제공– OCR 문자인식, 1D, 2D 바코드 인식
45
Demo 5 – NI Vision Assistant
• Edge Detecting, Pattern Matching, 문자 인식
• 자동 코드 생성
http://digital.ni.com/softlib.nsf/websearch/4893086293fb4799862571ca004fb606
Vision Assistant를 사용한 Edge Detection 작업 Vision Assistant를 사용한 Pattern Matching 작업
46
NI Vision Builder For Automated Inspection
드롭다운 메뉴
스크립트 프로세싱메뉴
프로세싱 창
순서도
• 어플리케이션 구성 툴
47
Vision Builder for Automated Inspection
• 독립 어플리케이션 : 별도 코딩 불필요
• 빠른 개발 속도, 사용의 편의성
• 이미지 수집, 머신 비전 알고리즘, 문자
인식, 바코드 인식
• 데이터로깅, 양불 판정, LabVIEW 코드
자동 생성
• 시리얼 통신 및 디지털 입출력
• 리얼타임 타겟 하드웨어와 연동
• State Diagram을 이용해 보다 편리해진
진행 경로 설정
VBAI 3.0에 추가된 State Diagram 편집 기능
48
Vision Builder for AI의 기능 소개– Acquire Images: 이미지 수집 방식 설정
- 카메라를 통한 이미지 수집, 저장된 이미지 불러오기 등
– Enhance images: 이미지 프로세싱 작업– Threshold, Vision Assistant 작업
– Locate Features: 각종 위치 관련 설정– 각종 Edge Detection, Set Coordination, Pattern Matching 등
– Measure Features: 각종 측정 관련 설정– 명도 측정, 색도 측정 및 길이 측정 등
– Check for Presence: 각종 객체의 유무 확인 설정– 객체의 개수 파악, Pattern의 유무 파악 등
– Identify Parts: 각종 문자 인식 관련 설정– OCR 인식, Barcode 인식 등
– Communicate: 여러 통신 관련 설정– Serial, TCP 등
– Additional Tools: 기타 설정– Set Inspection Status, Data Logging
49
Demo 6 – NI Vision Builder for AI
50
모션 컨트롤 시스템
51
모션 시스템 구성 시 고려할 4가지 요소
모터 / 스테이지 파워드라이버 모션제어장치어플리케이션소프트웨어
52
모션 컨트롤러의 작동 원리
Position Feedback
Set Point (s)Drive /
Amplifier
CommandSignal
53
모션 컨트롤러의 작동 원리
Position Feedback
Set Point (s)Drive /
Amplifier
CommandSignal
Trajectory Generator
54
모션 컨트롤러의 작동 원리
Position Feedback
Set Point (s)Drive /
Amplifier
CommandSignal
Trajectory Generator
Plug-in 모션 컨트롤러
DSP
55
• 야스카와 Sigma II, 미쓰비시 MR-J2S, 파나소닉 Minas A 모터
드라이버와 바로 연결
• 스탭축의 개루프(Open-loop)뿐만 아니라 폐루프(Closed-loop)
지원
• 직선, 원호 보간 기능 (1D, 2D, 3D)
• PC 부하 최소화를 위하여 온보드 32비트 DSP와 FPGA칩 사용
• 비전 및 데이터 수집 연동 시 쉬운 동기화를 위한 RTSI 버스 사용
NI PCI-7390
위치(펄스) 명령 PCI용 4축 컨트롤러위치(펄스) 명령 PCI용 4축 컨트롤러
보드 87만원
56
DSP 기반 플러그 인 NI 73xx 모션 컨트롤러DSP 기반 플러그 인 NI 73xx 모션 컨트롤러
8 MHz/20 MHz4 MHz/20 MHz4 MHz/20 MHzMaximum Step Output Rate/Encoder Input Rate
2/64/16-bit2/32/12-bit2/32/12-bitPWM Lines/DIO Lines/Analog Input Resolution
21-Number of Axes per 62.5 µs PID Rate
•––Buffered Breakpoints, Buffered High-Speed Capture, 4 MHz Periodic Breakpoints
•––Sinusoidal Commutation for Brushless Servo Motors
••–Contouring, Electronic Gearing, On-Board Programming
•••Closed-Loop Stepper Control
•••Trapezoidal, S-Curve Profiles
•••Linear, Circular, Spherical, and Helical Interpolation; Blending
PCI, PXIPCI, PXIPCI, PXIPAC Platforms
2, 4, 6, 82, 42, 4Description
NI 735xNI 734xNI 733x모션 제품 시리즈
57
서보 모터 드라이버와 인터페이스서보 모터 드라이버와 인터페이스
-O--Isolation
--10A10AMaximum Peak Current
--5A5AMaximum Continuous Current
Screw TerminalsD-Sub to Pigtail Cable--Connectivity to Drive
68-Pin Direct Cable68-pin Direct Cable68-Pin Direct Cable68-Pin Direct CableConnectivity to Motion Controller
42 or 442Number of Axes
Connects to Any Third-Party Brushed and
Brushless DC Drives
Connects to Any Third-Party Brushed and
Brushless DC DrivesBrushed DC DriveBrushed DC DriveType
NI UMI-7764 Universal Machine Interface
NI UMI-7772/4 Universal Machine
Interface NI MID-7654 Drive NI MID-7652 Drive
58
-O--Isolation
--1.4A1.4AMaximum Current Per Phase
Screw TerminalsD-Sub to Pigtail Cable--Connectivity to Drive
68-Pin Direct Cable68-pin Direct Cable68-Pin Direct Cable68-Pin Direct CableConnectivity to Motion Controller
42 or 442Number of Axes
Connects to Any Third-Party Brushed and
Brushless DC Drives
Connects to Any Third-Party Brushed and
Brushless DC Drives2-Phase Stepper Drive2-Phase Stepper DriveType
NI UMI-7764 Universal Machine Interface
NI UMI-7772/4 Universal Machine
Interface NI MID-7604 Drive NI MID-7602 Drive
스텝 모터 드라이버와 인터페이스스텝 모터 드라이버와 인터페이스
59
Softmotion 컨트롤러의 작동 원리
Position Feedback
Set Point (s)Drive /
Amplifier
CommandSignal
Trajectory Generator
SoftMotion Controller Intelligent Drive
RTOS
Deterministic Bus
60
NI-Motion API
• LabVIEW에서 사용하는 모션 VI 생성
• LabWindows/CVI에서 Function panels
• C, Visual Basic용 함수들
61
버스 타입과 독립적인 모션 프로그래밍
LabVIEW
NI-Motion APIVisual Basic
C
PCI
PXI / CompactPCI
CANopen
IEEE 1394
62
Vector Space LabVIEW 예제Vector Space LabVIEW 예제
63
NI Motion Assistant
• 모션 알고리즘 작성 툴드롭다운 메뉴
설정 창
프로세싱메뉴
미리보기 창
HELP 창
64
Motion Assistant의 특징
• 프로그램 없이 모션보드 동작
• 미리 보기 화면
• LabVIEW/C 자동코드생성
• CAD 파일을 배포 가능한 모션 컨트롤 코드로 변환 가능한소프트웨어
• http://digital.ni.com/express.nsf/bycode/wcCADmtn06
65
Motion Assistant의 여러 기능 소개
– Reference Move• 물리적으로 참조된 위치로 축을 이동
– Straight Line Move• 두 점간의 가장 짧은 거리로 축을 이동
– Arc Move• 호를 그리며 축을 이동
– Contoured Move• 사용자가 정의한 위치를 연속적으로 찾아가며 축을 이동
– CAD Move• CAD로 디자인 된 방식으로 축을 이동
– Measurements• 이동간에 딜레이를 두어 모션 이외의 측정을 할 수 있도록 지원
66
Demo 7 - Motion Assistant의 기능
• 자동 코드 생성
67
비전/모션 통합 시스템
68
광전자 어플리케이션
카메라
광원3축 스테이지
모터 드라이브
모션 컨트롤러 / 영상 수집 장치
Photo Detector
69
생명공학 어플리케이션
배양용페트리 접시
약물
모터 드라이브
PXI , 모션 컨트롤러, 영상수집 장치
서보 밸브
카메라
2축 스테이지
70
반도체 어플리케이션
Probe
모터 드라이브
PXI , 모션 컨트롤러, 영상 수집 장치
카메라
2축 스테이지
불량품양품
71
정리• NI Vision : 아날로그, 디지털(병렬, IEEE 1394a/b, CameraLink,
Giga Ethernet)의 다양한 인터페이스 지원
• NI Vision S/W : Vision Assistant, Vision Builder AI를 이용하여
간단한 영상 처리, 머신 비전 어플리케이션 구축
• NI Motion : Plug-in boards 또는 SoftMotion을 이용하여 DC
Servo, AC Servo, Stepper 모터 구동
• NI Motion S/W : Motion Assistant를 이용하여 간단한 모션
알고리즘 작성
• 비전, 모션, 디지털 I/O, 데이터 수집 등 다양한 기능을 쉽게
통합하여 실제 어플리케이션에 적용
72
www.mylv.net
한글
LabVIEW 커뮤니티
73
Q & A
74
감사합니다