13 장 . 영상 신호처리

Circuits & Systems Lab.

1

13 장 . 영상 신호처리

13.1 개요

13.2 디지털 영상

13.3 영상신호의 디지털화

13.4 영상처리 기술

13.5 영상신호의 부호화

13.6 압축 알고리즘


2

13.1 개 요

시스템의 구성 1. 조명 장치 : 조명 2. 영상 입력 장치 : 광원 , 촬영기 , 이미지 스캐너 , 센서 , 디지털 카메라 , ITV 카메라 , 비디오카메라 3. 영상 처리 장치 : 컴퓨터 , DSP 칩의 전용 하드웨어 4. 영상 출력 장치 : 하드카피방식의 프린터 , 팩시밀리 , 소프트 카피 방식의 컴퓨터 모니터

조명 영상입력장치 영상처리장치 영상출력장치

그림 13.1 영상신호처리 시스템 구성


3

(1) 영상 신호처리의 목적

1. 영상의 개선 : 중첩된 잡음의 평활화처리 , 잡음제거 ,

콘트라스트 개선2. 영상 분석 : 글자식별 , 부품의 치수 측정 , PCB 기판의

정밀도 체크 , 의료분야의 세포 분석3. 영상 인식 : 물체의 종류와 개수 인식 . 도형 , 문자 인식

( 패턴인식 )4. 영상 변환 : 다른 형식의 영상 데이터로 변환

( 부호화 , 복호화 )5. Animation 및 영상 합성 : 컴퓨터 이용하여 문자 ,

도안을 디자인 , 애니메이션 인공적인 화면 합성6. 영상 통신 : 영상 압축 알고리즘

13.1 개 요


4

(2) 영상 신호처리의 응용 분야

1. 생물 분야 : 생물 샘플을 시각적으로 분석

2. 군사용 분야 : 위성 사진분석하여 목표물이나 적의 미사일 기지 , 군사진지 탐지의료진단 영상 시스템 분야 : 의료 방사선 촬영Romote sensing 분야 : 인공위성

3. 기상정보 시스템 분야

13.1 개 요


5


RGB 색상 모델 (Red, Green, Blue) : 빛의 삼원색

YUV( 비디오 ) 컬러 모델 : Y(luminance) 밝기정보 U,V 색차 정보

YIQ( 컬러 TV 방송 ) 컬러 모델 : I,Q 색차 정보

YCbCr (JPEG, MPEG) 컬러 모델 : Y 밝기 정보 Cb 푸른 정보 Cr 붉은 정보

디지털 영상화 : 색상 모델 영상을 샘플링과 양자화 과정


6

RGB 에서 YUV 로 변환

YIQ 로 변환

YCbCr 로 변환

RGB 와 다른 컬러모델의 변환식



7


1. 영상의 표본화

2. 영상신호의 양자화

3. 동영상의 디지털화

4. 디지털 영상의 저장


8

디지털 영상신호 변환 : 입력된 아날로그 영상신호 X,Y방향으로 공간 샘플링 후 A/D 변환

공간영역의 디지털화 : 수평방향의 디지털화 명암의 디지털화 : 수직방향의 디지털화

공간영역의 디지털화-. 1 차원 시계열 신호의 시간축 샘플링-. 2 차원상의 X,Y 축의 양방향에 대해 바둑판 분할 픽셀 (pixel :picture element) 샘플링한 점

대상물의 영상은 x 축 방향의 픽셀수 M 과 Y 축 방향의 픽셀수 N 을 곱한 M*N 점의 픽셀의 명도로 처리됨

-. 문자의 경우 (32*32) -. 인물 , 풍경의 경우 (256*256)

1) 영상의 표본화



9

그림 13.2 영상신호의 표본화



10

그림 13.3 픽셀의 배열법



11

영상신호의 양자화 : 각 픽셀의 명암 ( 밝기 ) 값을 정해진 몇 단계로 제안하는 과정

1 과 0 만을 이용한 2 진수 표시로 부호화

양자화 수 = 계조수 (2 진 부호 즉 , 비트 (bit) 로 표시 ) 인간 눈의 명암특성은 이상적인 경우 500 단계

(9bit 의 양자화 )

현실적인 명암 특성-. CRT 디스플레이 표현 명암의 단계 : 4-8 비트-. 실제 좋은 인쇄영상의 좋은 화질 : 3-4 비트-. 부자연스러운 음영이 발생하는 영상 : 1-3 비트

2) 영상신호의 양자화



12

영상 계측 , 해석분야 : 명암의 정밀도는 계측 정밀도에 직접적인 관계 . 따라서 , 섬세한 양자화 필요



13

동영상 경우 : -. 시간적인 샘플링의 간격 -. 매초 몇 장의 프레임을 취급 고려

사람의 인식 -. 시간적인 특성 ( 잔상 특성 ) : TV 방송에서 약 30 [msec]( 매초 30 장이상의 영상 전송 )

영상 계측 -. 현상의 상태 변화 속도에 의존

움직임이 빠른 동영상 : 정보처리 , 전송에 많은 정보량의 처리 필요

-. 800*600 픽셀 , 8bit 양자화 비트인 영상 1 장의 정보량은 480(kbyte/frame) 이며 1 초당 30 장의 영상전달 하면 14.4(M/byte/sec) 1 시간분의 영상 저장시 51.84(Gbyte) 대용량 메모리 필요 ( 영상 데이터 압축 필수 )

3) 동영상의 디지털화



14

영상처리 프로그램 : 1 차원 , 2 차원 형태의 배열 디지털 영상을 컴퓨터에 저장시 표준 영상화일 형식

① GIF(Graphics Interchange Format) -. 모뎀 이용 영상 전송

-. 8 비트 (256 칼라 ) 영상만 지원-. LZW(Lempel-Ziv Welch) 압축 알고리즘 사용

② BMP -.Windows 운영체제 표준 그래픽 형식-. Paintbrush 등의 프로그램에서 사용-. 24 비트 RGB 영상 저장

4) 디지털 영상의 저장



15

③ TIFF(Tagged Image File Format)-. 8 비트와 24 비트 RGB 영상 저장-. 미디어의 데이터 전송에 적합한 방식-. JPEG 방식의 등장으로 인기 감소

④ JPEG-. 정지 영상의 표준 방식-. 인간의 시각특성 이용 압축율 높인 방식-. 원영상에 손실을 줌-. 인터넷 등에서 영상을 전송할 때 유용한 방식

⑤ PS(Post Script)-. 페이지 기술 언어로 개발-. 1 비트 흑백 , 8 비트 흑백 , 24 비트 RGB 영상-. 데스크탑 (desktop) 출판의 표준



16


1. 명도 변환

2. 공간 필터

3. 영상의 주파수 변환

4. 기하학적 변환

5. 영상의 변환 처리


17

1. 명도 변환 : 보기 좋은 화면 영상으로 하는 처리2. 영상의 각 픽셀 값의 명암 분포 조사 : 영상처리의 전처리 과정3. 히스토그램 : N x N 영상의 픽셀에 대한 명암분포 빈도를

그래프로 나타낸 것

그림 13.5 히스토그램

1. 명도 변환



18

그림 13.6 명도변환의 특성그림 13.7 명도 선형변환의 예

선형 변환-. 낮은 콘트라스트의 영상을 높은 콘트라스트로 명도 변환시키는 방법-. 선형변환에 의해 히스토그램의 값을 전명도에 균일하게 분포되도록 변환할수 있다 .



19

선형 필터 와 비선형 필터로 구분 영상신호처리 중 가장 많이 적용 되는 기술 2 차원 공간 필터와 3 차원으로 확장된 경우 시간필터

그림 13.8 공간필터와 시간필터의 개념

2. 공간필터



20

선형 공간 필터출력

단 , k,l :-1,0,1i : 주사선 번호j : 주사선내의 픽셀위치

그림 13.9 x( i , j ) 의 공간필터 출력계산에이용되는 3x3 의 주변 픽셀 위치

선형 공간 필터의 용도 -. 잡음 제거-. 역으로 흐릿한 영상을 선명하게 하기 위한 모서리 강조



21

그림 13.10 공간저역필터의 탭 계수와 처리결과

그림 13.11 모서리 강조 라플라시안 필터의 계수 처리 결과



22

비선형 필터-. 잡음제거와 동시에 원 영상 정보 보존-. 대표적 필터 : 메디안 필터

메디안 필터 : 작은 블록내의 픽셀을 명도가 작은 순서로 나열한 후 , 정확히 중앙값의 순서에 해당하는명도 값을 출력하는 필터 ( 고립적인 잡음 제거에 사용 )



23

공간 필터 단점 보완 공간 영역에서 주파수 변환 스펙트럼을 검토 스펙트럼 영역에서 필터 처리

주파수 역변환 원래 영상공간 복원

다차원 푸리에변환 사용-. 1 차원 신호 FFT 는 2 차원 , 3 차원 등 다차원 확장 가능

1 차원 신호-. 샘플링 시점 k 에서 어떠한 한 개의 파라미터로서 신호 값 g(k) 가 주어짐

3. 영상의 주파수 변환



24

2 차원 신호

수평축 X 와 수직축 Y 의 두개의 파라미터에 의해 , 그 점값g(x,y) 가 정해짐 .



25

이산 신호 g(n,m) 의 이산푸리에변환 정의

단 , n=0,1,…,N-1, m=0,1,….,M-1 회전인자를 이용하여 정리하면

임의의 영상 데이터 2 차푸리에변환 스펙트럼정보를 추출


(13.5)

(13.6)


26

실제 영상처리 (2 차원 푸리에변환 )

-. 공간 주파수 단위 : [ 길이 ]-1

--< 스펙트럼 성분 >--

세로줄 무늬의 영상 X 방향 : a

가로줄 무늬의 영상 Y 방향 : b

공간 주파수 성분 : c



27

2 차원 영상 N x N 픽셀 구성 (256, 512)-. 푸리에변환시 막대한 처리 시간 요구-. n x n 블록으로 분할 처리시 시간 대폭 감축

블록 분할법 ( 영상 전송등 사용 )

그림 13.14 영상의 블록 분할



28

영상의 스펙트럼 해석

-. 직교 변환 알고리즘의 윌시 (Walsh) 알고리즘

-. 계수의 값이 편재하도록 설정하는 KL 변환

-. 이산 코사인 변환 (DCT)

-. 웨이브렛 변환



29

영상의 확대 , 축소 , 회전을 하는 처리 대표적 기술 : 아핀 변환 이 변환은 변화전의 좌표를 (x,y), 변환후의 좌표를 (u,v)

라 하면 , 좌표변환 식은 다음과 같다 .

a00 ,b00 는 X 축과 Y 축으로 평행 이동하는 값 , 다른 계수

들은 확대 회전을 표시 하는 값

4. 기하학적 변환



30

런 랭스 부호화 방법 : 팩시밀리에 많이 사용 백이나 흑의 픽셀이 연속되는 길이 ( 같은 밝기의 픽셀수가

연속되는 길이 ) 0 의개수 혹은 1 의 개수를 부호화 하는것

영상은 반드시 흑과 백이 교대로 반복 됨으로 흑 픽셀과 백 픽셀 구분 방법 : 와일의 부호화 , 2 비트 구분 방식 적은 부호로써 원영상을 재현할수 있는 경우을 압축이라 하고 ,

최종적으로 필요한 비트수와 전 픽셀의 비를 압축비라 한다 .

5. 영상의 변형처리



31


영상 신호 : 다차원적인 용장성 (redundancy) 정지영상 : 공간적으로 펼쳐진 인접 픽셀과 2 차원적인

강한 상관 동 영상 : 시간방향까지 포함된 3 차원적인 상관 컬러 영상 : 3 원색의 상관

전처리 서브샘플링

예측처리

직교변환 양자화 엔트로피

부호화입력

출력그림 13.16 영상부호화의 주요 신호처리


32

특징 : 좋은 화질 확보 , 부호화 처리 효율 증대 종류 : 공간필터 , 시간필터 , 영상의 변형처리등이 이용 시간필터 : -. 동영상 특유의 처리

-. 플리커 잡음의 제거 , 급격한 신호변화억압의 목적플리커 잡음 : 조명등의 변화에 의하여 픽셀값이 시간적으로 미소 변동 , 화면의 깜박 거림 현상 .

공간필터 : 고주파 잡음 제거 , 왜곡 방지 , 서브밴드부호화 대역분할등의 목적

영상의 변형처리 : 화질의 열화를 고려 , 신호자체를 예측일치 신호로 변환시키는 신호변형방식이나 선의 굵기를 없애고 부호화처리하여 수신측에서 굵기를 부과하는 방식

1) 전처리



33

신호를 솎아내어 샘플수를 줄이는 방식 방 법 :

-. 화면내의 픽셀을 솎아내는 방법-. 화면의 수를 솎아 내는 방법

픽셀을 솎아내는 방법-. 가로방향 패턴 , 세로방향 패턴 , 대각선 방향 패턴등 균일하게 솎아내는 방식

적응 서브 샘플링 방식-. 구조가 복잡 ( 샘플링 많이 ), 구조 허술 ( 샘플링 적게 ) 하여 화질을 향상

화면수를 솎아내는 방법-. 고정적으로 행하는 방식-. 적응적으로 행하는 방식

2) 서브샘플링



34

과거 신호를 기초로 현재 부호화할 신호를 추정 , 예측오차를부호화하는 방식

추정이 정확하면 예측오차 신호값의 분포는 오차 0 부근에 극단적으로 집중한 형상으로 되기 때문에 정보원 엔트로피가 줄어듬 .

화면내의 근처 픽셀과의 상관을 이용하는 프레임내 (2 차원 ) 예측 . 전화면의 픽셀을 이용하는 프레임간 예측

그림 13.17 프레임 내 예측과 프레임간 예측

3) 예측 처리



35


엔트로피 (entropy)

① 정보원이 갖는 평균 정보량을 말함

② 통신문에 의하여 이동하는 정보량은 어떤 통신의 내용이

불확실성이 클수록 그 양이 많다 .

③ 즉 , 엔트로피는 불확실성의 크기의 정도를 나타냄


36

예측기의 블록 구성-. 2 차원 예측이나 프레임간 예측을 실현하기 위해 예측 루프 내에 1 라인 지연 혹은 1 프레임 지연

ㅡ 양 자 화

라인 지연프레임 지연예측기

입력 부호화 출력

예측 루프

그림 13.18 영상의 예측부호기 구성 예



37

영상 신호를 직교변환을 이용하여 계수영역으로 전개처리 계수 영역 전계 단점 : 에너지분포의 편중 보완

-. 에너지 분포에 맞는 정보원부호화 이용 방법

-. 고유값 벡터를 이용하는 방법-. DCT-. 아다마르변환

하드웨어 문제 및 효율의 우수성이 있는 방식 : DCT Y=ATXA-. AT : A 의 전치 행렬-. x : (n 픽셀 )*(n 라인 ) 의 2 차원소블록 분할 행렬-. A : DCT 계수 행렬-. Y : n*n 의 2 차원 계수 행렬

4) 직교변환



38

벡터 양자화-. 통상 양자화가 1 개의 샘플값 대상으로 하는 것에 반해 복수의 샘플을 하나의 블록으로 일괄 부호화하는 방식

-. 블록을 다차원 벡터 공간의 한점으로 간주 :( 블록양자화 ) 장점 : 샘플당 비트수가 일정하게 했을 경우 가장 왜곡이

적은 부호화가 가능

그림 13.19 벡터 양자화 원리

5) 양자화13.5 영상신호의 부호화


39

정보원신호를 가능한 적은 비트수로 부호화하는 기술

허프만 부호

팩시밀리 같이 흑백 2 치의 경우 혹은 다치 신호의 경우동일한 신호가 계속되는 경우 , 동일 신호가 연속되는길이를 정보로 부호화하는 런 랭스 방식 제안

정지 영상에서 부호화되어 얻어진 1 과 0 의 패턴열에 대하여 출현 확률의 동적인 변화에 따라 부호어를 만드는 산술부호 사용

6) 엔트로피 부호화



40

13.6 압축 알고리즘

많은 데이터 양을 필요로 하는 디지털 영상과 동영상의대표 압축 알고리즘

JPEG ( Joint Photographic Expert Group)

MPEG ( Moving Picture Expert Group)


41

1. JPEGR,G,B

R,G,B to YCbCr YCr

Cb

각 8x8 블록

DCT 과정 : 공간영역에서 주파수영역으로 변환Z

ig-zag

Huffman

Arithmetic01101…

지그재그 스캔 : 2 차원데이터를 1 차원 데이터로 변환

양자화

DPCM( 직류성분 )

RLE ( 교류성분 )

그림 13.20 JPEG 의 기본 구성도 ( I 프레임 )


42

2. MPEG

MPEG 1 : VHS 영상품질을 제공 , 1 배속 CD-ROM 데이터 전송 속도 ( 1.5 Mbps)

MPEG 2 : 디지털 TV 용 , HDTV, DVD 에 만족 (4Mbps)

MPEG 3 : HDTV 용으로 개발 MPEG 2 에 통합

MPEG 4 : 저 전송 속도용 (4.8 – 64kbps)

MPEG 7 : multimedia content description interface 용


43

MPEG – 2

프레임 내 부호화 , 프레임 간의 부호화 사용

프레임 내 부호화 : 한 개의 프레임 ( 정지영상의 압축 : I 프레임 )

MPEG-2 는 JPEG 보다 훨씬 높은 압축률 갖음


44

P 프레임과 B 프레임

그림 13.21 프레임 간 부호화 : P 프레임

프레임 간의 부호화 : 영상을 작은 블록으로 나눈후 기준이 되는 과거 프레임으로 부터 목표값 예측하는 압축 방식 ( P 프레임 )


45

P 프레임과 B 프레임

그림 13.22 프레임 간 부호화 : B 프레임

기준프레임을 과거프레임과 미래 프레임으로 하여 목표 프레임의 움직임을 예측하는 방식 (B 프레임 )


46

MPEG-2 의 부호화 프레임 패턴

I 프레임 : 프레임 내 부호화P 와 B 프레임 : 프레임 간 부호화

13 장 . 영상 신호처리

Documents

Transcript of 13 장 . 영상 신호처리