TD Trab1 CortesDeCena
-
Upload
carlos-liu -
Category
Documents
-
view
15 -
download
0
Transcript of TD Trab1 CortesDeCena
TELEVISÃO DIGITAL2004/2005
Detecção de Cortes de Cena
http://paginas.fe.up.pt/~ee00136/td.htm
Bruno Pombal – [email protected] Bluemel – [email protected]
• TESTES DE FADE-IN / FADE-OUT- ficheiro “gladiator-small.mpeg2” [movie]
• URL: http://paginas.fe.up.pt/~mandrade/tvd/recursos/gladiator-small.mpg
• TESTES DE MISTURA DE IMAGENS- ficheiro “broadcast-publicity.mpeg2” [movie]
• URL: http://paginas.fe.up.pt/~mandrade/tvd/recursos/broadcast-publicity.mpg
Testes Efectuados e Ficheiros Usados
• IMAGEM LIDA DO TIPO RGB
– diferença do valor das cores vermelho (R), verde (G) e azul (B) de duas imagens consecutivas, k e k+1, para os mesmos pontos das 2 imagens, n1 e n2
– média entre as diferenças obtidas ▪ N1 e N2 – linhas e colunas da matriz e N3 – 3 valores das cores
– compara-se o valor obtido em ASAD com o valor de threshold inserido na interface gráfica para decidir se é ou não um corte de cena.
• IMAGEM LIDA DO TIPO YCBR
– diferença entre os valores da luminância (Y) de 2 imagens consecutivas
– média entre a diferença obtida ▪ N1 e N2 – linhas e colunas da matriz (Y é bidimensional)
– compara-se o valor obtido em ASAD com o valor de threshold inserido na interface gráfica para decidir se é ou não um corte de cena.
ASAD – Average Sum of Absolute Differences
( ) ( )∑ +−⋅⋅
= 1,,,,12121
321
knnsknnsNNN
ASAD
( ) ( )∑ +−⋅
= 1,,,,12121
21
knnYknnYNN
ASAD
• Histogramas a preto e branco• Imagem lida do tipo RGB
– faz-se a passagem das imagens para tons de cinzento (preto e branco)
– faz-se o histograma sobre estas imagens
– para todas as imagens i lidas calcula-se:
» N é a quantidade de pontos considerados para se construir o histograma
– normalizam-se todos os valores(i) pelo máximo valor obtido na expressão vista atrás.
– para todas as imagens i lidas, o valor normalizado é comparado com o limiarinserido no interface gráfico, e caso o valor_normalizado(i) seja maior do que o limiar então é considerado que há um corte de cena.
HISTOGRAMAS – a preto e branco
∑ +−=i
khistogramakhistogramaN
ivalor )1()(1)(
• Histogramas a cores• Imagem lida do tipo YCBR
– guardam-se os valores da luminância (Y) e das 2 diferenças de cor (Cb) e (Cr) e usa-se um algoritmo semelhante ao usado nos histogramas a preto e branco
– tratam-se independentemente os histogramas da luminância e de cada uma das diferenças de cor
• para ser considerado um corte de cena todos os valores obtidos para uma dada imagem têm de ser simultaneamente maiores do que os valores de limiar introduzidos na interface gráfica para Y, Cb e Cr.
HISTOGRAMAS – a cores
ASAD – Average Sum of Absolute DifferencesLIMIARES CORTES DE CENA
LUMINÂNCIA CROMINÂNCIA REAIS DETECTADOS VERDADEIROS
5 0,3 6 23 6
5 0,5 6 7 6
32 0,3 6 7 6
32 0,5 6 7 650 0,3 6 4 3
50 0,5 6 4 3
FADE-IN
FADE-OUTs
-000,5320701-0800
-000,5320601-0700
-000,5320501-0600
-000,5320451-0500
-000,5320301-0450-000,5320201-0300
-000,5320101-0200
-000,5320000-0100
VERDADEIROSDETECTADOSREAISCROMINÂNCIALUMINÂNCIA
CORTES DE CENALIMIARESINTERVALOS
MISTURA
DE
IMAGENS
HISTOGRAMAS – a preto e brancoCORTES DE CENA
LIMIARREAIS DETECTADOS VERDADEIROS
0,2 6 25 6
0,3 6 6 3
0,4 6 4 30,5 6 3 2
0,6 6 3 2
FADE-IN
FADE-OUTs
131300,40701-0800
222200,40601-0700
171700,40501-0600
6600,40451-0500
343400,40301-04507700,40201-0300
8800,40101-0200
9900,40000-0100
VERDADEIROSDETECTADOSREAIS
CORTES DE CENALIMIARINTERVALOS
MISTURA
DE
IMAGENS
HISTOGRAMAS – a preto e branco
FADE-IN / FADE-OUTs – LIMIAR = 0,3
HISTOGRAMAS – a preto e branco
MISTURA DE IMAGENS – Situação verificada com qualquer Limiar ≤ 0,98
HISTOGRAMAS – a cores
LIMIARES CORTES DE CENAS
Y Cb Cr REAIS DETECTADOS VERDADEIROS
0,2 0,4 0,3 6 4 3
0,2 0,4 0,4 6 3 2
0,2 0,4 0,2 6 4 3
0,2 0,3 0,2 6 8 5
0,2 0,31 0,2 6 7 5
0,18 0,31 0,35 6 6 5
FADE-IN
FADE-OUTs
MISTURA
DE
IMAGENS
7700,350,310,180701-0800
303000,350,310,180601-0700
161600,350,310,180501-0600
141400,350,310,180451-0500
9900,350,310,180301-04507700,350,310,180201-0300
8800,350,310,180101-0200
6600,350,310,180000-0100
VERDADEIROSDETECTADOSREAISCrCbY
CORTES DE CENASLIMIARESINTERVALOS
HISTOGRAMAS – a coresFADE-IN / FADE-OUTs – Limiar Y=0,2 Cb=0,3 Cr=0,2
HISTOGRAMAS – a coresMISTURA DE IMAGENS – Situação verificada em qualquer combinação de Limiares
desde que Y ≤ 0,98; Cb ≤ 0,93; Cr ≤ 0,45
ASAD ; HIST P&B ; HIST CORES – situação especialFADE-IN / FADE-OUTs
ASAD - Threshold de Luminância ≤ 92 eThreshold de Crominância ≤ 0,89
HISTOGRAMAS P&B – qualquer Limiar ≤ 0,82
HISTOGRAMAS a CORES – qualquer combinação de Limiares desde que Y ≤ 0,81 e Cb e Cr quaisqueres
• Não é corte de cena.
• Há uma variação grande de luminância.
• Para evitar situações destas em cortes de cenas falsos são detectados como verdadeiros, poderia passar-se o conjunto de frames detectados como cortes de cena por um algoritmo de detecção de contornos, se estes variassem pouco haveria grande probabilidade de esse conjunto de frames ser um corte de cena falso e então não seria detectado.
• O método “ASAD” revelou-se 100 % eficiente em situações de mistura de imagens e à excepção da situação que foi vista atrás, também 100 % eficiente nos FADE-IN-FADE-OUTs
• O método “HISTOGRAMAS A CORES” revelou-se pouco satisfatório em situações de mistura de imagens e razoável nas situações de FADE-IN / FADE-OUTs.
• O método “HISTOGRAMAS A PRETO E BRANCO” revelou-se muito pouco satisfatório em situações de mistura de imagens e de FADE-IN-FADE-OUTs.
– Em resumo:• ASAD – MUITO BOM
• HISTOGRAMAS A CORES – POUCO SATISFATÓRIO
• HISTOGRAMAS A PRETO E BRANCO – PÉSSIMO
CONCLUSÃO