Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para...
Transcript of Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para...
![Page 1: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/1.jpg)
1
Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais
K. C. Otiniano-RodríguezG. Cámara-Chávez
D. Menotti
![Page 2: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/2.jpg)
2
Organização
I. IntroduçãoII. Linguagem de SinaisIII. Modelo PropostoIV. ExperimentosV. Conclusões
![Page 3: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/3.jpg)
3
I. INTRODUÇÃO
![Page 4: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/4.jpg)
4
Principal forma de comunicação entre surdos-mudos.
Existem diversos linguagens definidos:◦BSL (British Sign Language)◦ASL (American Sign Language) ◦AUSLAN (Australian Sign Language)◦LIBRAS(Língua Brasileira de Sinais)
Barreira com as demais pessoas.
![Page 5: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/5.jpg)
5
II. LINGUAGEM DE SINAIS
![Page 6: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/6.jpg)
6
SinaisOs sinais são formados a partir
da combinação da forma e do movimento das mãos e do ponto no corpo ou no espaço onde esses sinais são feitos.
Nas línguas de sinais podem ser encontrados os seguintes parâmetros que formarão os sinais.
![Page 7: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/7.jpg)
Parâmetros dos sinais FORMA: Define a configuração das
articulações da mão. ORIENTAÇÃO: Especifica a direção da mão e
onde os dedos estão apontando. LOCALIZAÇÃO: Indica a posição da mão com
relação ao corpo. MOVIMENTO: É a mudança no tempo de
qualquer uma das três funções acima descritas. É a característica mais complexa.
EXPRESSÃO facial e/ou corporal: São de fundamental importância para o entendimento real do sinal, sendo que a entonação em Língua de Sinais é feita pela expressão facial.
![Page 8: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/8.jpg)
8
III. RECONHECIMENTO DE LINGUAGEM DE SINAIS USANDO MOMENTOS
Modelo Proposto
![Page 9: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/9.jpg)
9
O único parâmetro utilizado foi a Forma.
Foram utilizados 2 extratores de características:◦Momentos de Hu.◦Momentos de Zernike.
![Page 10: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/10.jpg)
10
![Page 11: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/11.jpg)
Momentos de Hu:◦ Procura obter as características globais e
invariantes de uma imagem.
◦ As medidas são puramente estatísticas da distribuição dos pontos é são invariantes à escala, rotação e translação.
◦ Os momentos proporcionam uma representação genérica do qualquer objeto e são facilmente extraíeis.
![Page 12: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/12.jpg)
12
Momentos de Zernike:◦ Procura obter as características globais e
invariantes de uma imagem.
◦ As medidas são invariantes à rotação.
![Page 13: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/13.jpg)
13
Support Vector Machine◦Biblioteca LIBSVM.◦Em nosso experimento,
utilizamos um kernel gaussiano.
![Page 14: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/14.jpg)
14
IV. EXPERIMENTOSRESULTADOS
![Page 15: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/15.jpg)
15
DatabaseGesture recognition database
consiste de 2040 imagens de 248 x 256 pixels que representam 24 sinais estáticos em escala de cinza. O banco de dados é dividido da seguinte forma:◦ Sinais A-F tem 40 imagens para cada tipo.◦ Sinais G-Y tem 100 imagens para cada tipo.
Sinais J e Z não são utilizados. (Movimento).
![Page 16: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/16.jpg)
16
![Page 17: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/17.jpg)
17
Experimento 1
No primeiro experimento, diferentes ordens (de 5 a 10) foram testados.
Em todos os casos a precisão obtida é mais de 90%.
Na Figura 3, apresentam-se a precisão média e desvio padrão dos pedidos com os melhores resultados, neste caso, as ordens são 8 a 10.
![Page 18: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/18.jpg)
18 Figura 3
![Page 19: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/19.jpg)
19
Experimento 2
No segundo experimento, a comparação entre Hu e momentos Zernike é feita.
A Figura 4 mostra a precisão média e desvio padrão de ambos os descritores.
A precisão dos momentos de Hu sofre mais variações, podemos vê-lo através de seu desvio padrão.
![Page 20: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/20.jpg)
20
Figura 4
![Page 21: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/21.jpg)
21
![Page 22: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/22.jpg)
22
![Page 23: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/23.jpg)
23
Sinai E tem a menor taxa de reconhecimento, pois é muito semelhante ao sinai A.
Sinai A Sinai E
![Page 24: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/24.jpg)
24
Sinai P Sinai M
![Page 25: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/25.jpg)
25
Sinai P Sinai H
![Page 26: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/26.jpg)
26
V. CONCLUSÕES
![Page 27: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/27.jpg)
27
Neste trabalho foram propostos, implementados e testados dois métodos para o reconhecimento de linguagem de sinais usando o classificador SVM e as características extraídas dos Momentos Zernike e de Hu.
A partir dos experimentos, concluiu-se que momentos de Zernike obtiveram resultados ligeiramente melhores (96%) do que Hu Momentos (93%). No entanto, ambos os métodos alcançar resultados promissores.
![Page 28: Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais Momentos de Hu e Zernike para o Reconhecimento de Linguagem de Sinais K. C. Otiniano-Rodríguez.](https://reader036.fdocument.pub/reader036/viewer/2022081504/552fc13c497959413d8da8ab/html5/thumbnails/28.jpg)
28
Como trabalho futuro é possível utilizar PCA a fim de melhorar os resultados obtidos.
Além disso, pretendemos realizar mais testes em outros bancos de dados, a fim de verificar a robustez dos métodos utilizando momentos de Zernike e de Hu.