Banco de Dados Multimídia Capítulo 4: BD Imagens UFCG/CEEI/COPIN Cláudio Baptista.
Minerando Dados Multimídia
description
Transcript of Minerando Dados Multimídia
![Page 1: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/1.jpg)
Minerando Dados Multimídia
Ernesto Trajano de Lima
Klebson dos Santos Silva
![Page 2: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/2.jpg)
Situações do dia-a-dia
Imagine que seu álbum de família está armazenado digitalmente. Como achar todas as fotos onde você aparece???
Como recuperar imagens, vídeos, textos e/ou áudios sobre acidentes com ônibus espaciais para mostrar no jornal da noite???
Todos já passaram por situações onde lembram da melodia de uma música, mas não conseguem lembrar o nome. Como recuperá-la apenas cantarolando parte da melodia???
![Page 3: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/3.jpg)
Roteiro
Definição Motivação Estado da Arte Minerando Imagem e Vídeo Minerando Sons
![Page 4: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/4.jpg)
Definição
Sub-área da mineração de dados que trata da extração de conhecimento implícito, relações entre dados multimídia, ou outros padrões não explicitamente armazenados no banco de dados multimídia.
Multimídia = imagens, vídeos, sons, textos,web, etc.
![Page 5: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/5.jpg)
Motivação
Grande quantidade de dados multimídia disponível;– Especialmente na web
Popularidade de banco de dados objeto-relacional
A necessidade crescente de banco de dados multimídia
![Page 6: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/6.jpg)
Estado da Arte
É uma área incipiente;– Muita pesquisa, poucos resultados substanciais
Desperta o interesse de grande empresas– HP
• http://crl.research.compaq.com/vision/multimedia/default.htm
– IBM• http://www.almaden.ibm.com/
– ScanSoft (http://www.scansoft.com)• Software utilizado pelo sistema penitenciário dos EUA para
detectar atividades ilegais nas conversas telefônicas dos prisioneiros
![Page 7: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/7.jpg)
Minerando Imagem e Vídeo
![Page 8: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/8.jpg)
Abordagens
Busca por similaridade:– Divide-se em duas famílias principais
• Baseada na descrição– Palavras-chaves, legendas, tamanho, hora de
criação, etc.
• Baseada no conteúdo– Histograma de cores, texturas, forma, objetos,
transformações de wavelets
![Page 9: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/9.jpg)
Abordagens
Busca baseada em conteúdo oferece dois tipos de consultas:– Baseadas em amostra– Baseadas em especificação das características
As consultas são feitas através das assinaturas das imagens– Histograma de cores– Composição de características– Wavelet– Wavelets com granularidade baseada em região
![Page 10: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/10.jpg)
Áreas de aplicação
Diagnóstico médico Previsão do tempo Engenho de busca para imagens
![Page 11: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/11.jpg)
Abordagens
Análise de dados multimídia– Exemplo: construção de cubos OLAP para
analisar imagens, vídeos e sons em função de suas características (dimensões)
Classificação e Predição
![Page 12: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/12.jpg)
Ferramentas e aplicações
![Page 13: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/13.jpg)
Query By Image Content (IBM)
Ferramenta de busca feita pela IBM Disponível nos componentes DB2 Image
Extenders Permite consultas em banco de imagens
baseadas no conteúdo visual– Porcentagens de cores, layout de cores, texturas
A consulta pode conter textos (palavras-chaves) para melhorar performance
Usada em alguns sites da Internet
![Page 14: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/14.jpg)
MultiMediaMiner
Sistema protótipo de mineração multimídia– Permite construção de cubos de dados multimídia
Resultado da união da experiência adquirida com dois sistemas:– DBMiner sistema analítico de mineração de
dados (http://db.cs.sfu.ca/DBMiner)– C-BIRD sistema para recuperação de imagens
baseada em conteúdo (http://jupiter.cs.sfu.ca/cbird)
![Page 15: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/15.jpg)
MultiMediaMiner
Image Excavator
C-BIRDPre-Processor
C-BIRDSearch Engine
M-MinerUser Interface
M-MMinerDiscoveryModules
C-BIRD DatabasesMultimedia Data Cube
Image and Videorepository
![Page 16: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/16.jpg)
MultiMediaMiner
Observações:– Vídeos são segmentados na detecção de
mudança de cena• Cada segmento é represento por um ou mais
frames, que serão tratados como imagens
– A imagem original não é salva no banco de dados
![Page 17: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/17.jpg)
MultiMediaMiner
Para cada imagem coletada são armazenados:– Informações descritivas
• Nome do arquivo, URL, tipo (gif, jpeg, mpeg), páginas que referenciam a imagem, palavras-chaves, thumbnail
– Descritor de características• Conjunto de vetores para cada característica visual
(histograma de cores, cor mais freqüente)
– Descritor de layout• Vetor sobre layout de cores
![Page 18: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/18.jpg)
MultiMediaMiner
Módulo de mineração inclui os seguinte sub-módulos:– MM-Characterizer fornece um conjunto
de características em diferentes níveis de abstrações
• Provê diversos níveis de visões dos dados através de roll-up e drill-down
![Page 19: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/19.jpg)
MultiMediaMiner
![Page 20: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/20.jpg)
MultiMediaMiner
MM-Associator Encontra regras de associação a partir de um conjunto de imagens– Usa o algoritmo apriori– X Y [suporte%, confiança%]– Exemplo: “Se uma imagem é grande e
relacionada com o céu, ela é azul com probabilidade de 68%”
![Page 21: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/21.jpg)
MultiMediaMiner
![Page 22: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/22.jpg)
MultiMediaMiner
MM-Classifier– classifica dados
multimídia baseados em algumas classes pré-definidas
– Essa classificação representada como uma árvore de decisão pode ser usada para predição
![Page 23: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/23.jpg)
MultiMediaMiner
Palavras-chaves também são utilizadas para classificar facilitar a manipulação de grande conjunto de dados
São derivadas de informações tais como:
• Nome do arquivo• Campo ALT da tag IMG• Título e cabeçalho da página html• Textos antes e depois da imagem
![Page 24: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/24.jpg)
MultiMediaMiner
![Page 25: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/25.jpg)
MultiMediaMiner
![Page 26: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/26.jpg)
Minerando Sons
![Page 27: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/27.jpg)
Mineração de Sons
Cenário 1: auditoria Cenário 2: Napster Duas possibilidades:
– Mineração da fala (speech mining): televisão/rádio, monitoramento de conversas ao telefone, etc.
– Mineração de músicas (musical mining): recuperação de músicas baseando-se na busca por conteúdo
![Page 28: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/28.jpg)
A Indústria da Música
3.459.000 de unidades (singles, LPs, fitas, CDs)
US$ 38.506.000 de faturamento Crescimento de 2,6% ao ano desde 1991 600.000 empregos diretos (apenas na
Europa, sem contar academia).
Fonte: IFPI. Recording Industry in Numbers. IFPI: Londres,
2000.
![Page 29: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/29.jpg)
Mineração e Música
Duas representações:– Simbólica: texto, MIDI, etc– Áudio: sinal contínuo
![Page 30: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/30.jpg)
Dificuldade
Melodia não é apenas uma concatenação de notas– Relações entre diferentes níveis de
abstração: alturas, intervalos, contorno melódico
– Relações com outras dimensões: tempo, posição métrica
subjetividade: música alegre, triste, etc
![Page 31: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/31.jpg)
Arquitetura Geral
![Page 32: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/32.jpg)
Mineração e Análise
Musicologia comparativa: análise, classificação e visualização a partir da observação estatística de uma grande massa de dados. – Exemplo: http://www.jyu.fi/musica/essen
![Page 33: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/33.jpg)
Entrada do Sistema
Representação simbólica da música (melodia) Dados: 6.252 canções folclóricas alemãs e 2.226
canções folclóricas chinesas Vantagens:
– Evita a fase de limpeza e preparação dos dados– Possui meta-dados (palavras-chave): gênero, região
geográfica, tipo de ritmo, tonalidade e uma descrição em linguagem natural do conteúdo.
![Page 34: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/34.jpg)
Extração de características
Análise estatística– Distribuição das alturas,
intervalos e durações.– Distribuição das
transições de alturas, intervalos e durações.
Resultado: conjunto de vetores (várias dimensões)
![Page 35: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/35.jpg)
Construção dos SOMs
Diminuir dimensionalidade
Cada vetor é a entrada de uma rede neural
![Page 36: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/36.jpg)
Construção do Super SOM
![Page 37: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/37.jpg)
Ferramentas
Ferramenta 1: Visualização dos Resultados– Canções com características similares
estão próximas
![Page 38: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/38.jpg)
Ferramenta 1
![Page 39: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/39.jpg)
Ferramentas (cont.)
Ferramenta 2: Visualização dos resultados estatísticos
Ferramenta 3: Agrupamento – Permite a análise de características
estilísticas
![Page 40: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/40.jpg)
Trabalhos Futuros
Levar em conta outros parâmetros: – contorno melódico, saliência do evento de
acordo com a posição métrica, etc.
Usar arquivos áudio
![Page 41: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/41.jpg)
Biblioteca Digital da Nova Zelândia
http://www.nzdl.org/cgibin/music/musiclibrary
MELody inDEX (MELDEX): recuperar melodias de um banco de dados
Entradas: notação simbólica ou áudio
(cantado em um microfone).
![Page 42: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/42.jpg)
Visão Geral
Áudio => preprocessamento: – Amostra do sinal– Transcrição: aplicação de filtros para
estimar a freqüência fundamental– Inícios e fins: canta-se com “da” ou “ta”
Busca de strings– Programação dinâmica para fazer
aproximação de strings
![Page 43: Minerando Dados Multimídia](https://reader030.fdocument.pub/reader030/viewer/2022020714/56813ad5550346895da30e93/html5/thumbnails/43.jpg)
Conclusões
Vem despertando interesses diversos Área com publicações recentes e
ferramentas incipientes Poucas referências unificadoras
– http://link.springer.de/link/service/series/0558/tocs/t2558.htm
Tem real aplicação no mundo