Introdução e Desafios emRecuperação de Imagens por Conteúdo
Prof. Dr. Rodrigo Tripodi [email protected]
www.rtcalumby.com.br
Roteiro
● Introdução
● O que é Recuperação da Informação?● Dados vs. Informação● RI e a Web● RI Multimídia
● Recuperação de Imagens por Conteúdo● Descritores de Imagens● Procedimento e Arquitetura● Cenários e Desafios
3
Motivação
● Tecnologias ● Captura● Armazenamento● Processamento de dados
4
Motivação
● Tecnologias ● Captura● Armazenamento● Processamento de dados
5
Motivação
● Tecnologias ● Captura● Armazenamento● Processamento de dados
● Grandes bases de dados● Como recuperar?
6
Recuperação da Informação
Fonte: Baeza-Yates e Ribeiro-Neto – Modern Information Retrieval – The concepts and technology behind search. 2ed.
7
O que é Recuperação da Informação?
● Estrutura● Análise● Organização● Armazenamento● Busca● Recuperação
8
O que é Recuperação da Informação?
Fonte: Grossman and Frieder - Information Retrieval – Algorithms and Heuristics. 2ed.
9
Características das informações
● Tipo● Estrutura● Contexto● Volume● Interação
10
Tipos de dados
● Textos– Documentos inteiros– Informação contida em documentos– Metadados sobre documentos
● Recuperação multimídia– Imagens– Vídeos– Audio
11
Estrutura dos dados
12
13
Estrutura dos dados
● Estruturados
● Semiestruturados
● Não estruturado
14
Dados estruturados
● Modelo relacional● Esquema bem definido● Linguagem formal
● Representação● Manipulação
Cliente
Id Nome Endereço
Pedido
Id Data Id_Cliente
15
Dados semiestruturados
● Esquema misturado com os dados● Auto descritivo● XML
Fonte: Elmasri e Navathe. Sistemas de Bancos de Dados. 6ed.
16
Dados não estruturados
● Páginas web, livros, e-mails, etc.● HTML● Linguagem natural
17
Motivação
● Aplicações da RI● Medicina● Biologia● Sensoriamento remoto● Bibliotecas digitais● Ambientes sociais● Web
18
Recuperação de DadosX
Recuperação da Informação
19
BD x RI
● Evidências● Metadados ou Conteúdo e estatísticas
● Conhecimento do esquema ou não● Consulta
● Linguagem formal ou Linguagem livre – Condições– Palavras-chave– Linguagem natural
● Resposta ● Exata ou Aproximada
20
Contexto dos dados
● Repositório homogêneo - vertical● Ex.: Coleção de artigos médicos● Ex.: Imagens marinhas● Ex.: Contratos, e-mails e relatórios de uma empresa
● Repositório heterogêneo - horizontal● Ex.: Biblioteca digital de uma universidade● Ex.: Álbum das férias● Ex.: Páginas de um serviço de blogging
21
Volume dos dados
● Crescimento acelerado● Número de páginas● Eventos de interação social
● Necessidades de algoritmos● Indexação, Caching e Agregação● Tolerância a falhas● Distribuídos e paralelos
● Ex.: Busca de arquivos em um computador● Ex.: Busca de arquivos em um rede P2P
22ESCALA
23
24
Recuperação da Informaçãoe a Web
25
RI e a Web
● Busca na Web é RI na prática
● Impactos● Informação ligada e distribuída
– Crawling → indexação● Tamanho da coleção e volume de consultas
– Escalabilidade
26
RI e a Web
● Busca na Web é RI na prática
● Relevância● Web → meio de negócio
● Busca de preços, números de telefone, download de software
27
RI e a Web
● Desafios● Grandes quantidades● Crawling● Criação e atualização de índices● Análise do conteúdo● Análise de hiperlinks
– Texto âncora– Página de destino– Links de saída e links de retorno
28
Arquitetura de um sistema de RI
Fonte; Chap 01: Introduction, Baeza-Yates & Ribeiro-Neto, Modern Information Retrieval, 2nd Edition
29
Recuperação Multimídia
● Imagens● Vídeos● Audio
30
Recuperação Textual
31
Recuperação Textual
● Vantagens● Abrange qualquer descrição● Adaptação ao usuário
● Desvantagens● Necessidade de anotação● Padrão de anotação● Subjetividade da interpretação● Sinônimos● Polissemia
32
Exemplo
33
Exemplo
Como descrever esta consulta?
34
Exemplo
35
Exemplo
36
Exemplo
37
Recuperação baseada em Contéudo
● Similaridade do conteúdo (pixels)
● Dado um banco de imagens o usuário deseja recuperar imagens semelhantes a um determinado padrão de consulta● Cor● Forma● Textura● Relacionamento espacial
38
ExemplosConsulta:
Resultados:
38
39
ExemplosConsulta:
Resultados:
39
40
ExemplosConsulta:
Resultados:
40
41
Exemplos
Consulta:
Resultados:
41
42
Descritores de Imagens
43
Procedimento
Fonte: Eduardo Valle and Matthieu Cord. 2009. Advanced Techniques in CBIR: Local Descriptors, Visual Dictionaries and Bags of Features. In Proceedings of the 2009 Tutorials of the XXII Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI-TUTORIALS '09). IEEE Computer Society, Washington, DC, USA, 72-78.
44
Arquitetura
45
Arquitetura
QUAIS OS DESAFIOS?
Desafios em CBIR
lighthouse at the sea
Desafios em CBIR
lighthouse at the sea
Desafios em CBIR
lighthouse at the sea
Desafios em CBIR
lighthouse at the sea
color
texture
shape
Desafios em CBIR
lighthouse at the sea
color
texture
shape
Low-level features vs. Concepts/preferences
Desafios em CBIR
lighthouse at the sea
color
texture
shape
sem
anti
c g
ap!
52
Gap Semântico
● Diferentes pessoas → percepções distintas● Propriedades de baixo nível x valor semântico
Desafios em CBIR
lighthouse at the sea
MULTIMODALITY
color
texture
shape
54
Multimodalidade
● Múltiplas fontes de evidências
● Fusão de características● Visual + Textual
● Agregação de resultados
55
Combinação de Características
56
Combinação de Características
???
57
Combinação de Características
● Aprendizado de métricas● Treinamento e teste● Seleção de características● Ajuste de pesos
● Fusão de dados de baixo nível
● Fusão de resultados● Agregação de rankings
Desafios em CBIR
lighthouse at the sea
color
texture
shape
Desafios em CBIR
lighthouse at the sea
color
texture
shape
Desafios em CBIR
lighthouse at the sea
color
texture
shape
- User subjectivity
- Difficulty on expressing needs
- Poorly defined queries
61
Realimentação de Relevância
Desafios em CBIRcolor
texture
shape
lighthouse at the sea
RELEVANCE FEEDBACK
Desafios em CBIRcolor
texture
shape
lighthouse at the sea
● Per user system optimization
● Implicit/Explicit relevance assessments
● Online adaptiveness
– Learning-to-rank
Desafios em CBIR
lighthouse at the sea
Desafios em CBIR
lighthouse at the sea
Near duplicates!
Desafios em CBIR
lighthouse at the sea
“Oscar Niemeyer Buildings” on Google Images
With the “labeled for reuse” search option enabled - As of Oct 6, 2015
“Oscar Niemeyer Buildings” on Google Images
- 24 images → 11 different buildigs out of hundreds → 46% of the ideal set
“Oscar Niemeyer Buildings” on Google Images
- 24 images → 11 different buildings out of hundreds → 46% of the ideal set
- 46% covering the same building(Oscar Niemeyer Museum in Curitiba, Paraná)
Diversity Promotion
Diversity Promotion
● Clustering
Diversity Promotion
● Clustering
73
Finalizando...
74
Desafios Gerais
● Larga escala● Interatividade● Eficácia● Eficiência● Novidade● Diversidade
75
Desafios da RI
● Múltiplos tipos de dados● Recuperação multilíngue● Dados georreferenciados● Informações em contextos
● Biologia● Medicina● Química● Agricultura● Jurídico
76
Desafios em CBIR
● Desenvolvimento de descritores● Globais, locais, etc.
● Técnicas de aprendizado de máquina● Realimentação de relevância
● Aprendizado ativo
● Sumarização visual / Diversidade● Busca social● Meios de visualização e navegação
77
Resumindo...
● Grandes quantidades de dados são geradas diariamente
● Diferentes tipos de objetos digitais
● Acesso eficaz e eficiente
● RI → Transformar a web em um repositório do conhecimento humano
● Há muito o que ser
● Estudado● Pesquisado● Desenvolvido
78
Leitura Recomendada(R. T. Calumby et al.)
● Multimodalidade e Realimentação de Relevância● Multimodal retrieval with relevance feedback based on genetic programming.
Multimedia Tools and Applications, 69(3):991–1019, 2014.
● Diversificação de Resultados● Recod @ Mediaeval 2015: Diverse social images retrieval. In Working Notes of
the MediaEval 2015 Workshop, Wurzen, Germany, September 14-15, 2015.
● Diversidade e Interatividade● Diversity-driven learning for multimodal image retrieval with relevance
feedback. In IEEE International Conference on Image Processing, pages 2197–2201, 2014.
● Aprendizado Interativo● On Interactive Learning-to-Rank for IR: Overview, Recent Advances,
Challenges, and Directions. Neurocomputing. 2016.
79
Prof. Dr. Rodrigo Tripodi [email protected]
Visite: www.rtcalumby.com.br
Desafios em Recuperação de Imagens por Conteúdo
Top Related