CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.
Transcript of CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.
![Page 1: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/1.jpg)
CIn-UFPE 1
Recuperação de Informação
Exemplos de Projetos
Flavia Barros
![Page 2: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/2.jpg)
CIn-UFPE
2
Roteiro
Áreas de pesquisa e desenvolvimento relacionadas
Exemplos de projetos para a disciplina Aplicações, serviços na Web
![Page 3: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/3.jpg)
CIn-UFPE
3
Tarefa típica de RI
Dados Um corpus de documentos (itens de
dados) & Uma consulta do usuário
geralmente representada por palavras-chave
Encontrar Um conjunto ordenados de documentos
que são relevantes para a consulta
![Page 4: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/4.jpg)
CIn-UFPE
4
Algumas Áreas relacionadas a RI
Bancos de dados Para armazenar os dados a serem recuperados
Inteligência artificial Ontologias e sistemas inteligentes de RI Aprendizagem de máquina
Classificação e clustering de documentos, criação e manutenção de profiles, extração de informação, mineração de texto, etc..
Processamento de linguagem natural
Ciência da informação Bibliotecas digitais
![Page 5: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/5.jpg)
CIn-UFPE
5
Processamento de Linguagem Natural
Algumas regiões de interseção Extração de informação Sistemas Pergunta-resposta E mais alguns métodos de
processamento dos documentos já vistos Análise léxica, Stemming, identificação
de grupos nominais, etc
![Page 6: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/6.jpg)
CIn-UFPE
6
Exemplos de Sistemas de RI
Sistemas de Busca Sistemas de Automação de Bibliotecas Sistemas de Gerenciamento de Documentos Engenhos de Busca na Web Sistemas de Meta-busca
Sistemas de Classificação/clustering de documentos
Sistemas de Pergunta-resposta
Sistemas de Extração de Informação
Sistemas de Recomendação
Sistemas de Mineração de dados/informação
RI Heterogênea
![Page 7: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/7.jpg)
CIn-UFPE
7
Exemplos de Agentes na Web
Agentes de filtragem de informação
Agentes notificadores
Agentes de Comércio Eletrônico
Agentes Chatterbots
![Page 8: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/8.jpg)
CIn-UFPE
8
Sistemas de Busca
Sistemas de Automação de Bibliotecas Primeira aplicação na área de RI Atualmente, a tendência são as
bibliotecas digitais RI + BD
Citeseer Scientific Literature Digital Library http://citeseer.ist.psu.edu/
![Page 9: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/9.jpg)
CIn-UFPE
9
Sistemas de Busca
BDCIn: Biblioteca Digital do Centro de Informática (2007-1) Indexação de Trabalhos de Graduação,
Dissertações de Mestrado e Teses de Doutorado do CIn-UFPE
TG fácil: um engenho de busca Web para TGs do CIn-UFPE (2008-1) Indexação dos TGs pelo conteúdo , não só
por meta-dados
![Page 10: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/10.jpg)
CIn-UFPE
10
Sistemas de Busca
ORKURIOSO (2008-1) Scraps -Troca de mensagens entre
usuários Busca por scraps
Levantamento de opiniões Fiscalização policial Curiosidade
Resultado Sender - Link Receiver - Link Scrap
![Page 11: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/11.jpg)
CIn-UFPE
11
Sistemas de Busca
Engenhos de busca são robustos e gerais Porém, retornam uma quantidade muito grande
de documentos irrelevantes
Sistemas e Meta-busca Realizam buscas nas bases de índices de outros
sistemas Na Web ou em BDs privados
Recuperação por similaridade Buscam documentos similares ao que o ususário
está visualizando ou editando E.g. GoogleToolbar (ainda existe?) Active Search (CIn), ...
![Page 12: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/12.jpg)
CIn-UFPE
12
Sistemas de Pergunta-Resposta
Recuperação de Informação + Processamento de Linguagem Natural Recebem como entrada uma pergunta em
linguagem natural Retornam como saída a resposta (curta) ao
invés de uma lista de documentos
Exemplo: P: Em que temperatura a água entra em
ebulição? R: 100º celsius
![Page 13: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/13.jpg)
CIn-UFPE
13
Sistemas de Pergunta-Resposta
Sistemas para domínio específico Mais simples Podem usar uma base de pares previamente
armazenados
Sistemas livres de domínio na Web Em geral, extraem a resposta a partir de texto
livre Exemplo: Sistema Pergunte!
Uma interface em Português para pergunta-resposta na Web
Mestrado de Juliano Rabelo, 2004
![Page 14: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/14.jpg)
CIn-UFPE
14
Sistemas de Pergunta-RespostaArquitetura Genérica
![Page 15: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/15.jpg)
CIn-UFPE
15
Sistemas de Pergunta-Resposta
Q & A: sistema de pergunta-resposta(2007-1) Restrito a perguntas do tipo “Quem”, “Onde” e
“Quando” Utiliza uma base de dados local
![Page 16: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/16.jpg)
CIn-UFPE
16Classificação e Clustering de documentos
Classificação - Objetivo Classificar documentos de acordo com
um conjunto ou hierarquia de categorias previamente definidas
Clustering – Objetivo Agrupar documentos semelhantes em
classes não conhecidas a priori
![Page 17: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/17.jpg)
CIn-UFPE
17
Classificação de documentos
Algumas aplicações: Recomendação Alimentar hierarquias de classes, como a do
Yahoo, para facilitar a busca Criação de repositórios de domínio específico Distribuição de Notícias
Jornal personalizado Mensagem de Email e Newsgroups
Filtragem de spam Routing Atribuição de prioridades Seleção de folders
![Page 18: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/18.jpg)
CIn-UFPE
18
Clustering de documentos
Aplicações Criar taxonomias (hierarquias de
classes) para browsing de documentos em uma coleção
Agrupar resultados de consultas a engenhos de busca ou outros sistemas de RI
Técnicas Aprendizado não supervisionado
![Page 19: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/19.jpg)
CIn-UFPE
19
Clustering de documentosExemplos
Domme: Domestic Mesh Engine (2007-1) Engenho de Busca e Agrupamento de
Documentos na Intranet do CIn recuperação eficiente dos documentos da
intranet do Cin
![Page 20: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/20.jpg)
CIn-UFPE
20
Clustering de documentos
Sistema de apoio ao estudante (2007-1)
Busca na Web, Indexação e clustering
Objetivo Facilitar a busca de material de estudo
(apostilas, tutoriais, aulas) na Web sobre um tema específico e.g., Biologia 2º grau
Com base no conteúdo de questões previamente cadastradas no sistema
![Page 21: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/21.jpg)
CIn-UFPE
21
Clustering de documentosExemplo 2007-1
![Page 22: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/22.jpg)
Visualização de Dados/Informação
Sistema de visualização gráfica (2010) Tem por objetivo exibir dados organizados em
uma ontologia em forma de um grafo 2D. usa uma API Java para a geração dos grafos a
partir de documentos XML possui um conversor que mapeia o arquivo da
ontologia (OWL) para o formato esperado pela API (GraphML) .
CIn-UFPE
22
![Page 23: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/23.jpg)
CIn-UFPE
23
Sistemas de Extração de Informação
Sistemas capazes de extrair de documentos relevantes apenas a informação requerida
A informação extraída pode ser apresentada ao usuário e/ou armazenada em BDs ou BCs.
Sistema de EI
BD
Nome:End.:Fone:Fax:Preços:
Template
BC
Página de Hotel
![Page 24: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/24.jpg)
CIn-UFPE
24
Sistemas de Extração de Informação
ProdExt: Um Wrapper para extração de referências bibliográficas a partir de páginas eletrônicas Mestrado de Carla Nunes, 2000
Abordagem utilizada Construção manual de base de regras
Autor: A.V.Garcia and A. HaebererTítulo: An Architecture for Semantically Based Code MigrationVeículo: In Proc. of the II Brazilian Symp. on Progr. LanguagesPáginas: pp 179-192 Data: Sept/1997Local: Campinas, Brasil
A.V.Garcia and A. Haeberer. An Architecture for Semantically Based Code Migration. In Proc. of the II Brazilian Symposium on Progr. Languages, pp 179-192, Sept/1997, Campinas, Brasil.
![Page 25: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/25.jpg)
CIn-UFPE
25Sistemas de Extração de Informação
Extração de anúncios de vendas de carro do JC Online (2008-1) Os templates gerados forma indexados pelo
Lucene, para facilitar a consulta do usuário.
![Page 26: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/26.jpg)
CIn-UFPE
26
Mineração de Opiniões
Análise de Sentimentos Sentiment analysis
Objetivo Prover tratamento automático de
opiniões/sentimentos Trata a subjetividade do texto
Opiniões são extraídas a partir de Sites de opiniões Sites de lojas Blogs Foruns…
![Page 27: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/27.jpg)
CIn-UFPE
27
Mineração de Opiniões
Desafio identificar trechos dos textos que expressam
sentimentos/opiniões indicar se uma opinião é positiva (favorável) ou
negativa (desfavorável) em relação ao item sendo abordado
Utiliza técnicas de RI e de processamento de linguagem natural
![Page 28: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/28.jpg)
CIn-UFPE
28
Mineração de Opiniões
Base de Textos
Engenho de Busca
Autores dos comentários
Usuário final
Extraçãode Opiniões
Classificação de
Sentimento
Sumarização
Interface
Consulta(Objeto)
Textos
Textos retornados
Opiniões
Opiniões +sentimento
Sumário
![Page 29: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/29.jpg)
Mineração de Opiniões
Mineração de opiniões no Twitter Monitorando “marcas”
Análise de sentimentos em Discursos políticos Fóruns de debate Etc...
CIn-UFPE
29
![Page 30: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/30.jpg)
CIn-UFPE
30Mineração de dados em Redes Sociais
Objetivo Explorar o conhecimento coletivo e implícito,
descobrir padrões e regras de associação, prever tendências e a evolução da rede
Utiliza técnicas de mineração de dados e grafos
aliados a técnicas Aprendizagem de Máquina e
técnicas de visualização das redes
![Page 31: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/31.jpg)
CIn-UFPE
31
Mineração de dados em Redes sociais Tarefas
Ranking de nós Importância, centralidade ou o poder de
influência de nós (grau, intermediação, proximidade,...)
Classificação baseada em Links Categorizar um nó considerando os
relacionamentos com outros nós
Predição de Links Prever a interação entre dois nós num futuro
próximo baseado na estrutura da rede
Agrupamento de nós Detectar grupos ou comunidades
![Page 32: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/32.jpg)
CIn-UFPE
32
Sistemas de Personalização
São sistemas que buscam adaptar-se às preferências e necessidade individuais de cada usuário Utilizam profiles
Sistemas de personalização incluem: Recomendação Filtragem Predição
![Page 33: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/33.jpg)
CIn-UFPE
33
Sistemas de Recomendação
Recomendam itens para usuários com base em suas preferências livros, filmes, CDs, páginas web, mensagens de
newsgroup
Exemplos de sistemas Lojas virtuais oferecem esse serviço para
aumentar as vendas e.g. Amazon, CDNow
Existem duas abordagens básicas par recomendação: Filtragem colaborativa (um tipo de filtragem
social) Recomendação baseada em conteúdo
![Page 34: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/34.jpg)
CIn-UFPE
34
Sistema de Recomendação
ACoReS: Amadeus Course Recommendation System (2007-1) indica cursos aos usuários com base na identificação de padrões de
comportamento desses usuários em relação ao sistema Observa o histórico de cursos nos quais os alunos
se matricularam
Recomendação de Tweets de promoção Engloba um classificador de tipos de promoção
E.g., retweets E de tipos de itens em promoção
![Page 35: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/35.jpg)
Clipagem Digital
Clipagem/clipping digital (2010) processo de selecionar notícias atuais em meios
de informação, como jornais, revistas e sites e validadas como verdadeiras
verificando redundância relevantes para o usuário do sistema resultando em um conjunto de recortes sobre
temas de interesse desse usuário
O sistema projetado parte de notícias em sites de jornais pré-selecionados Para então verificar a veracidade das notícias
CIn-UFPE
35
![Page 36: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/36.jpg)
CIn-UFPE
36
Integração de Informação
Pergunta-resposta + Extração de informação
Objetivo Integrar automaticamente diversos Web sites para responder a determinadas perguntas do
usuário cuja resposta não está disponível em um site único
Para cada site selecionado, um wrapper é construído
Os dados extraídos de cada site podem ser tratados como tabelas de bancos de dados que podem ser consultadas usando-se uma query
language (e.g. SQL).
![Page 37: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/37.jpg)
CIn-UFPE
37Integração de Informação
Exemplo (2007-1)
LOGO: Sistema Integrado para Busca de Passagens Aéreas OnLine
Extração de informação +
Integração de informação
![Page 38: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/38.jpg)
CIn-UFPE
38
RI Heterogênea
Sistemas de Recuperação multi-língua Recebem a entrada em uma língua e
devolvem a saída em outra língua
Busca de partituras musicais ou cifras
Busca de padrões de exames médicos Eletrocardiogramas, …
![Page 39: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/39.jpg)
CIn-UFPE
39
Agentes de Informação
Fazem mais do que só RI, pois podem: Comunicar-se Cooperar Negociar
Aplicações: Comércio eletrônico Leilões/licitações Etc……………..
![Page 40: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/40.jpg)
CIn-UFPE
40
Agentes de Informação
Agentes Notificadores Enviam emails para o usuário de acordo
com seus interesses
Agentes de Comércio Eletrônico Capazes de representar o usuário em
compras na Web
Agentes Chatterbots Capazes de dialogar com os usuários em
linguagem natural restrita Semelhantes aos sistemas PR
![Page 41: CIn-UFPE1 Recuperação de Informação Exemplos de Projetos Flavia Barros.](https://reader033.fdocument.pub/reader033/viewer/2022050921/552fc14f497959413d8e2fe1/html5/thumbnails/41.jpg)
Próxima aula
Ver cronograma...
CIn-UFPE
41