Sistemas de Recomendação Carlos Castor Naiane Nascimento.
Transcript of Sistemas de Recomendação Carlos Castor Naiane Nascimento.
![Page 1: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/1.jpg)
Sistemas de Recomendação
Carlos CastorNaiane Nascimento
![Page 2: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/2.jpg)
RoteiroMotivação
Coleta de informações
Privacidade
Estratégias
Técnicas
Arquitetura
Aplicações
Estudo de Caso
Mestrado
Conclusão
![Page 3: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/3.jpg)
Motivação
Era da Inteligência ColetivaA capacidade de novas mídias para armazenar e
recuperar informações facilmente, principalmente em bases de dados e na Internet, permite que elas sejam compartilhadas sem dificuldade. Assim, através da interação com novas mídias, passam facilmente entre as fontes de conhecimento, resultando em uma forma de inteligência coletiva. (Flew, 2008)
Web 2.0Maior interação entre usuários e a Web;Surgimento de mais portais, blogs e redes sociais
![Page 4: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/4.jpg)
MotivaçãoGrande volume de informações na Web
Com a quantidade de informações e com a disponibilidade facilitada das mesmas pelo uso da Internet, as pessoas se deparam com uma diversidade muito grande de opções. Muitas vezes um indivíduo possui muito pouca ou quase nenhuma experiência pessoal para realizar escolhas entre as várias alternativas que lhe são apresentadas. (MAES, et al 1995)
Os Sistemas de Recuperação são bastante utilizados pela publicidade Serve de gancho para serem utilizados em outras áreas
![Page 5: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/5.jpg)
Como resolver?Ferramentas de recomendação como
solução
Existem os sistemas de recomendação que trabalham com a personalização, o que possibilita que o conteúdo exibido para o usuário seja aquele que ele terá maior interesse em visualizar. Para que se possa recomendar itens a um usuário, é necessário se ter conhecimento sobre quem é este usuário. É necessário capturar e armazenar seus dados pessoais e comportamentais relativos. Portanto, é essencial que se possa identificar o usuário no momento em que ele acessa o sistema onde foram implantadas as rotinas de recomendação.
(REATEGUI, et al 2005)
![Page 6: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/6.jpg)
Quem utiliza?
![Page 7: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/7.jpg)
Pioneiros na área
Nos anos 90, foi desenvolvido o Tapestry.Um sistema de email que avaliava a relevância
dos documentos recebidos.
Em 1996, o My Yahoo surgiu.O primeiro website a utilizar recomendação em
grandes proporções.
A técnica customização era utilizada.
![Page 8: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/8.jpg)
Coleta de Informações
É necessário conhecer quem é o usuárioO usuário deve ser identificado no
momento em que ele acessa o sistema- Identificação no servidor
É necessário fazer um cadastro Provê maior precisão
- Identificação no cliente Utiliza cookies para identificar a máquina Menos confiável
![Page 9: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/9.jpg)
Coleta de Informações
As informações podem ser coletadas de forma explícita ou implícita
Coleta Explícita O usuário indica o que lhe interessa.
Coleta Implícita A partir do comportamento do usuário, infere-se suas
necessidades e preferências.
![Page 10: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/10.jpg)
Como se dá a recomendação
Semelhanças entre usuáriosGrupos de pessoas com interesses em comum.Métricas de Similaridade são usadas para calcular
essas semelhança Coeficiente de Pearson. Distância Euclidiana.
Recomendar itensMostrar algum item que uma pessoa parecida com
você viu e você não viuTabela de Pesos.
![Page 11: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/11.jpg)
Como se dá a recomendação
Comparação entre itensEncontra a similaridade entre os itensAjuda a oferecer um item que você provavelmente
queira ver
![Page 12: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/12.jpg)
Privacidade
Informações do usuário são coletadas e armazenadas sem que ele perceba.
Existem empresas que vendem esses dados.
![Page 13: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/13.jpg)
Políticas de Privacidade
É uma exigência legal que as políticas de privacidade dos sites sejam disponibilizadas.Aumenta a proteção do usuário.
Algumas organizações propõem selos que regulam a política de privacidade de um website.
![Page 14: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/14.jpg)
Estratégias
Diferentes estratégias podem ser usadas para personalizar ofertas para o usuário.
Listas de Recomendação
Avaliação de Usuários
Suas Recomendações
Produtos Similares (X -> Y)
Associação por Conteúdo
![Page 15: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/15.jpg)
Técnicas de Filtragem
Os Sistemas de Recomendação utilizam a técnica de Filtragem de Informação (FI) para extrair as relações e similaridades existentes entre produtos, entre consumidores e entre produtos e consumidores.
Filtragem baseada em ConteúdoFiltragem ColaborativaFiltragem Híbrida
![Page 16: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/16.jpg)
Filtragem Baseada em Conteúdo
Filtragem Baseada em Conteúdo É a forma mais simples de recomendação Considera que usuários sempre gostaram de coisas que
gostaram no passado. Analisa apenas os itens e o perfil do usuário
Funcionamento: Usuários devem avaliar itens de acordo com seu interesse.
O sistema correlaciona os itens em sua base de dados, considerando características de cada item.
E indica novos itens que apresentem alto grau de similaridade.
![Page 17: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/17.jpg)
Filtragem Baseada em Conteúdo
Dificuldades:
Cálculo da similaridade
Há dificuldades na sugestão de cor e tamanho, por exemplo.
Análise dos dados restrita
Imagem e Áudio
Super Especialização
O usuário não receberá indicações do que nunca consumiu.
Efeito Portfólio
É analisado o histórico
![Page 18: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/18.jpg)
Filtragem Colaborativa
Filtragem ColaborativaFechar as lacunas que a filtragem baseada em
conteúdo não soluciona.
Não exige a extração de características dos itens.
O sistema se baseia na troca de experiências entre usuários com gostos similares.
![Page 19: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/19.jpg)
Filtragem Colaborativa
Funcionamento: Usuários devem avaliar itens de acordo com seu interesse
O sistema descobre usuários com padrões similares de comportamento ao do usuário atual
Cálculo do peso de cada usuário em relação a similaridade ao usuário alvo.
Selecionar um subconjunto
Processa as avaliações feitas por esse subconjunto de usuários
E recomenda itens que o usuário atual ainda não avaliou
![Page 20: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/20.jpg)
Filtragem Colaborativa
Dificuldades:
Necessita de vasta base de dados
Escalabilidade/estabilidade
Partida fria (Usuários e itens novos)
Popularidade
Ovelha negra
![Page 21: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/21.jpg)
Filtragem Híbrida
Filtragem HíbridaCombina as duas técnicas, para obter um sistema
mais eficiente
![Page 22: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/22.jpg)
Técnicas (Comparativo)
Fonte: VAREJÃO, L., OLIVEIRA, P., LORENA, V., ACIOLI, V. Mineração de Dados na Web: Sistemas de Recomendação
![Page 23: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/23.jpg)
Arquitetura de sistemas de
recomendação
![Page 24: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/24.jpg)
Arquitetura
Grande volume de dados e eventos
Interatividade
![Page 25: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/25.jpg)
Arquitetura: Computação
Online Uso de eventos recentes Interatividade com usuário Tempo real
Limita o volume de dados utilizáveis e a complexidade dos algoritmos
Offline Grande volume de dados Algoritmos complexos Maior tempo para resposta
Nearline Intermediário entre online e offline Computação realizada da mesma forma que o online, mas sem a
necessidade de resposta em tempo real
![Page 26: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/26.jpg)
Arquitetura: Computação
![Page 27: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/27.jpg)
Arquitetura: Tarefas Offline
Tarefas agendadas
Model TrainingAlgoritmos de aprendizagem de máquina para
definição de parâmetros
Computação de resultadosSugestões que irão aparecer para o usuário ou serão
utilizadas por algoritmos online
Grande Volume de dadosBanco de dados distribuídos(Hive ou Pig)
![Page 28: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/28.jpg)
Arquitetura: Tarefas Offline
Mecanismo para publicação dos resultadosQuando os resultados estão prontosSuporte a diferentes repositóriosTratamento de errosMonitoramentoAlertasNetflix.Hermes
![Page 29: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/29.jpg)
Arquitetura: Tarefas Offline
![Page 30: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/30.jpg)
Arquitetura: Sinais e Modelos
Modelos: arquivos com parâmetros resultantes de computação offline
Dados: informação processada
Sinais: informações recentes não processadas
![Page 31: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/31.jpg)
Arquitetura: Sinais e modelos
![Page 32: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/32.jpg)
Arquitetura: Eventos e dados
Diferentes interfaces Smart TVs, tables, video games, etc
O sistema busca captar o máximo de ações do usuário Cliques,navegação,views,etc
Eventos: pequenas unidades de informações sensíveis ao tempo que têm de ser processados com a menor quantidade possível de latência
Dados: dados mais densos que necessitam ser processados e armazenados para uso futuro.
Netflix.Manhatam: gerenciador de eventos
![Page 33: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/33.jpg)
Arquitetura: Eventos e dados
![Page 34: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/34.jpg)
Arquitetura: Resultados
![Page 35: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/35.jpg)
Aplicações
Sugestão de vídeos
Lista de recomendação
Associação de conteúdo
![Page 36: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/36.jpg)
Aplicações
Sugestão de pessoas que o usuário
possa conhecer.Usuários que se interessam por “X”
também se interessam por “Y”
![Page 37: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/37.jpg)
Aplicações
Sugestão de itens que o usuário posso querer comprar
Lista de recomendação
Avaliação de Usuários
Suas Recomendações
Usuários que se interessam por “X” também se interessam
por “Y.”
Associação por conteúdo
![Page 38: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/38.jpg)
Aplicações
Lista de Recomendação
Avaliação de Usuários
![Page 39: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/39.jpg)
Estudo de Caso: News Feed do Facebook
Usuário decide entre visualização das postagens mais recentes ou as mais importantesComo determinar quais postagens são mais
importantes para o usuário?
Inicialmente, a importância das postagens era ajustada manualmente i.e.: Fotos > links > curtida
![Page 40: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/40.jpg)
EdgeRank
Algoritmo utilizado para determinar a importância das postagens
Todas as relações(curtir, comentar, compartilhar,etc) são modeladas como vértices(edges) de um grafo
![Page 41: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/41.jpg)
EdgeRank
: grau de afinidade entre o usuário e o autor do vértice
: peso do tipo da postagem relativa ao vértice : idade do vértice = , sendo d o tempo desde a
criação do vértice
![Page 42: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/42.jpg)
EdgeRank - Ilustração
![Page 43: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/43.jpg)
EdgeRank-Ilustração
e1: Empresa A criou x em yu1, w1, d1=(1/(h-y)), h=tempo corrente
e2: Amigo 1 curtiu x em (y+1)u2, w2, d2=(1/(h-(y+1)))
e3: Amigo 2 comentou x em (y+15)
u3, w3, d3=(1/(h-(y+15)))
e4: Amigo 3 curtiu x em (y+30)u4, w2, d4=(1/(h-(y+30)))
h: tempo corrente
![Page 44: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/44.jpg)
Desafios
Melhoria nos algoritmos de recomendação:Maior eficiência Melhor qualidade do resultado
![Page 45: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/45.jpg)
Mestrado
Clipping automático de notícias utilizando sistema de recomendação Uso de matérias de portais de notícias na Web
Inicialmente, matérias de apenas um segmento
Conteúdos compartilhado por amigos nas redes sociais
Amenizar a grande carga de informações expostas para o internauta. Filtrar as informações do seu interesse Comodidade
Recebimento do clipping por e-mail
![Page 46: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/46.jpg)
Quem pode ser beneficiado?
Usuários em geral da Web
Maior auxílio ao trabalho dos profissionais de comunicação, mais especificamente aos de Jornalismo de assessorias de imprensa.
Também deve auxiliar especialistas de determinadas áreas, curiosos ou mesmo empresários/empresas.
E até mesmo políticos que desejam saber o que tem sido comentado sobre si na Web.
![Page 47: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/47.jpg)
Conclusão
Diante da grande massa de informações na Web os Sistemas de Recomendação podem ser de grande auxílio
É um caminho bastante aderido pela publicidade
Ainda há uma grande discussão quanto a privacidade dos usuários
Sites que não possuem Sistema de Recomendação estão fadados ao esquecimento
![Page 48: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/48.jpg)
Referências
TUTEN, T. L. Advertising 2.0: social media marketing in a Web 2.0 world. Praeger, Westport Connecticut, 2008.
MAES, P.; SHARDAMAND, U. (1995) “Social information filtering: Algorithms for automating "word of mouth”, In: Human Factors in Computing Systems. Proceedings…, 1995, p. 210-217.
REATEGUI, E.; CAZELLA, S. Sistema de Recomendação. XXY Congresso da Sociedade Brasileira de Computação, 2005. São Leopoldo.
VAREJÃO, L., OLIVEIRA, P., LORENA, V., ACIOLI, V. Mineração de Dados na Web: Sistemas de Recomendação
REATEGUI, E., CAZELLA, S., Sistemas de Recomendação. XXV Congresso da Sociedade Brasileira de Computação, 2005, Rio Grande do Sul.
http://edgerank.net/
http://marketingland.com/edgerank-is-dead-facebooks-news-feed-algorithm-now-has-close-to-100k-weight-factors-55908
http://techblog.netflix.com/2013/03/system-architectures-for.html
![Page 49: Sistemas de Recomendação Carlos Castor Naiane Nascimento.](https://reader035.fdocument.pub/reader035/viewer/2022070311/552fc130497959413d8d4722/html5/thumbnails/49.jpg)
Dúvidas?
??