22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle...
-
Upload
luana-manuel -
Category
Documents
-
view
216 -
download
2
Transcript of 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle...
![Page 1: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/1.jpg)
27/04/23 1 /
Query By Humming
![Page 2: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/2.jpg)
Ana Alves (apba)Bruno Ribeiro (brcr)Francisco Neto (ffsn)
Garsielle Valença (gval)
Query by Humming (QBH)
![Page 3: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/3.jpg)
QBH | Motivação
• “Futuras” gerações de Banco de Dados
•Rádios
•Emissoras de TV
•Lojas de Música
•Uso pessoal
![Page 4: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/4.jpg)
Roteiro
• O que é?• Conceitos fundamentais• Algoritmos• Dificuldades• Aplicações Existentes
![Page 5: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/5.jpg)
QBH | Definição
É a realização de consultas por conteúdo à um conjunto de músicas, tomando como entrada um trecho de melodia cantarolado pelo usuário
![Page 6: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/6.jpg)
27/04/23 6 /
QBH | Conceitos
• Query“A query is a monophonic melody sung by a single person.”
• String“A sequence of notes in a written musical score,
or notes transcribed from a sung query.”
![Page 7: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/7.jpg)
27/04/23 7 /
QBH | Conceitos
• String matchers “Find the best alignment between string Q and string T by
finding the lowest cost (or, equivalently, highest reward) transformation of Q into T in terms of operations (matching or skipping characters). The score of the best alignment can be used as a measure of the similarity of two strings.”
• Pitch“The property of a sound or musical tone measured by its
perceived frequency”
![Page 8: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/8.jpg)
QBH | Introdução
• Crescimento da área de recuperação de informação multimídia baseada em conteúdo• Pontos Críticos
• Tipo de interação com informações multimídia• Atender às habilidades e preferências dos usuários
• Metas• Organização• Facilidade• Eficiência
![Page 9: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/9.jpg)
QBH| Dificuldades
• Determinação da freqüência fundamental em um fragmento de áudio– Heurísitco– Maior ou menor grau de acerto
• Determinar similaridade da melodia– Pitch Incorreto– Transposição– Ritmo
![Page 10: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/10.jpg)
QBH| Dificuldades
• Robustez– Algoritmo mais preciso
• Performance– Algoritmo eficiente
![Page 11: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/11.jpg)
27/04/23 11 /
QBH| Técnicas• Melodic Contour Matching
– Seqüência das diferenças relativas no pitch entre notas successivas.
– Três relações possíveis de altura em relação a nota anterior(U, D, S)
• Acima (U)• Abaixo (D)• Igual (S)
![Page 12: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/12.jpg)
27/04/23 12 /
QBH| Pitch Tracking• Auto-Correlação
• Probabilidade Máxima
• Análise do Espectro
![Page 13: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/13.jpg)
QBH| Dynamic Time Warping
• Usado para medir similaridades entre seqüências de notas musicais– Não importa se variam em tempo e velocidade;
• DTW pode ser aplicado em diversas áreas– Vídeo, áudio, reconhecimento de voz, etc.;
![Page 14: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/14.jpg)
QBH| Dynamic Time Warping
![Page 15: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/15.jpg)
QBH |Algoritmos de Busca
•String Matching•Global alignment algorithm•Local alignment algorithm
•Melodic Contour Matching
•Hidden Markov Model•Forward algorithm
![Page 16: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/16.jpg)
QBH |Experimento
• 3 Sistemas que utilizam diferentes algoritmos de consulta
-Local alignment algorithm-Global alignment algorithm-Forward algorithm
![Page 17: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/17.jpg)
QBH |Experimento
![Page 18: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/18.jpg)
QBH |Experimento
![Page 19: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/19.jpg)
Aplicações Existentes
• Melody Recognition System– Desenvolvido pelo IDMT, Alemanha;– Identifica som de duas formas:
• Através da voz,• Ou tocando algum instrumento.
– A aplicação realiza a consulta na base de dados a partir de dois parâmetros:
• Pela melodia e ritmo da música tocada pelo usuário;
– Como resultado, um ranking dos 10 mais similares:• Título da música, • E nome do artista são devolvidos;
![Page 20: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/20.jpg)
Aplicações Existentes
• Melody Recognition System– O processo de reconhecimento é dividido em 3
partes:• O sinal de áudio é armazenado;
– Eliminação do ruído do som;• As freqüências fundamentais são analisadas;
– É determinado um “pitch contour”;– Este é dividido em diversas notas, onde cada uma:
» É caracterizada pela sua duração e pitch;• A consulta retorna a lista das canções.
27/04/23 20 /
![Page 21: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/21.jpg)
Aplicações Existentes
• Melody Recognition System– Características:
• A aplicação contém uma base de dados com milhares de músicas:
– Desde música clássica até pop;• O sistema é tolerante com relação à imprecisões:
– Na voz do usuário,– E nos ruídos do ambiente;
• “Imprecisão na consulta afeta menos a performance do usuário do que imprecisão no pitch”;
• Uma consulta com certo grau de imprecisão na voz do usuário será retornada com um grau de precisão associado;
27/04/23 21 /
![Page 22: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/22.jpg)
Aplicações Existentes
• Melody Recognition System– O sistema está implementado em 3 diferentes tipos
de aplicações:• Sistema stand-alone:
– Todo processamento está localizado em um único computador;
• Aplicação Web:– A transmissão da consulta é feita por um Applet Java;– O processamento ocorre em um servidor remoto;– O resultado é mostrado no browser do usuário;
27/04/23 22 /
![Page 23: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/23.jpg)
Aplicações Existentes
• Melody Recognition System– Tipos de aplicações:
• Aplicação Móvel;– Usuário conecta a um servidor remoto pelo celular;– Canta a música e realiza a consulta;– Todo processamento é realizado no servidor;
27/04/23 23 /
![Page 24: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/24.jpg)
Referênciaswww.cs.cornell.edu/Info/Faculty/bsmith/ query-by-humming.html http://sail.usc.edu/music/research.html#intro
http://www.idmt.fraunhofer.de/eng/press_media/download/product_information/qbh_eng_web.pdf
![Page 25: 22/4/20151 / Query By Humming. Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval) Query by Humming (QBH)](https://reader035.fdocument.pub/reader035/viewer/2022070507/570638451a28abb8238f2c38/html5/thumbnails/25.jpg)
27/04/23 25 /
Query By Humming