XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -
Uberlândia - 2011
Análise Computacional de Texturas Sonoras via Mapas de
Poincaré
Adriano Monteiro Núcleo Interdisciplinar de Comunicação Sonora (NICS)
Departamento de Musica, Unicamp
Jônatas Manzolli Núcleo Interdisciplinar de Comunicação Sonora (NICS)
Departamento de Musica, Unicamp
Resumo: Apresentamos um estudo onde utilizamos técnicas computacionais para extrair informação espectral do áudio digitalizado e descrever texturas sonoras complexas. Esta pesquisa utiliza o descritor de áudio denominado de centróide espectral e mapas de recorrência ou de Poincaré. Descrevemos um estudo piloto na qual escolhemos quatro obras de referência e fizemos uma comparação por pares com o objetivo de validar o método de análise.
Palavras-Chave: análise musical, computador, texturas, complexidade, mapas de poincaré.
Computer Analysis of Sound Textures via Poincaré Maps
Abstract: We present a study on computational techniques to extract spectral information from digital audio and describe complex sound textures. This research approach uses the Spectral Centroid audio descriptor and recurrence or Poincaré Maps. In order to validate the method of analysis, we describe a pilot study in which we choose four reference pieces and develop an evaluation per pairs.
Keywords: music analysis, computer, textures, complexity, Poincaré maps
1. Introdução
Reportamos neste artigo um método de análise de texturas sonoras que
associa descritores de áudio (Puckette e Apel 1998; Malt e Jourdan 2009; Pereira
2009) com mapas de Poincaré (Bradley 2002). Discutimos um estudo piloto no qual
escolhemos quatro obras de referência e fizemos uma comparação por pares com o
objetivo de validar o método de análise. O ponto de partida para a nossa análise são
os trabalhos de (Clendinning 1993; Roig-Francoli 1995) e duas obras do compositor
Gyorgi Ligeti tomadas como referência. A motivação do trabalho é a seguinte:
quando processos musicais adquirem um certo grau de complexidade a análise
musical com auxílio computacional pode prover informação complementar à Escuta
e estabelecer uma visão mais ampla da obra.
A primeira hipótese do nosso estudo é que o aumento de complexidade
sonora é análoga à dinâmica de sistemas complexos e que o grau de recorrência é
inversamente proporcional a homogeneidade dos padrões encontrados na obra. Em
XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -
Uberlândia - 2011
outras palavras, o jogo estabelecido entre recorrência, estabilidade e instabilidade
caracteriza as nuances do discurso textural. A segunda hipótese é que este tipo de
estrutura desenvolvida por recorrência de padrões pode ser detectada diretamente
do sinal de áudio digitalizado utilizando-se o descritor “Centróide Espectral”
(Pereira 2009) conjugado com os Mapas de Poincaré.
3. Descritores
Os descritores de áudio são utilizados para extrair características acústicas
e psico-acústicas de áudio digital, principalmente, a partir de suas componentes
espectrais. A principal literatura sobre descritores está nos anais do congresso da
“Sociedade Internacional para Recuperação de Informação Musical”1. Há descritores
implementados em ambientes de programação como Pure Data, como os primitivos
fiddle~, bonk~ e sigmund~ (Puckette e Apel 1998). Há também objetos para
MAX/MSP como o analyser~, brightness~, noisiness~ e a biblioteca Zsa.Descriptors
implementada por (Malt e Jourdan 2009) que é voltada à caracterização da
sonoridade de técnicas instrumentais estendidas. Para desenvolver nossa pesquisa
implementamos também uma biblioteca de descritores em Pure Data (xxxx, xxxxx).
4. Mapas de Poincaré
O matemático francês Henri Poincaré desenvolveu no começo do século
XX um estudo sobre dinâmicas complexas (Poincaré 1923). Uma ferramenta útil
para análise deste tipo de fenômeno são os mapas por ele desenvolvidos. Estes são
gráficos bi-dimensionais que descrevem recorrências em sequências numéricas
chamadas de Séries Temporais. Por exemplo, estes mapas são utilizados na análise
da variabilidade dos batimentos cardíacos (Acharya 2006), no estudo do
comportamento coletivo em interações sociais (Camurri 2010) e o fluxo da
respiração humana (Bruce 1996). A recorrência é uma propriedade fundamental dos
sistemas dinâmicos, pois caracteriza a regularidade ou não-regularidade temporal
dos estados do sistema (Bradley 2002). O mapa de Poincaré descreve recorrência
quando uma série temporal visita várias vezes uma mesma região do gráfico
formando aglomerados de pontos, chamados de “clusters”. Exemplificamos este
comportamento na Figura 1. Quando o mapa de Poincaré é associado a uma 1 ISMIR- International Society of Musical Information Retrieval
XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -
Uberlândia - 2011
sequência randômica, todo o gráfico é preenchido com pontos (vide 4A). Em
oposição quando a sequência é periódica, apenas a faixa da diagonal principal é
preenchida (vide 1A). Em (2A) uma sequência periódica é superposta a uma
sequência periódica perturbada com números aleatórios; em (3A) a sequência
perturbada é superposta a aleatória.
Figura 1: Mapas de Poincaré localizados nos gráficos da esquerda (bloco A) e os
gráficos de desvios estão no bloco à direita (bloco B).
Dada uma série temporal unidimensional
€
S(t) : a...b[ ]⊂ ℜ→ c...d[ ]⊂ ℜ
com valores tomados em
€
t = t1,t2,t3...tn descritos como
€
A = {x1,x2,x3,...,xn} , o mapa de
Poincaré é o gráfico associado ao conjunto de pares ordenados
€
P = {(x1,x2),(x3,x2)...(xn−1,xn )}. Dada duas séries temporais
€
{S1(t),S2(t)} denotadas por
€
A = {x1,x2,x3,...,xn} e
€
B = {y1,y2,y3,...,yn}, geradas pelo mesmo descritor para dois
trechos diferentes de áudio, definimos a função desvio
€
D(A,B) : A × B→ℜ como
€
d(xi,y j ) = xi − y j para i=1,2,3...n. No bloco B da figura 1, há quatro gráficos dos
desvios respectivamente aos mapas do bloco A.
5. Metodologia e Análise
O insight para o uso dos mapas de Poincaré para analisar obras texturais
vem do próprio compositor Gyorgy Ligeti que interessou-se pelas idéias do
matemático Benoit Mandelbrot (1982), principalmente a chamada Geometria Fractal
que é também uma forma de descrever recorrência ou auto-semelhança em sistemas
complexos. Ao referir-se ao seu “Piano Concerto” (1985-1988), numa entrevista à
BBC, Ligeti mencionou: “eles [fractais] são sempre novos, mas sempre os mesmos e
isto é algo que me atrai muito e é o que se encontra na minha música” (Manzolli,
XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -
Uberlândia - 2011
1993). O conceito de recorrência está implícito nesta citação. Clendinning (1993)
denomina-o de “composição baseada em padrões mecânicos” construídos a partir da
recorrência de camadas. Roig-Francoli (1995) discute que Ligeti desenvolveu um
processo de construção de redes (net-structures). Este conjunto de informação
teórica é o suporte para desenvolver o estudo piloto de obras texturais com os mapas
de Poincaré. Contextualizando a nossa hipótese, em composições onde há
superposição de camadas e iteração de padrões, como na micro-polifonia de Ligeti,
seria possível descrever e analisar a recorrência de padrões com os mapas de
Poincaré?
A metodologia de análise por pares (Figura 2) baseia-se nos seguintes
passos: a) geração do(s) espectrograma(s) para construir hipótese(s), b) definição
do(s) descritore(s) que serão utilizados para extrair características relacionadas
à(s) hipótese(s), c) extração das características via descritores, d) construção dos
mapas de Poincaré superpondo características de duas peças e e) análise dos
mapas.
Figura 2 – Diagrama da metodologia de análise por pares.
As obras escolhidas para análise foram: a) “Continuum” (1968) para cravo
e “Lux Aeterna” (1966) para 16 solistas de Ligeti, b) “Piano Phase” (1967) para dois
pianos ou duas marimbas de Steve Reich e c) “Sabbato Sancto” madrigal para coro
de Carlo Gesualdo (1566-1613). A Tabela 1 apresenta os parâmetros fixados para a
análise:
Parâmetros do Processamento Computacional 2
No. Amostras HOP
No. Amostras FFT
Tipo de Janela (windowing)
Faixa freq.
512 2048 Hanning 44 -22 kHz Parâmetros das Obras
OBRA COMPOSITOR TRECHO DUR Continuum Ligeti toda peça 3:45
XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -
Uberlândia - 2011
Tabela 1 – Parâmetros utilizados na análise computacional.
Os espectrogramas das quatro obras estão na vide Figura 3 (“Continuum”
à esquerda, “Piano Phase” à direita acima; “Lux Aeterna” à esquerda e “Sabbato
Sanctus” à direita abaixo). Observa-se nos dois espectrogramas superiores que há
padrões recorrentes e a faixa de frequência coberta pelo “Continuum” é mais ampla.
Nos dois espectrogramas inferiores há mais proximidade entre a faixa de frequência
ocupada pelas duas obras. Nas quatro obras há uma distribuição homogênea de
frequências (faixas horizontais dos espectrogramas), o que caracteriza um acúmulo
contínuo de energia na mesma faixa de frequência do espectro.
Figura 3 – Espectrogramas das obras: (esquerda, acima) “Continuum”, (direita, acima) “Piano
Phase”, (esquerda, abaixo) Lux Aeterna e (direita, abaixo) Sabbato Sancto.
Frente às observações apontadas acima, escolhemos o descritor
“Centróide Espectral” para analisar as quatro obras. O centróide descreve o centro
de massa do espectro, em outras palavras, a frequência que é o centro de energia do
espectro sonoro. Para calcular o centróide, o espectro é dividido em segmentos ou
janelas (vide Tabela 1) e para cada janela calcula-se a frequência centróide. Este
método é repetido para várias janelas e, desta forma, gera-se uma série temporal de
frequências centróides variando no tempo. O cálculo computacional do centróide foi
realizado com a biblioteca PDescriptors (vide xxxxxxx). As sequências numéricas
foram gravadas em arquivo texto e com um programa do Matlab os mapas de
Poincaré e os gráficos de desvios foram gerados (vide figura 4). A Tabela 2 apresenta
os valores limites para a variação de cada uma das sequências de centróides.
Piano Phase Reich início da peça 2:12 Lux Aeterna Ligeti apôs 2 minutos 2:00
Sabbato Sancto
Gesualdo toda peça 1:57
XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -
Uberlândia - 2011
Obra [min, max] (Hz) Banda (kHz)
Continuum [82, 13.403] 13,321 Piano Phase [407, 939] 0,532 Lux Aeterna [304, 1.601 1,297
Sabbato Sancto
[44, 1.177] 1,133
Tabela 2 – Valores máximos e mínimos dos centróides
Figura 4 – (1A) superposição dos mapas dos centróides das obras “Continuum” e “Piano Phase”, (2A)
desvio entre os dois mapas, (1B) superposição de Lux Aeterna e Sabbato Sancto, (2B) desvios.
No mapa (1A) há dois cluster na diagonal principal. O que indica
recorrência nos valores dos dois centróides (vide modelo na figura 1). O primeiro
cluster concentra-se na faixa de frequência até 5 Khz e o segundo na faixa de 11khz a
13khz; a banda de freqüência do centróide do “Continuum” é 25 vezes maior que a
do “Piano Phase” (vide Table 2). No mapa (1B) há apenas um cluster na diagonal
principal e este descreve a recorrência do centróide na faixa de freqüência até 1.6
kHz; a banda de frequência de “Lux Aeterna” é muito próxima da banda de “Sabbato
Sancto” (vide Table 2).
6. Discussão e Conclusão
O “Continuum” é uma obra criada explicitamente com recorrência de
padrões de altura e o instrumento usado na obra, o Cravo, possui espectro com
transientes de alta-frequência. Este dois aspectos foram explicitados no mapa (1A),
XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -
Uberlândia - 2011
ou seja, os dois clusters e largura de banda de 13,321 kHz (Tabela 2) descrevem a
recorrência do centróide e a expansão da energia do espectro numa faixa extensa. O
“Piano Phase” também apresentou padrões recorrentes no mapa de Poincaré, mas a
banda de frequência do centróide de 0,532 kHz é muito mais comprimida. A obra
“Lux Aeterna”, composta com camadas de alturas recorrentes de longa duração,
apresenta faixa de freqüência mais estreita o que relaciona-se com a percepção de
maior compactação de massas sonoras. Este processo é descrito no mapa (Figura 4,
1B), pois o centróide concentrou-se no entorno da diagonal principal e a banda de
freqüência de 1,297 kHz é mais reduzida. “Sabbato Sancto” apresentou um mapa
muito similar tanto na largura de banda 1,133 kHz quanto recorrência do centróide,
vide a superposição dos dois mapas no gráfico (1B).
Os resultados do processo de análise computacional apresentaram
recorrência de padrões do centróide e este foi o objetivo do estudo piloto. Mas há
outros aspectos revelados pela Escuta de obras texturais, ou seja, as quatro obras têm
outras características que as diferenciam. Portanto, é necessário estudar outros
descritores para ampliar o campo de visão da análise. Desta forma, os próximos
descritores pesquisados serão densidade de eventos texturais e discriminação entre
camadas por banda crítica. Estes aspectos já foram apresentados por outros autores
como sendo relevantes para análise textural (Ferraz 1986; Mackay 1984). Finalmente,
este método validado pode tornar-se adequado também à análise de obras
eletroacústicas e improvisação musical com eletrônicos ao vivo.
7. Referências
ACHARYA, U.R., Joseph, K. P., Kannathal, N., Lim, C. M., Suri, J. S. Heart Rate variability: a review. Medical and Biological Engineering and Computing, 44(12), 1031–1051, 2006. BRADLEY, E. Mantilla, R. Recurrence plots and unstable periodic orbits. Chaos, 12(3), 596–600, 2002. BRUCE, E.N. Temporal variations in the pattern of breathing. Journal of Applied Physiology, 80(4), 1079–1437, 1996. CAMURRI, A., Varni, G., Volpe, G. “Towards Analysis of Expressive Gesture in Groups of Users: Computational Models of Expressive Social Interaction”. Lecture Notes in Computer Science, Springer: Berlin, 5934, 122–133, 2010. CLENDINNING, J. P. The Pattern-Meccanico Compositions of Gyorgy Ligeti.
XXI Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música -
Uberlândia - 2011
Perspectives of New Music 31: 193-234, 1993. FERRAZ, S. Análise e Percepção Textural: O Estudo no. VII, para sopros de Ligeti. Atravez – Associação Artístico Cultural, 1986 http://www.atravez.org.br/ceam_3/analise_percepcao.htm, acessado em 4/4/2010.
MACKAY, John. “The perception of density and stratification in granular sonic textures: an exploratory study”, Interface, vol. 13, no 4 (Lisse: Sweets & Zeitlinger B.V), 1984. MANZOLLI, J. (1993) “Non-linear Dynamics and Fractals as a Model for Sound
Synthesis and Real Time Composition. PhD Dissertation at the University of
Nottingham, UK.
MANZOLLI, J. & LUVIZOTTO, A.L. “Análise de Ramifications de Ligeti utilizando
Transformada Wavelet”. Anais do Congresso da ANPPOM, Curitiba, 2009.
MALT, M., Jourdan, E. “Zsa.Descriptors: a library for real-time descriptors analysis”. In: 5th Sound and Music Computing Conference, Berlin, Allemagne, 31th july to August 3rd, 2008. MANDELBROT, B. The Fractal Geometry of Nature, W H Freeman & Co, 1982. PUCKETTE, M., Apel, T. "Real-time audio analysis tools for Pd and MSP”. In: International Computer Music Conference. San Francisco: International Computer Music Association, pp. 109-112, 1998. POINCARÉ, H. The Foundations of Science: Science and Hypothesis, the value of Science, Science and Method, The Science Press, New York, 1923. PEREIRA, E. M. Estudos Sobre uma Ferramenta de Classificação Musical. Campinas, 2009, Dissertação de Mestrado, Universidade Estadual de Campinas. ROIG-FRANCOLI, M. Harmonic and Formal Processes in Ligeti's Net-Structure Compositions. Music Theory Spectrum 17: 242-267, 1995.
Top Related