Modelos espaço-temporais: interpolando com incorporação de incerteza Dani Gamerman IM-UFRJ dani...
Transcript of Modelos espaço-temporais: interpolando com incorporação de incerteza Dani Gamerman IM-UFRJ dani...
Modelos espaço-temporais:interpolando com incorporação de
incerteza
Dani GamermanIM-UFRJ
http://acd.ufrj.br/~dani
Trabalho em colaboração com:Marina S. Paez (IM-UFRJ)Victor de Oliveira (Caracas)Flavia Landim (IM-UFRJ)
9ª ESTE – 07 a 10 de agosto de 2001Hotel Fazenda Tauá
Introdução
Exemplos: 1) medições de poluentes ao longo do tempo em uma coleção de estações monitoradoras
2) contagens de ocorrências de eventos hospitalares ao longo do tempo em uma coleção de regiões geográficas
Dados do tipo (1) são contínuos e modelados por normais após alguma transformação tipo log ou
Ciências ambientais – dados na forma de várias séries temporais geograficamente referenciadas
1. Concentração de partículas PM10 (g/m3) ao longo do tempo
Exemplo: Dados de poluição no Rio de Janeiro
• 16 postos de monitoramento;
• medições feitas de janeiro a dezembro, a cada seis dias, no ano de 1999;
• 59 períodos de tempo no total;
• grande quantidade de dados omissos;
1 - Bonsucesso 2 - Botafogo3 - Caxias4 - Centro5 - Sumaré6 - Copacabana7 - Inhaúma8 - Itaguaí9 - Jacarepaguá 10 - Maracanã 11 - Nova Iguaçú 12 - Nilópolis 13 - Niterói 14 - São Cristóvão 15 - São Gonçalo16 - São João de Meriti
Localização dos postos de monitoramento
no mapa do Rio de Janeiro
Temperatura ambiente com base horária obtida através das informações meteorológicas de superfície do Aeroporto do Galeão.
2. Temperatura máxima diária
Trabalhamos com a temperatura máxima diária
De acordo com a Conama, Br padrão primário - média anual: 50padrão primário - média diária: 150nível de atenção: 250 nível de alerta: 420 nível de emergência: 500
Site Mínimo Máximo Média D. Padrão
Bonsucesso 36.00 207.00 101.00 36.95Botafogo 23.00 146.00 53.23 22.30Centro 21.00 91.00 49.09 16.96Centro de Estudos 1.00 81.00 31.32 20.20Copacabana 23.00 102.00 55.14 23.54Caxias 53.00 225.00 123.02 44.19Inhaúma 29.00 159.00 92.10 32.83Itaguaí 4.00 114.00 40.03 27.45Jacarepaguá 31.00 172.00 98.73 28.32Maracanã 22.00 76.00 45.65 16.31Nilópolis 27.00 195.00 75.11 43.47Niterói 69.00 208.00 112.82 31.68Nova Iguaçú 70.00 310.00 140.51 57.06São Cristóvão 26.00 177.00 70.53 30.71São Gonçalo 27.00 224.00 121.80 37.33São João de Meriti 56.00 276.00 126.85 52.77
Estatísticas descritivas
Análise exploratória no espaço
Média por estação
Objetivos desse tipo de estudo
1) compreender o fenômeno de dependência no tempo e no espaço, se possível através de variáveis explicativas
2) fazer afirmações probabilísticas para novos valores:
• no tempo (previsão)
• no espaço (interpolação)
Processo Gaussiano (PG) (ou campo aleatório Gaussiano)
S uma região de Rp (em geral, p=2)
{ X (s) : s S } é um PG sem, s1 , ... , sm S
( X(s1) , ... , X(sm) ) ~ Nm (, )
Simplificações comuns:
onde = ( (s1) , ... , (sm) ) e
= ((si) (sj) (si, sj) )i,j
2) Homoscedasticidade (s) = , s
Notação: X(.) ~ PG((.),2(.))
1) Isotropia (si,sj)=(h) com h=|si– sj |
Análise estatística
Ponto de partida: modelos de regressão
Y(s,t) = (s,t) + e(s,t) onde (s,t) = 0 + 1 X1(s,t) + ... + pXp(s,t) ee(s,t) ~ N(0, e
2) indep.
Supõe-se que Xj(s,t) removem autocorrelação temporalCaso contrário, pode-se incluir componente temporal (t)
Usualmente e(s,t) permanecem correlacionados espacialmente
Nesse caso, e(s,t) = e0(s) + e1(s,t) e0(s) erros correl. espacialmentee1(s,t) resíduo puro (ruído branco) 0(s) = 0 + e0(s)
Inferência 1. nos primórdios (3 etapas)
• Como estimar 0(s) ?
Abordagem tradicional: geoestatística 0(.) ~ PG(0,0
20(.)) oue0(.) = 0(.) 0 ~ PG(0,0
20(.))
(b) 0 estimado a partir de r0(s,t)
(c) inferência feita com base em
(a) 0 , 1 , ... , p estimados no modelo de regressão e resíduos r0(s,t) = Y(s,t) (s,t) construídos
Logo, 0obs ~ N(0 1, 0
2 R)0
obs = (0(s1) , ... , 0(sm) )
O vetor de hiperparâmetros 0 contém e2 e os parâmetros de 0
2 e 0
Problemas: (a) r0(s,t) e(s,t)(b) 0
2) depois...• 0 , 1 , ... , p e 0 estimados juntos resolve (a)• mas incorporar incerteza de é complicado
3) Solução natural (Kitanidis, 1986; Handcock & Stein, 1993): • especificar distr. para 0 • fazer inferência Bayesiana
Interpolação Espacial
m = número de observações
g = número de postos da grade
s1, ... ,sm = postos observados
s1n,...,sg
n = postos da grade (de interpolação)
Y1n,...,Yg
n = observações nos postos da grade
dYPYYPYYP obsobsnobsn )|(),|()|(
- todos os parâmetros do modeloYmis - dados omissos, tratado como parâmetro
1. Inferência Frequentista: gera Yn de ),|( obsn YYP
• Obtemos P(Yn|Yobs) via simulação.
Passos para a geração de Yn|Yobs :
Interpolação
Se (0) com probabilidade 1 então
),|()|( )0( obsnobsn YYPYYP
)|( obsYP 2. Inferência Bayesiana i ) gera de
ii ) gera Yn de ),|( obsn YYP
Modelando os dados de poluição no Rio
Y(s,t) = (s,t) + (s,t)(s,t) = 0 (s) + TEMP(t) ’X(t)(t)(s,t) independentes N(0,2)
0~ N(0, 2(.(h exp(-hfunção de correlação exponencial(t~ AR(1)
Y(s,t) = raiz quadrada de PM10 no site s e tempo t
X (t) = (TEMP, SEG, TER, QUA, QUI, SEX, SÁB)
Médias interpoladas do nível de PM10
Médias interpoladas do nível de PM10
Prob ( PM10 > 100 g/m3 | Yobs )
Até aqui,
Y(s,t)= (s,t) + e(s,t) onde
(s,t)=0(s) + 1X1(s,t) + ... + pXp(s,t) e
e(s,t) ~ N(0, e2) independentes
Heterogeneidade espacial não precisa estar restrita a 0
Generalizações
Priori:
0(.) ~ PG(0,020(.))
0 ~ p(0)
Na análise dos dados do Rio, temp depende do local
Podemos acomodar variações espaciais dos outros coeficientes j, j=1, ... , p.
modelo anterior
Y(s,t) = (s,t) + e(s,t) onde (s,t) = 0(s) + 1 X1(s,t) + ... + p Xp(s,t) e(s,t) ~ N(0, e
2) independentes
Extensão do modelo anterior
Y(s,t) = (s,t) + e(s,t) onde (s,t) = 0(s) + 1(s)X1(s,t) + ... + p(s)Xp(s,t) e(s,t) ~ N(0, e
2) independentes
Outras possibilidades para os j(.)´s:
a) mesma corr. espacial j = , j
b) correlação a priori entre os PG´s
Novamente, abordagem usual é assumirj(.) ~ PG(j,j
2j(.)), ind j=0,...,p
Como estimar j(s), j=0,1,...,p ?
j
Problemas (os mesmos de antes): (a) bj(s) j(s)
(b) j
2) solução natural: especificar distr. a priori ~ p() onde = (0,...,p)j ~ p(j), ind j = 0,...,pEm geral, priori vaga para
1) solução clássica (Oehlert, 1993; Solna & Switzer, 1996):
(a) 0 (s), 1 (s), ... , p (s) estimados por
b0(s), b1(s), ... , bp (s) no modelo de regressão (local)
(b) j estimado a partir de bj(s)
(c) inferência feita com base em ´sj
Modelo
Parâmetros: = ( obs , , , e2 )
jobs = (j(s1) , ... , j(sm) ), j=0, 1, ... , pobs = (0
obs , ... , pobs )
= ( 0 , 1 , ... , p )
Dados: Yobs = (Y(s1,1) , ... , Y(sm,T)) Xobs = (X(s1,1) , ... , X(sm,T))
2
obsY
obs
,obsX
Dados simulados Y(s,t) = (s,t) (s,t), t=1,...,30 (s,t) = 0(s)+ 1(s) X(s,t)
(s,t) ~ N(0, e2) independentes com e
2=1
0 ~ N(, 2(1 ~ N(, 2( X(s,t) ~ N(, 2(, para todo tempo t
j( são funções de correlação exponencial
0= 100 1= 5 2= 00= 0.4 1= 0.8 2= 1.5 0
2= 0.1 1
2= 1 2
2= 0.333
+
=
+
0
1X
0.1 0.3 0.5 0.7 0.9
Coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 2
-0.9
-0.2
0.5
2.0
2.7
Y
Amostras “observadas”
(b) amostra aleatória de tamanho 25
0.2 0.4 0.6 0.8 1.0
coordenada 1
0.0
0.2
0.4
0.6
0.8
1.0
Co
ord
en
ad
a 1
0.2 0.4 0.6 0.8 1.0
coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 1
0.1 0.3 0.5 0.7 0.9
coordenada 1
0.0
0.2
0.4
0.6
0.8
1.0
Co
ord
en
ad
a 1
0.0 0.2 0.4 0.6 0.8 1.0
coordenada 1
0.0
0.2
0.4
0.6
0.8
1.0
Co
ord
en
ad
a 1
(a) amostra regular de tamanho 25
(c) amostra regular de tamanho 100 (d) amostra aleatória de tamanho 100
Exemplo: amostra regular de tamanho 25
0
0.2 0.4 0.6 0.8 1.0
lat
0.2
0.4
0.6
0.8
1.0
long
1
0.2 0.4 0.6 0.8 1.0
lat
0.2
0.4
0.6
0.8
1.0
long
X( . , 30)
0.2 0.4 0.6 0.8 1.0
lat
0.2
0.4
0.6
0.8
1.0
lon
g
-0.3
-0.3
0.0
0.0
0.4
0.4
0.8
1.2
Y( . , 30)
0.2 0.4 0.6 0.8 1.0
lat
0.2
0.4
0.6
0.8
1.0
lon
g
97.8
97.8
100.0
100.0
102.2
102.2
104.4
104
.4
106.6 108.9
Inferência
Relembrando, = ( obs , , , e2 )
Verossimilhança:L() = p(Yobs | obs , e
2 )
Priori:p()=j p( j
obs | j,j ) p() j p(j) p(e2)
Posteriori:( ) L ( ) p( )
• Muitos parâmetros
• Forma funcional complicada
• Solução via MCMC
usam jobs como se fossem dados
= ( obs , , , e2 )
(c) [ e2 | resto ] ~ [ e
2 | Yobs , obs ] ~ Gama inversa
Condicionais completas
(a) [ obs | resto ] ~ Normal
(b) [ | resto] ~ j [ j | jobs , j ]
~ j Normal
(d) | resto ~ j p(j | jobs )
usam jobs como se fossem dados
difíceis de amostrar Metropolis - Hastings
Análise dos dados simulados
Histograma da amostra dos parâmetros
i = i
-2
Interpolação espacial
Grade de interpolação: s1n , ... , sg
n
jn = (j(s1
n) , ... , j(sgn) ), j=0, 1, ... , p
n = (0n , ... , p
n )
Precisamos obter interpolações dos j´s para poder fazer interpolação dos Yn
2
obsYnY
,
obs n
obsX nX
Interpolação dos Y´s
(Yn,n,| Yobs) = (Yn|n, , Yobs) (n,| Yobs)
= (Yn| n ,) (n,| Yobs)
Simulação de [Yn |Yobs] tb em 2 etapas:
(a) [ n, | Yobs ] MCMC e IntEsp
(b) [ Yn| n ,] usando NM
Interpolação dos j´s
(n,obs,| Yobs) = ( n | obs, , Yobs) ( obs, | Yobs) = ( n | obs ,) ( obs, | Yobs)
Simulação de [ n | Yobs ] em 2 etapas:(a)[ obs, | Yobs ] usando MCMC(b)[ n | obs ,] usando NM
Dados simulados: Interpolação 1
valores reais
valores interpolados
0.1 0.3 0.5 0.7 0.9
Coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 2
0.1 0.3 0.5 0.7 0.9
Coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 2
0.1 0.3 0.5 0.7 0.9
Coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 2
Dados simulados: Interpolação Y( . ,30)
valores reais
valores interpolados
0.1 0.3 0.5 0.7 0.9Coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 2
Interpolação dos X´s
Essas interpolações pressupõe que dispomos dos valores interpolados das covariáveis Xj , j=1, ... , p
Caso contrário, é preciso interpola-las.
2
obsYnY
,
obs n
obsX
x
nX
Modelo completado com
X(.) | x ~ PG(x,x2x(.))
Simulação de [Xn|Yobs,Xobs] em 2 etapas:
(a) [x | Xobs ] MCMC
(b) [Xn| x, Xobs ] usando NM
(Xn, x | Yobs , Xobs) = (Xn , x| Xobs ) = (Xn| x, Xobs) (x | Xobs )
Dados Simulados - Resultados obtidos interpolando X
Histograma da amostra dos parâmetros
menos disperso que quando X é conhecido
Interpolação de X( . , 30)
0.1 0.3 0.5 0.7 0.9
lat
0.1
0.3
0.5
0.7
0.9
lon
g
0.1 0.3 0.5 0.7 0.9
Coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 2
valores reais
valores interpolados
Interpolação de Y( . , 30)
X conhecido
X desconhecido
0.1 0.3 0.5 0.7 0.9
Coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 2
0.1 0.3 0.5 0.7 0.9
Coordenada 1
0.1
0.3
0.5
0.7
0.9
Co
ord
en
ad
a 2
113.2
• Antes, o modelo era dado por:
Y(s,t) = 0 (s) + 1 TEMP(t) + ´ X(t) (s,t)
Aplicação para os dados de poluição
(s,t) independentes N(0,2)0~ N(, 2(.1~ N(, 2(.i(., i=1,2 são funções de correlação exponenciais
Y(s,t) = raiz quadrada de PM10 no site s e tempo t
X(t) = (SEG, TER, QUA, QUI, SEX, SÁB)
Y(s,t) = 0 (s) + 1 (s)TEMP(t) + ´ X(t) (s,t)
• Agora, coeficiente da temperatura varia no espaço
Resultados obtidos para os dados de poluição no Rio
Histograma da amostra dos hiperparâmetros
onde i = i -2
Interpolação do coeficiente
40 50 60 70
0
5
10
15
20
Médias interpoladas do nível de PM10
Y(s,t)= (s,t) + e(s,t) onde (s,t)=0(s,t)+1(s,t)X1(s,t)+...+p(s,t)Xp(s,t) e(s,t) ~ N(0, e
2) independentes
extensão do modelo anterior
Y(s,t)= (s,t) + e(s,t) onde (s,t)=0(s )+1(s )X1(s,t)+...+p(s )Xp(s,t) e(s,t) ~ N(0, e
2) independentes
modelo anterior
Outra extensão:
A extensão natural é assumirj(.,t) ~ PG(j(t) , j
2j(.)), ind j=0,...,p
Modelo deve ser completado com:
(a) priori para como antes(b) especificação da evolução temporal dos j´s
Podemos também acomodar variações temporais dos coeficientes j, j=0,...,p.
Sugestão é usar modelos dinâmicos(Landim & Gamerman, 2000)
(t) | (t-1) ~ N( Gt (t-1) , Wt )
= parâmetros desconhecidos da evolução de
Agora, os parâmetros do modelo são = ( g , , , , e
2 )
onde = ( (1) , ... , (T) ) e(t) = ( 0(t), 1(t), ... , p(t) ), t=1, ... , T
Ciclo de simulação tem 2 mudanças:I) etapa adicional para II) etapa modificada para
Aplicação a dados simulados
Y(s,t) = 0(s,t) + 1(s,t)X1(s,t) + (s,t)j(.,t) ~PG (j(t), j
2(.))j(t) = j(t-1) + j(t-1)(. função de correlação exponencial com = 1.
Histograma a posteriori de
Trajetória de (t) - média e limites de credibilidade
Comentários finais
• Temos maior flexibilidade para acomodar variações no espaço e no tempo.
• Todas as amostras da posteriori foram geradas no software BUGS, com interpolações feitas no Fortran.
• Podemos estender para acomodar processos anisotrópicos para algumas componentes do modelo.
Palestra disponível em http://acd.ufrj.br/~dani/papers/9ESTE.ppt
• Podemos estender para observações na família exponencial e estimação da transf. normalizadora.