Métodos Paramétricos Métodos No-paramétricos Contenido · 2012-07-11 · Introducción Métodos...
Transcript of Métodos Paramétricos Métodos No-paramétricos Contenido · 2012-07-11 · Introducción Métodos...
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Contenido
1 Introducción
2 Métodos ParamétricosMáxima VerosimilitudMétodo IFMMétodo CML
3 Métodos No-paramétricosCópula EmpíricaCópula Kernel
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Resumen
Recordemos que una cópula es una función C : I2 → I tal que:1 Para cualesquiera u, v en I := [0,1]
C(u,0) = 0 = C(0, v),C(u,1) = u,C(1, v) = v . (1)
2 Para u1,u2, v1, v2 en I tales que u1 ≤ u2 y v1 ≤ v2
C(u2, v2)− C(u2, v1)− C(u1, v2) + C(u1, v1) ≥ 0. (2)
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Resumen
TeoremaSea H una distribución conjunta bivariada con marginales F yG. Entonces existe una cópula C tal que ∀x , y en R
H(x , y) = C(F (x),G(y)). (3)
Si F y G son continuas, entonces C es única; en otro caso, Ces única sobre el conjunto RanF × RanG.
Observación
C(u, v) = H(F−1(u),G−1(u))
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Resumen
EjercicioDetermina las marginales y la cópula asociada a la función dedistribución
H(x , y) =
(x+1)(ey−1)
x+2ey−1 (x , y) ∈ [−1,1]× [0,+∞)
1− e−y (x , y) ∈ (1,+∞)× [0,+∞)0 o.c.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Resumen
SoluciónLas funciones de distribución marginales son
F (x) =
0 x < −1x+1
2 x ∈ [−1,1]1 x > 1
G(y) =
{0 y < 01− e−y y ≥ 0
y cópula asociada
C(u, v) =uv
u + v − uv
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Resumen
Determina las marginales y la cópula asociada a la función dedistribución Gumbel
Hθ(x , y) =
{1− e−x − e−y + e−(x+y+θxy) x ≥ 0, y ≥ 00 o.c.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Las distribuciones marginales sonF (x) = 1− e−x , G(y) = 1− e−y
y la respectiva copula es
Cθ(u, v) = u + v − 1 + (1− u)(1− v)e−θ ln(1−u)(1−v)
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópulas arquimedianas
Recordemos queSi ϕ : [0,1]→ [0,+∞) una función continua y estríctamentedecreciente tal que ϕ(1) = 0 y pseudo inversa ϕ(−1), entoncesla función
C(u, v) = ϕ(−1)(ϕ(u) + ϕ(v)) (4)
es una cópula.Mas aún, si ϕ es dos veces derivable, con ϕ′ < 0 y ϕ′′ > 0entonces la inversa ϕ−1 existe.A ϕ se le conoce como el generador. Algunos ejemplos degeneradores son: ϕ(t) = − ln(t), ϕ(t) = (1− t)θ, ϕ(t) = t−θ,ϕ(t) = (t−θ) − 1)θ−1 y ϕ(t) = (− ln t)θ.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Introducción
ResumenSi un modelo es especificado via cópula, la estimación de susparámetros se puede realizar por máxima verosimilitud (MLE).Debido a que muy probablemente, el modelo está especificadomediante un número considerablemente grande de parámetros,el método MLE requiere de un trabajo de cómputo intensivo oun desarrollo matemático complejo.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
El problema
Los datosLos datos consisten de n realizaciones de un vectorbidimensional X, es decir
{Xi = (X1i ,X2i) : i = 1,2, . . . ,n}. (5)
El vector X tiene función de distribución conjunta F y densidadf , así como distribución y densidad marginales Fi y fi ,i = 1,2respectivamente.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
1 Introducción
2 Métodos ParamétricosMáxima VerosimilitudMétodo IFMMétodo CML
3 Métodos No-paramétricosCópula EmpíricaCópula Kernel
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Método MLE
MLE¿Que necesitas para aplicar el método MLE?¿Cual es el procedimiento?
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Método MLE
MLE¿Que necesitas para aplicar el método MLE?¿Cual es el procedimiento?
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Recordemos que
F (x , y) = C(F1(x),F2(y)).
Derivando la ecuación anterior,
f (x , y) = c(F1(x),F2(y))f1(x)f2(x) (6)
donde
c(u, v) =∂2C(u, v)
∂u∂v(7)
y la ecuación (7) se puede obtener de la igualdad
C(u, v) = F (F−11 (u),F−1
2 (v)).
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Supongamos que los parámetros a estimar son−→θ = (
−→β ′,−→α ′)′,
donde−→β comprende los parámetros de las marginales y −→α
son los parámetros de la cópula.La función Log- verosimilitud es de la forma
L(−→θ ) =
n∑i=1
log c(F1(X1i ,X2i ;−→α ) +
n∑i=1
2∑j=1
log fj(Xji ;−→β )
y el estimador de máxima verosimilitud es:
θ = argmaxθ∈ΘL(θ) (8)
donde Θ es el espacio de parámetros.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Ejemplo
Se tiene una muestra de tamaño n, de una función dedistribución con cópula gumbel
C(u, v) = exp{−[(− ln u)α + (− ln v)α]1/α}
Determinar la función de verosimilitud cuando las marginalesson:
1 Exp(λ1) y Exp(λ2)
2 N(µ1, σ21) y N(µ2, σ
22).
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Condiciones de regularidad, caso real
1 Los X1, . . . ,Xn son i.i.d, con densidad f (x |θ).2 El parámetro es identificable; es decir si θ 6= θ′ entonces
f (x |θ) 6= f (x |θ′).3 Las densidades f (x |θ) tienen soporte común y son
diferenciables en θ.4 El espacio Θ contiene un conjunto abierto W y el
verdadero valor del parámetro, θ0 es un punto interior.5 ∀x ∈ X, donde X es el espacio de los valores posibles de
la v.a. X, f (x |θ) es tres veces diferenciable con respecto aθ, además la tercera derivada es continua en θ y∫
f (x |θ)dx es tres veces diferenciable bajo la integral.6 Para θ0 ∈ Θ existe c > 0 y una función M(x), tales que∥∥∥ ∂2
∂θ∂θT logL(θ|x)∥∥∥ ≤ M(x) para todo x ∈ X y θ ∈ B(θ0, c)
donde E [M(x)] <∞.José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Si las condiciones de regularidad se satisfacen, entonces elestimador de máxima verosimilitud tiene las siguientespropiedades:
1 Si U es un estadístico suficiente para θ entonces elestimador de máxima verosimilitud es función de U.
2 Si el estimador de máxima verosimilitud existe, entonceses asintóticamente insesgado y asintóticamente demínima varianza.
3 Si θ es el estimador de máxima verosimilitud de θ y t(θ) esuna función uno a uno, el estimador de máximaverosimilitud de t(θ) está dado por t(θ), a esta propiedadse le conoce como la propiedad de invarianza.
4 El estimador de máxima verosimilitud es consistente, esdecir, converge en probabilidad al valor real del parámetro.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Normalidad
Bajo las condiciones de regularidad, el estimador MLE esasintoticamente normal, es decir,
√T (θ − θ0)→ N(0, I−1(θ0)) (9)
donde I(θ0) es la matriz de Información de Fisher evaluada enel verdadero valor θ0 del parámetro θ.
DefiniciónLa matriz de información de Fisher se define como:
I(θ) = E
[(∂ ln L(θ)
∂θ
)(∂ ln L(θ)
∂θ
)t]
(10)
donde E denota el valor esperado con respecto a X .
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Bajo ciertas condiciones (¿Cuáles?) se tiene la siguienteigualdad:
I(θ) = E
[(∂ ln L(θ)
∂θ
)(∂ ln L(θ)
∂θ
)t]
= −E[∂2 ln L(θ)
∂θ2
]
En una aplicación, ¿Cómo se obtiene la matriz de informaciónde Fisher muestral?
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Bajo ciertas condiciones (¿Cuáles?) se tiene la siguienteigualdad:
I(θ) = E
[(∂ ln L(θ)
∂θ
)(∂ ln L(θ)
∂θ
)t]
= −E[∂2 ln L(θ)
∂θ2
]
En una aplicación, ¿Cómo se obtiene la matriz de informaciónde Fisher muestral?
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
1 Introducción
2 Métodos ParamétricosMáxima VerosimilitudMétodo IFMMétodo CML
3 Métodos No-paramétricosCópula EmpíricaCópula Kernel
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Inference for the margins (IFM)
Cuando la obtención por ML implica un trabajo computacionalintensivo, por ejemplo cuando el número de parámetros aestimar es muy grande, se puede aplicar el método IFM:
1 Se estiman los parámetros de las marginales:
−→β = ArgMax
n∑i=1
2∑j=1
ln fj(xjt ;−→β ) (11)
2 Dada la estimación−→β , se obtienen los estimadores de los
parámetros de la cópula:
−→α = ArgMax
n∑i=1
ln c(F1(x1i ;−→α ), F2(x2i ;
−→α )) (12)
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
El estimador obtenido mediante el método IFM es igual a
θIFM = (−→β ,−→α )t .
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Método IFM
Bajo las condiciones de regularidad, el estimador IFM satisfacela propiedad de normalidad asintótica, es decir,
√T (θIFM − θ0)→ N
(0,G−1(θ0)
)(13)
donde G(θ0) es la matrix de Información de Godambe definidacomo
G(θ0) = D−1M(D−1)t (14)
con D = E[∂g(θ)t
∂θ
], M = E
[g(θ)tg(θ)
]y g es la función score.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
1 Introducción
2 Métodos ParamétricosMáxima VerosimilitudMétodo IFMMétodo CML
3 Métodos No-paramétricosCópula EmpíricaCópula Kernel
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Método CML: Canonical Maximum Likelihood Method
Este método se utiliza cuando es de interés principal estimarlos parámetros de una cópula sin especificar las distribucionesmarginales, entonces
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Máxima VerosimilitudMétodo IFMMétodo CML
Método CML
Procedimiento:1 Estima las distribuciones marginales mediante las
distribuciones empíricas.2 Transforma cada uno de los datos Xi1,Xi2, . . . ,Xin en una
muestra con distribución Uniforme[0,1], Ui1,Ui2, . . . ,Uinutilizando la Función de distribución empíricacorrespondiente.
3 Estima mediante el MLE los parámetros de la cópula comosigue:
−→α = ArgMax
n∑i=1
ln c(U1i ,U2i ;−→α )
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
1 Introducción
2 Métodos ParamétricosMáxima VerosimilitudMétodo IFMMétodo CML
3 Métodos No-paramétricosCópula EmpíricaCópula Kernel
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
La cópula empírica
Recordemos que los datos son de la forma
{Xt = (X1t ,X2t , . . . ,Xnt ) : t = 1,2, . . . ,T} .
con Xit = (x1t , x2t , . . . , xnt ).Una forma de definir la cópula empírica es por medio de cualquiercópula asociada a la función de distribución empírica, pero estano es única.Deheuvels (1981) propone la siguiente definición:Sean {x (t)
1 , x (t)2 , . . . , x (t)
n } y {r t1, r
t2, . . . , r
tn} los estadísticos de
orden y rango de la muestra. Estos satisfacen la relaciónx (r t
n)n = xnt
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Cópula Empírica
DefiniciónCópula empírica de Deheuvels: Está definida sobre el látice(es decir, tiene saltos en):
L =
{(t1T,
t2T, . . . ,
tnT
): 1 ≤ j ≤ n, tj = 0,1,2, . . . ,T
}(15)
mediante la función
CT
(t1T,
t2T, . . . ,
tnT
)=
1T
T∑t=1
n∏j=1
1(r tj ≤ tj) (16)
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Cópula Empírica
Propiedades de CT
1 La función de distribución empírica F esta determinada enforma única por
Las funciones de distribución empíricasLos valores de la cópula empírica CT en el conjunto L.
2 La cópula empírica CT definida en L es independiente delas marginales de F
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Cópula Empírica
Propiedades asintóticasEs uniformemente consistente, es decir, la cópula empíricaconverge uniformemente a la cópula verdadera(Dehuevels, 1979)El proceso empírico {
√n(Cn − C)(u, v) : 0 ≤ u, v ≤ 1}
converge a un proceso Gaussiano (Fermanian et.al , 2004)
EjercicioPara el caso bivariado, expresa la cópula empírica en términosde las distribuciones conjunta y marginales empíricas.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
1 Introducción
2 Métodos ParamétricosMáxima VerosimilitudMétodo IFMMétodo CML
3 Métodos No-paramétricosCópula EmpíricaCópula Kernel
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Estimador de densidad Kernel
Suponga que se tiene una muestra {X1,X2, . . . ,Xn} de unadensidad f . Si es de interés estimar f , ¿Que estimador oaproximación conoces?¿Que es un histograma? ¿Para que se utiliza?
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Estimador de densidad Kernel
Suponga que se tiene una muestra {X1,X2, . . . ,Xn} de unadensidad f . Si es de interés estimar f , ¿Que estimador oaproximación conoces?¿Que es un histograma? ¿Para que se utiliza?
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Estimador de densidad Kernel
Este estimador generaliza el concepto de histograma como"estimador" de la densidad de una variable aleatoria.
El problema
Suponga que se tiene una muestra {X1,X2, . . . ,Xn} de unadensidad f , y se desea estimar f en forma no-paramétrica.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Estimador de densidad Kernel
DefiniciónUn Kernel es una función real acotada y simétrica K tal que∫
R
K (x)dx = 1
Nota: El kernel mas utilizado es la densidad normal estándar.
DefiniciónEl estimador kernel de la densidad f se define como
fK (x) =1
nh
n∑i=1
K(
x − xi
h
)(17)
donde h > 0 es llamado el ancho de banda.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Estimador de densidad Kernel
EjercicioExpresa la fórmula para el estimador kernel de la densidad,cuando utilza el kernel definido como:
K (x) = 1[|x |≤1/2] (18)
ObservaciónSi el ancho de banda es muy grande, se sobre-suaviza ladensidad y se esconde la estructura de los datosSi el ancho de banda es pequeño, la densidad estimadatiene demasiados picos y por tanto es dificil de interpretar.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Cópula Kernel
Recordemos la siguiente relación entre la cópula C y lasfunciones de distribución conjunta y marginales:
C(u1,u2, . . . ,un) = F (F−11 (u1),F−1
2 (u2), . . . ,F−1n (un)). (19)
Un estimador kernel de la cópula C, se obtiene estimando lasdensidades marginales y conjuntas mediante un estimadorkernel y despues estimar las respectivas funciones dedistribución marginales y conjunta.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Cópula Kernel
Sean k1, k2, . . . , kn funciones kernelLas respectivas densidades marginales estimadas via kernelson:
fi(x) =1
Thi
T∑t=1
ki
(x − Xit
hi
)(20)
y la estimación kernel de la densidad conjunta es:
f (x) =1
h1h2 · · · hn
T∑t=1
n∏i=1
ki
(xi − Xit
hi
)(21)
con x = (x1, x2, . . . , xn).Note que el estimador (21) se obtiene utilizando el kernelmultivariado k(x) = k1(x1)k2(x2) · · · kn(xn).
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Cópula Kernel
Aplicando las relaciones teóricas muy conocidas
Fi(x) =
∫ x
−∞fi(t)dt
F (x) =
∫ x1
−∞
∫ x2
−∞· · ·∫ xn
−∞f (t)dt
a los estimadores kernel (20) y (21) se obtienen estimadoresde las distribuciones marginales y conjunta respectivamente.Estos estimadores se insertan en la expresión (19) paraobtener la cópula kernel.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Cópula Kernel
ObservaciónUtilizando el mismo kernel univariado, normal estandar, seobtiene un kernel multivariado, el correspondiente anormales independientes.Una generalización del estimador anterior es utilizando unkernel multivariado, no necesariamente producto defunciones kernel univariados.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2
IntroducciónMétodos Paramétricos
Métodos No-paramétricos
Cópula EmpíricaCópula Kernel
Bibliografía
Joe, H., Xu, J. (1996) The Estimation Method of InferenceFunctions for Margins for Multivariate Models. Technical Report166, Department of Statistics, University of British Columbia.Nelsen, Roger B. (1999). An introduction to copulas,Springer-Verlag, New York.
Trivedi, P. and Zimmer, D. (2007) Copula Modeling: AnIntroduction for Practitioners, Foundations and Trends inEconometrics Vol 1, No 1, pp 1-111.
José Batún Distribuciones Bivariadas y Medidas de Dependencia: parte 2