II.2. Regressão Linear Múltipla - ISA · II.2. Regressão Linear Múltipla
Análise da Regressão múltipla: Inferência Revisão da graduação.
Transcript of Análise da Regressão múltipla: Inferência Revisão da graduação.
Análise da Regressão múltipla: InferênciaRevisão da graduação
Hipóteses do modelo linear clássico (CLM)
Sabemos que, dadas as hipóteses de Gauss-Markov, MQO é BLUE.
Para realizarmos os testes de hipóteses clássicos, precisamos acrescentar mais uma hipótese.
Vamos supor que u é independente de x1, x2,…, xk e que u e normalmente distribuído com média zero e variância s 2: u ~ Normal(0,s 2).
Hipóteses do CLM (cont.)
Sob CLM, MQO é não apenas BLUE, mas também o estimador não-viesado de variância mínima. Podemos resumir as hipóteses do CLM como:
y|x ~ Normal(b0 + b1x1 +…+ bkxk, s 2) Embora assumamos normalidade, nem sempre ela se verifica. Em grandes amostras, a hipótese de normalidade não é necessária.
..
x1 x2
Uma distribuição normal homocedástica com uma única variável explicativa
E(y|x) = b0 + b1x
y
f(y|x)
Distribuições normais
Distribuição normal amostral
(normais). erros doslinear combinação
uma é porque normal ãodistribuiç temˆ
0,1Normal ~ ˆ
ˆ
implica que o ,ˆ,Normal ~ˆ
tesindependen variáveisdas amostrais valores
nos ndocondiciona CLM, do hipóteses as Sob
j
j
jj
jjj
sd
Var
O teste t
1
.ˆ
.ˆˆ
1
kn:liberdade de graus nos Repare
por estimamos porque
normal) a não (e t a é ãodistribuiç a agora que Observe
t~ se
CLM do hipóteses as Sob
22
knj
jj
O teste t (cont.)
O conhecimento da distribuição amostral dos estimadores nos permite fazer testes de hipóteses. Comece com a hipótese nula.
Por exemplo, H0: bj=0
Se aceitamos a nula, aceitamos que xj, após controlarmos pelos outros x’s, não tem efeito em y.
O teste t (cont.)
.H nula, hipótese a aceitamos
se determinar para rejeição de regra
alguma e t aestatístic ausar então Vamos
.ˆ
ˆ : ˆ para aestatístic
aobter precisamos Primeiro
0
ˆjj
j
sett
j
Teste t: caso unicaudal
Além de nossa, H0, precisamos de uma hipótese alternativa, H1, e um nível de significância.
H1 pode ser unicaudal ou bicaudal.
H1: bj > 0 e H1: bj < 0 são unicaudais.
H1: bj 0 é bicaudal.
Se queremos apenas 5% de probabilidade de rejeitar H0 caso ela seja, então dizemos que nosso nível de significância é de 5%.
Alternativa unicaudal (cont.)
Escolhido um nível de significância, a, olhamos no (1 – a)-ésimo percentil na distribuição t com n – k – 1 df e chamamos esse valor, c, de valor crítico. Rejeitamos a hipótese nula se a estatística t é maior que o valor crítico. Se a estatística t for menor que o valor crítico, então não rejeitamos a nula.
yi = b0 + b1xi1 + … + bkxik + ui
H0: bj = 0 H1: bj > 0
c0
a(1 - )a
Alternativa unicaudal (cont.)
Não rejeitamosRejeitamos
Uni vs bicaudal
Como a distribuição t é simétrica, testar H1: bj < 0 é direto. O valor crítico é simplesmente o negativo do anterior.
Rejeitamos a nula se t < –c; se t > –c, então não rejeitamos a nula.
Para um teste bicaudal, escolhemos um valor crítico baseado em a/2 e rejeitamos H1: bj 0 se o valor absoluto da estatística t for > c.
yi = b0 + b1Xi1 + … + bkXik + ui
H0: bj = 0 H1: bj ≠ 0
c0
/2a(1 - )a
-c
/2a
Alternativa bicaudal
Rejeitamos Rejeitamos
Não rejeitamos
Resumo de H0: bj = 0
A menos que seja explicitado ao contrário, estaremos considerando a alternativa bicaudal.
Se rejeitamos a nula, dizemos que “xj é estatisticamente significante ao nível de a%”
Se não rejeitamos a nula, dizemos “xj é estatisticamente não significativo ao nível de a%”
Testando outras hipóteses
Podemos generalizar a estatística t testando H0: bj = aj .
Neste caso, a estatística t é dada por
usual. teste no a
onde se
at
j
j
jj
0
,ˆˆ
Intervalos de confiança
Outra forma de usar os procedimentos clássicos de teste de hipóteses é construindo um intervalo de confiança utilizando o mesmo valor crítico do teste bicaudal. Um intervalo de confiança de (1 - a) % é definido por:
. ãodistribuiç na
percentil 2
-1 o é c onde ,ˆˆ
1
kn
jj
t
sec
Calculando o p-valor do teste t
Uma alternativa ao procedimento clássico de teste é perguntar: “qual é o menor nível de significância ao qual a nula seria rejeitada?”
Calcule a estatística t, e olhe em que percentil ela está na distribuição t apropriada – este é o p-valor.
O p-valor é a probabilidade de observarmos valores iguais ou maiores (em valor absoluto) à estatística t obtida se a nula for verdadeira.
P-valores, testes t´s etc.
A maioria dos pacotes calcula o p-valor, assumindo um teste bicaudal.
Se se estiver interessado na alternativa unicaudal, basta dividir o p-valor reportado por 2.
Testando uma combinação linear
Ao invés de testar se b1 é igual a uma constante, podemos testar que ele é igual a outro parâmetro, ou seja, H0 : b1 = b2. Use o mesmo procedimento para calcular a estatística t
21
21ˆˆ
ˆˆ
se
t
Testando uma combinação linear (cont.)
.ˆ,ˆ
2ˆˆˆˆ
ˆ,ˆ2ˆˆˆˆ
ˆˆˆˆ
2112
21
12
2
2
2
121
212121
2121
Cov de estimador um é s onde
ssesese
CovVarVarVar
então ,Varse
Como
Testando uma combinação linear (cont.)
Então, precisamos de s12.
Muitos pacotes, como o Eviews, fornecem essa estatística.
Mas o Eviews tem uma opção que permite fazer o teste automaticamente.
O teste pode ser reescrito, conforme mostrado a seguir.
Exemplo:
Suponha que você esteja interessado nos efeitos dos gastos de campanha no resultado das eleições.
O modelo é votoA = b0 + b1log(gastoA) + b2log(gastoB) + b3prtystrA + u
H0: b1 = - b2, ou H0: q1 = b1 + b2 = 0
b1 = q1 – b2; substituindo e rearranjando votoA = b0 + q1log(gastoA) + b2log(gastoB - gastoA) + b3prtystrA + u
Exemplo (cont.):
É o mesmo modelo, mas agora você tem um erro padrão para b1 – b2 = q1 diretamente da regressão.
Qualquer combinação linear de parâmetros pode ser testada de forma similar.
Outros exemplos de testes de hipóteses sobre uma única combinação linear de parâmetros: b1 = 1 + b2 ; b1 = 5b2 ; b1 = -1/2b2; etc
Múltiplas restrições lineares
Os exemplos anteriores eram de uma única restrição linear (p.e. b1 = 0 or b1 = b2 ) Mas também podemos testar conjuntamente múltiplas hipóteses sobre os parâmetros. Um exemplo é do “restrição de exclusão” – queremos testar se um grupo de parâmetros é igual a zero.
Teste de restrição de exclusão
Agora, a hipótese nula é algo do tipo
H0: bk-q+1 = 0, ... , bk = 0
A alternativa é H1: H0 é falsa, ou seja, pelo menos um dos b´s é diferente de zero. Não podemos apenas fazer cada teste t isoladamente, porque queremos saber se os q parâmetros são conjuntamente significativos a um certo nível – é possível que nenhum seja individualmente significante a este nível.
Teste de restrição de exclusão (cont.)
O teste é feito estimando o “modelo restrito” sem xk-q+1,, …, xk, assim como o “modelo irrestrito” com todos os x’s.
Intuitivamente, queremos saber se xk-q+1,, …, xk causam uma variação suficientemente grande na SSR
.irrestritour e restrito ér
onde ,1
knSSR
qSSRSSRF
ur
urr
A estatística F
A estatística F é sempre positiva, uma vez que a SSR do modelo restrito não pode ser menor que a do modelo irrestrito. A estatística F statistic mede o crescimento relativo na SSR quando se passa do modelo irrestrito para o modelo restrito.
q = número de restrições, ou dfr – dfur
n – k – 1 = dfur
A estatística F (cont.)
Para decidir se o aumento na SSR é “grade o suficientes” para rejeitar as exclusões, precisamos conhecer a distribuição amostral de nossa estatística F.
Não é de se surpreender que F ~ Fq,n-k-1, onde q é o número de graus de liberdade do numerador e n – k – 1 é o número de graus de liberdade do denominador.
0 c
a(1 - )a
f(F)
F
A estatística F (cont.)
Rejeita
Não rejeita
Rejeita H0 ao nível de significância a se F > c
A estatística F em função do R2
Podemos usar o fato de que, em qualquer regressão, SSR = SST(1 – R2) e substituir na fórmula:
.irrestrito éur e restrito ér
onde ,11 2
22
knR
qRRF
ur
rur
Significância da regressão
Um caso especial é o teste H0: b1 = b2 =…= bk = 0.
Como o R2 do modelo com apenas o intercepto será zero, a estatística F será simplesmente:
11 2
2
knR
kRF
Restrições lineares gerais
A forma básica da estatística F é válida para qualquer restrição linear.
Primeiro estime os modelos irrestrito e restrito.
Em cada caso, anote a SSR e substitua na fórmula.
Exemplo:
O modelo is votoA = b0 + b1log(gastoA) + b2log(gastoB) + b3prtystrA + u.
Agora a nula é H0: b1 = 1, b3 = 0.
Substituindo a restrição: votoA = b0 + log(gastoA) + b2log(gastoB) + u.
Agora votoA - log(gastoA) = b0 + b2log(gastoB) + u é o modelo restrito.
Estatística F: Resumo
Da mesma forma que no teste t, o p-valor pode ser calculado olhando no percentil da distribuição F apropriada.
Se apenas uma exclusão está sendo testada, então F = t2 e o p-valor será o mesmo.