Tesadüfi Değişken Olarak Regresyon Katsayıları
description
Transcript of Tesadüfi Değişken Olarak Regresyon Katsayıları
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
Regresyon katsayıları tesadüfi değişkenlerin özel tipidir. X ile Y
arasındaki ilişkiyi gösteren basit regresyon modelini kullanarak bu durumu
açıklayalım. Yukarıdaki iki eşitlik gerçek model ve tahmin edilen
regresyon modelini gösterir. 1
Gerçek model
Tahmin edilen model
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
Yukarıda gösterilen eğim katsayısının basit EKK tahmincisinin davranışını araştıralım.
2
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
Burada b2, X ve Y’ye bağlı iken, diğer taraftan Y’deki değişim X, u ve 1 ve
2 parametrelerine bağlıdır. Bu nedenle Y’nin davranışı sonuçta X, u, ve
parametreler tarafından etkilenmektedir.3
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
b2’nin davranışını gereği gibi açıklamak için, Y yerine gerçek modeli yerine yazıyoruz.
4
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
İlk kovaryans kuralını kullanarak , payı üç kısma ayıralım.
5
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
1 Sabit olduğundan, Cov(X,1)sıfırdır.
6
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
İkinci kovaryans kuralını kullanarak, 2’yi orta terimin dışına alabiliriz.
7
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
Cov(X, X) ile Var(X) ayni ifadedir. Böylece b2’ iki kısma ayrılabilir : gerçek değer, 2, ve hata terimi.
8
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
Tesadüfi Değişken Olarak Regresyon Katsayıları
uXY 21
XbbY 21ˆ
Hata terimi, örnekteki her gözlemin karışıklık teriminin(disturbance term ) değerine bağlıdır, ve böylece tesadüfi değişkenin özel biçimi olmaktadır.
9
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
10
Tesadüfi Değişken Olarak Regresyon Katsayıları
Biz onun b2 üzerindeki etkisini iki şekilde araştırabiliyoruz : İlki doğrudan Monte Carlo denemelerini kullanmak, ikinci ise analitik olarak .
uXY 21
XbbY 21ˆ
)(Var),(Cov
)(Var),(Cov),(Cov0
)(Var),(Cov),(Cov),(Cov
)(Var])[,(Cov
)(Var),(Cov
2
2
21
212
XuX
XuXXX
XuXXXX
XuXX
XYX
b
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X parametre değerleri ve u tarafından belirlendiği
modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini
üretin
Bir monte Carlo denemesi kontrol edilebilen şartlar altında regresyon tahmincilerinin özelliklerini değerlendirmek amacıyla laboratuar benzeri deneme yapmaktır. 11
Y’nin X, parametre değerleri ve u tarafından belirlendiği
modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini
üretin
Basit doğrusal regresyon uygulandığında EKK regresyon katsayılarının davranışını araştıralım.
11
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği
modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini
üretin
Y’nin X-değişkeni ile hata terimi tarafından belirlendiğini varsayalım. Sonra X değişkeni değerleri ile parametre değerleri seçelim.
11
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği
modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini
üretin
Ayrıca bilinen bir dağılımdan karışıklık terimleri (disturbance term) değerlerini üretelim .
11
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği
modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini
üretin
Örnekteki Y’nin değerleri, X değişkeninin değerleri, parametreler ve karışıklık terimi tarafından belirlenecektir.
11
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini üretin
Tahminciler
Parametrelerin değerlerinin tahmini
Ve sonra yalnızca Y ve X’ler kullanarak parametre tahminleri elde etmek için regresyon tekniğini kullanacağız.
16
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini üretin
Tahminciler
Parametrelerin değerlerinin tahmini
Tesadüfi olarak elde edeceğimiz yeni karışıklık terimlerini kullanarak ayni X değişkeni ve ayni parametre değerleri ile süreci sonsuz sayıda tekrar edebiliriz. 16
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini üretin
Tahminciler
Parametrelerin değerlerinin tahmini
Bu şekilde, regresyon tahmincileri için olasılık dağılımını elde edebiliriz. Ve ayrıca onların sapmalı ya da sapmasız olup olmadıklarını kontrol edebiliriz. 16
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini üretin
Tahminciler
Parametrelerin değerlerinin tahmini
Y = 1 + 2X + u
X =1, 2, ... ,
20
1 = 2.02 = 0.5
u bağımsız olup N(0,1)
Y = 2.0 + 0.5X + u
Y’nin değerlerini üretin
Bu denemede örneğimizde 20 gözlem vardır. X, 1, 2, ..., 20 değerlerini almaktadır. 1 =2.0 ve 2 = 0.5’dir.
19
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini üretin
Tahminciler
Parametrelerin değerlerinin tahmini
Y = 1 + 2X + u
X =1, 2, ... ,
20
1 = 2.02 = 0.5
u bağımsız olup N(0,1)
Y = 2.0 + 0.5X + u
Y’nin değerlerini üretin
(disturbance term) sıfır ortalamaya ve birim varyansa sahip olacak şekilde normal dağılım kullanılarak tesadüfi olarak üretilir. Böylece Y değerlerini üretiriz. 19
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini üretin
Tahminciler
Parametrelerin değerlerinin tahmini
Y = 1 + 2X + u
X =1, 2, ... ,
20
1 = 2.02 = 0.5
u bağımsız olup N(0,1)
Y = 2.0 + 0.5X + u
Y’nin değerlerini üretin
19
b2 = Cov(X, Y)/Var(X);
Parametrelerin değerlerini tahmin edin
EEK tahmin tekniğini kullanarak Y’nin X’e göre regresyonu tahmin edip 1 ve 2 gerçek değerlerine göre b1 and b2 tahminlerimizin nasıl olduğunu göreceğiz.
Tesadüfi Değişken Olarak Regresyon Katsayıları
X 2.0+0.5X u Y X 2.0+0.5X u Y
1 11
2 12
3 13
4 14
5 15
6 16
7 17
8 18
9 19
10 20
Y = 2.0 + 0.5X + u
Burada keyfi birim esasına göre seçilen X değerleri vardır.
22
Tesadüfi Değişken Olarak Regresyon Katsayıları
X 2.0+0.5X u Y X 2.0+0.5X u Y
1 2.5 11 7.5
2 3.0 12 8.0
3 3.5 13 8.5
4 4.0 14 9.0
5 4.5 15 9.5
6 5.0 16 10.0
7 5.5 17 10.5
8 6.0 18 11.0
9 6.5 19 11.5
10 7.0 20 12.0
Y = 2.0 + 0.5X + u
Verilen 1 ve 2 katsayılarını kullanarak, Y’nin stokastik olmayan unsurunu elde edebiliriz.
23
Tesadüfi Değişken Olarak Regresyon Katsayıları
Stokastik olmayan unsur grafiksel olarak gösterilebilir.
24
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
XY 5.00.2 Y
X
Tesadüfi Değişken Olarak Regresyon Katsayıları
X 2.0+0.5X u Y X 2.0+0.5X u Y
1 2.5 -0.59 11 7.5 1.59
2 3.0 -0.24 12 8.0 -0.92
3 3.5 -0.83 13 8.5 -0.71
4 4.0 0.03 14 9.0 -0.25
5 4.5 -0.38 15 9.5 1.69
6 5.0 -2.19 16 10.0 0.15
7 5.5 1.03 17 10.5 0.02
8 6.0 0.24 18 11.0 -0.11
9 6.5 2.53 19 11.5 -0.91
10 7.0 -0.13 20 12.0 1.42
Y = 2.0 + 0.5X + u
Sonra N(0,1) dağılımını kullanarak her bir gözlem için tesadüfi bir şekilde karışıklık terimi değeri üretilir.
25
Tesadüfi Değişken Olarak Regresyon Katsayıları
X 2.0+0.5X u Y X 2.0+0.5X u Y
1 2.5 -0.59 1.91 11 7.5 1.59
2 3.0 -0.24 12 8.0 -0.92
3 3.5 -0.83 13 8.5 -0.71
4 4.0 0.03 14 9.0 -0.25
5 4.5 -0.38 15 9.5 1.69
6 5.0 -2.19 16 10.0 0.15
7 5.5 1.03 17 10.5 0.02
8 6.0 0.24 18 11.0 -0.11
9 6.5 2.53 19 11.5 -0.91
10 7.0 -0.13 20 12.0 1.42
Y = 2.0 + 0.5X + u
Örneğin ilk gözlem için Y’nin değeri 2.50 değil 1.91 olarak elde edilir.
26
Tesadüfi Değişken Olarak Regresyon Katsayıları
X 2.0+0.5X u Y X 2.0+0.5X u Y
1 2.5 -0.59 1.91 11 7.5 1.59 9.09
2 3.0 -0.24 2.76 12 8.0 -0.92 7.08
3 3.5 -0.83 2.67 13 8.5 -0.71 7.79
4 4.0 0.03 4.03 14 9.0 -0.25 8.75
5 4.5 -0.38 4.12 15 9.5 1.69 11.19
6 5.0 -2.19 2.81 16 10.0 0.15 10.15
7 5.5 1.03 6.53 17 10.5 0.02 10.52
8 6.0 0.24 6.24 18 11.0 -0.11 10.89
9 6.5 2.53 9.03 19 11.5 -0.91 10.59
10 7.0 -0.13 6.87 20 12.0 1.42 13.42
27
Benzer şekilde diğer 19 gözlem için Y’nin değerleri üretilir.
Y = 2.0 + 0.5X + u
Tesadüfi Değişken Olarak Regresyon Katsayıları
20 gözlemin dağılımı yukarıdadır.
28
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini üretin
Tahminciler
Parametrelerin değerlerinin tahmini
Y = 1 + 2X + u
X =1, 2, ... ,
20
1 = 2.02 = 0.5
u bağımsız olup N(0,1)
Y = 2.0 + 0.5X + u
Y’nin değerlerini üretin
19
Bu noktada biz Monte Carlo denemelerine ulaştık.
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y’nin X, parametre değerleri ve u tarafından belirlendiği modeli seçin
X için veri seçin
Parametre değerlerini
seçin
u’nun dağılımını
seçin
Model
Y’nin değerlerini üretin
Tahminciler
Parametrelerin değerlerinin tahmini
Y = 1 + 2X + u
X =1, 2, ... ,
20
1 = 2.02 = 0.5
u bağımsız olup N(0,1)
Y = 2.0 + 0.5X + u
Y’nin değerlerini üretin
19
b2 = Cov(X, Y)/Var(X);
Parametrelerin değerlerini tahmin edin
Şimdi X ve Y verilerine b1ve b2 için EKK tahmincileri uygulayıp gerçek değerlere göre nasıl tahminler elde edeceğimizi göreceğiz.
Tesadüfi Değişken Olarak Regresyon Katsayıları
Tekrar dağılma diyagramını inceleyelim.
31
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
Tesadüfi Değişken Olarak Regresyon Katsayıları
Regresyon tahmincileri yalnızca gözlenen X ve Y verilerini kullanır.
32
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
Tesadüfi Değişken Olarak Regresyon Katsayıları
Burada verilere uydurulan regresyon denklemi vardır.
33
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
XY 54.063.1ˆ
Tesadüfi Değişken Olarak Regresyon Katsayıları
Karşılaştırma için, gerçek ilişkinin stokastik olmayan unsuruda gösterilmiştir. 2 (gerçek değeri 0.50) aşırı tahmin edilirken 1 (gerçek değer 2.00) aşağıda tahmin edilmiştir..
34
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
XY 54.063.1ˆ
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y = 2.0 + 0.5X + u
Y’nin ayni stokastik olmayan unsuruyla başlayarak süreci tekrar inceliyoruz.
35
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
XY 5.00.2
Tesadüfi Değişken Olarak Regresyon Katsayıları
Daha önceden gösterildiği üzere, Y’nin değerleri tesadüfi olarak üretilen karışıklık terimi değerleri ilave edilerek elde edilir. 36
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
Tesadüfi Değişken Olarak Regresyon Katsayıları
Karışıklık teriminin yeni değerleri daha önceden olduğu gibi ayni N(0,1) dağılımından çekilirken yalnızca bir tanesi şansa bağlı değildir. 37
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
Tesadüfi Değişken Olarak Regresyon Katsayıları
Bu defa eğim katsayısı gerçek değerinin altında, sabit ise gerçek değerinin üzerinde tahmin edilmiştir.
38
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
XY 48.052.2ˆ
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y = 2.0 + 0.5X + u
Süreci bir kez daha tekrar edelim.
39
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
XY 5.00.2
Tesadüfi Değişken Olarak Regresyon Katsayıları
Tesadüfi sayıların yeni seti Y’nin değerlerinin üretilmesinde kullanılmıştır.
40
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
Tesadüfi Değişken Olarak Regresyon Katsayıları
Burada da, gerçek değerlerden eğim katsayısı altta, sabit katsayı ise üstte tahmin edilmiştir.
41
0.00
2.00
4.00
6.00
8.00
10.00
12.00
14.00
0.00 5.00 10.00 15.00 20.00
Y
X
XY 45.013.2ˆ
Tesadüfi Değişken Olarak Regresyon Katsayıları
Y = 2.0 + 0.5X + u
Tablo üç regresyon ve ayrıca sürecin 7 kez tekrar edilmesiyle elde edilen sonuçlar özetlenmiştir.
42
Tekerrür b1 b2
1 1.63 0.54
2 2.52 0.48
3 2.13 0.45
4 2.14 0.50
5 1.71 0.56
6 1.81 0.51
7 1.72 0.56
8 3.18 0.41
9 1.26 0.58
10 1.94 0.52
Tesadüfi Değişken Olarak Regresyon Katsayıları
Burada 2 tahminlerinin histogramı vardır. Ancak henüz hiçbir şey net olarak görülmemektedir.
43
0
2
4
6
8
10
12
0.40 0.45 0.50 0.55 0.60
10 replications
Tesadüfi Değişken Olarak Regresyon Katsayıları
Burada sürecin ilave 40 tekerrüründen elde edilen 2
tahminleri vardır. 44
1-10 11-20 21-30 31-40 41-50
0.54 0.49 0.54 0.52 0.49
0.48 0.54 0.46 0.47 0.50
0.45 0.49 0.45 0.54 0.48
0.50 0.54 0.50 0.53 0.44
0.56 0.54 0.41 0.51 0.53
0.51 0.52 0.53 0.51 0.48
0.56 0.49 0.53 0.47 0.47
0.41 0.53 0.47 0.55 0.50
0.58 0.60 0.51 0.51 0.53
0.52 0.48 0.47 0.58 0.51
Tesadüfi Değişken Olarak Regresyon Katsayıları
Histogram merkezi eğilim göstermeye başlamıştır.
45
0
2
4
6
8
10
12
0.40 0.45 0.50 0.55 0.60
50 tekerrür
Tesadüfi Değişken Olarak Regresyon Katsayıları
Bu 100 tekerrürün histogramıdır. Burada şunu görebiliriz: gerçek değerin etrafında simetrik bir şekilde ortaya çıkmaktadır ki buda tahmincilerin sapmasız olduğunu gösterir.
46
0
2
4
6
8
10
12
0.40 0.45 0.50 0.55 0.60
100 tekerrür
Tesadüfi Değişken Olarak Regresyon Katsayıları
Yine de , dağılım hala oldukça girintili çıkıntılıdır. Aslında biz bu süreci en az 1000 tekrar etmeliyiz.
47
0
2
4
6
8
10
12
0.40 0.45 0.50 0.55 0.60
100 tekerrür
Tesadüfi Değişken Olarak Regresyon Katsayıları
Kırmızı çizgi dağılımın biçiminin sınırlarını göstermektedir. Gerçek değerin etrafında simetrik olup, tahmincinin sapmasız olduğunu doğrulamaktadır.
48
0
2
4
6
8
10
12
0.40 0.45 0.50 0.55 0.60
100 tekerrür
Tesadüfi Değişken Olarak Regresyon Katsayıları
Dağılım normaldir. Karışıklık terimleri normal dağılımdan çekilmiştir.
49
0
2
4
6
8
10
12
0.40 0.45 0.50 0.55 0.60
100 tekerrür
Tesadüfi Değişken Olarak Regresyon Katsayıları