Метод наименьших квадратов.

Метод наименьших квадратов.Метод наименьших квадратов.

В математической статистике методы получения В математической статистике методы получения наилучшего приближения к исходным данным в наилучшего приближения к исходным данным в виде аппроксимирующей функции получили виде аппроксимирующей функции получили название регрессионного анализа.название регрессионного анализа.

Основными задачами регрессионного анализа Основными задачами регрессионного анализа являются установление зависимости между являются установление зависимости между переменными и оценка (прогноз) значений переменными и оценка (прогноз) значений зависимой переменной.зависимой переменной.

В экономических исследованиях часто заданному В экономических исследованиях часто заданному значению одной переменной может соответствовать значению одной переменной может соответствовать множество значений другой переменной. множество значений другой переменной.

Другими словами, каждому значению одной Другими словами, каждому значению одной переменной соответствует условное распределение переменной соответствует условное распределение другой переменной.другой переменной.

Зависимость, при которой каждому значению одной Зависимость, при которой каждому значению одной переменной соответствует условное переменной соответствует условное математическое ожидание другой называется математическое ожидание другой называется регрессионной:регрессионной:

M(Y|X) = f(X)M(Y|X) = f(X)

Метод наименьших Метод наименьших квадратов.квадратов. Уравнение парной регрессии.Уравнение парной регрессии.

yytt = a = a00 + a + a11xxtt + u + utt (7.1)(7.1)Постановка задачи.Постановка задачи.

Дано: Дано: выборка наблюдений за поведением переменных выборка наблюдений за поведением переменных yytt ии x xtt..

Найти: 1. Оценки значений параметров Найти: 1. Оценки значений параметров aa00 ии a a11..

2. Оценки точности 2. Оценки точности σσ((aa00) и ) и σσ((aa11).).

3. Оценка рассеяния случайного возмущения 3. Оценка рассеяния случайного возмущения σσuu..4.4. Оценку точности прогнозирования Оценку точности прогнозирования σσ((y(x0)).y(x0)).

y

yy

n

Y

YВектор

...2

1

Выборка: y1 x1

y2 x2

……….

yn xn

Принятые обозначения:Система уравнений наблюдений.

yy11 = a = a00 + a + a11xx11 + + uu11

yytt = a = a00 + a + a11xx22 + + uu22

…………………………………………

yynn = a = a00 + a + a11xxnn + + uunn

x

xx

n

X

XМатрица

1

11

......2

1

Метод наименьших Метод наименьших квадратовквадратов

0

2

4

6

8

10

12

0 5 10 15 20 25

Идея метода.

Пусть имеем выборку из 4-х точек (n=4):

P1 =(x1, y1)

P2 =(x2, y2)

P3 =(x3, y3)

P4 =(x4, y4)

P1

P2

P3

P4

На практике мы имеем возможность наблюдать только исходные точки. Предполагаем, что существует теоретическая прямая, которая наилучшим образом проходит через них.

Задача: оценить с некоторой точностью, как может проходить эта прямая.

Метод наименьших Метод наименьших квадратовквадратов

P4

Q4

u4XaaY 10

~~~

XaaY 10

ã0

Y

Y

410Xaa

XX1 X2 X3 X4

Любое значение Y можно представить в виде суммы неслучайной величины a0+a1x и случайной величины u.

Идея метода заключается в том, чтобы найти такие значения параметров, которые обеспечат минимум суммы квадратов случайных отклонений.

ỹ

a0

Реализация метода Реализация метода наименьших квадратовнаименьших квадратов

Итак, оценки параметров модели парной регрессии согласно МНК Итак, оценки параметров модели парной регрессии согласно МНК будем искать из условия:будем искать из условия:

S=S=ΣΣuuii22==ΣΣ(y(yii-ã-ã00+ã+ã11xxii))22=min=min

Условиями минимума функции являются равенство нулю первых Условиями минимума функции являются равенство нулю первых

производных и положительность вторых производных по производных и положительность вторых производных по ãã00 и и ãã11..

02

012

~~

~~

101

100

xaaya

aaya

ii

i

xiS

xiS

0

01

2

2

1

2

2

0

2

~

~

xa

a

i

S

S

при этом:

(7.2)

Система уравнений (7.2) называется системой нормальных уравнений для вычисления оценок параметров модели (7.1)


Упростим систему нормальных уравнений (7.2)Упростим систему нормальных уравнений (7.2)

yxxaaxyxaa

iiii

iin

2

10

10~~

(7.3)

Для решения системы (7.3) выразим из первого уравнения ã0, подставим его во второе уравнение.

5.7

1

4.71

21

2

1

1

2

1

1

2

1

10

~

~

~~

~

~~

xxxyxyx

a

yxyxxxxa

yxaxxayx

yxaxxayx

xaya

iii

iiii

iiiiiii

iiiiii

iiiiii

ii

n

n

n

nn

n

n

:получаемОткуда

Или


Вычислив с помощью (7.5) оценку Вычислив с помощью (7.5) оценку ãã11, с помощью выражения , с помощью выражения (7.4) получим значение оценки параметра (7.4) получим значение оценки параметра ãã00..

xxxxx

xxxxxxx

yxyxxyyx

xyyxyx

iiii

iiiii

iiiiiiii

iiiiii

nnn

n

xn

xn

xn

x

nnyxyx

n

yxyxn

yxn

yx

1

1

1

1

1

21

1)2(

1

1

)1(

1)(

1

1

1

1

11

1

1

1),(Cov

222

222222

Тогда выражение (7.5) можно записать в виде:

)(

),(21 x

yxCova

(7.6)


Вопрос.Вопрос. Как связано полученное решение Как связано полученное решение со случайными возмущениямисо случайными возмущениями??

),(Cov)(

),(Cov),(Cov),(Cov),(Cov),(Cov

2

1

10

10

uxx

uxxxxuxxyx

aaaaa

Подставляя (7.7) в (7.6) получим выражение:

)(

),(Cov211

~x

uxaa

(7.7)

Условие несмещенности оценки параметра ã1

),(Cov)(

1)( 211~ ux

xM aa

Характеристики точности Характеристики точности уравнения парной регрессииуравнения парной регрессии

Вычислим дисперсии параметров уравнения регрессии и дисперсию прогнозирования эндогенной переменной.

1. Дисперсия параметра ã1

)(

1)()()(

)(

)1(1

)()1(

1

)(

),(Cov)(

2

2

22

22

1

2

2

2

2

102

2

2

2

2

1

2

~

~

xnx

xi

x

i

xx

in

yxn

x

yx

u

i

ii

iiii

ii

xuxa

xxux

xxaayx

xx

yxa

(7.8)


0,Cov

,yCov2)()(~ a~~~~1

11

222

1

2

0

2

aaxaa

yxyxy

nn

y u

iiy

ny

22

2

22)(

11)(

Дисперсия параметра ã0

Дисперсия σ2(ã1) известна (7.8), необходимо вычислить дисперсию y.

(7.9)

В результате получаем:

)(

10

22

222~

xnnx

a u (7.10)


uxux

uxy

aaaaaxaaa

u

,Cov2,Cov2,Cov2

~

~~~~~

~~

1010

2

1

22

0

210

22

aaaaaaaa xxyxy ~~~~~~~1

2

1111110,Cov,Cov,CovCov

Дисперсия прогноза эндогенной переменной.

Ковариации между случайными возмущениями и оценками параметров равны нулю, т.к. эти переменные независимые.

Подставляя в (7.11) (7.10), (7,8) и (7,12), получаем:

(7.11)

(7.12)

2

2

22

)(

11)~(

xn

xx

ny

u (7.13)

Пример применения МНКПример применения МНК

10.1220

93.21

54.021063.142.15520

1

63.144100287020

42.14621066.189720

~

~

~

2

0

1

u

a

a

X-стаж работы сотрудника;

Y- часовая оплата труда.

Модель: Yt=a0+a1Xt+Ut

Σxi=210; Σyi=146.42; Σxi

2=2870; Σxiyi=1897.66

X Y ỹ U U2 σ(y)1,0 1,91 2,17 -0,26 0,07 1,202,0 2,76 2,72 0,04 0,00 1,193,0 2,67 3,26 -0,59 0,35 1,174,0 4,03 3,80 0,23 0,05 1,165,0 4,12 4,34 -0,22 0,05 1,156,0 2,81 4,88 -2,07 4,30 1,157,0 6,53 5,42 1,11 1,22 1,148,0 6,24 5,97 0,27 0,07 1,149,0 9,03 6,51 2,52 6,36 1,13

10,0 6,87 7,05 -0,18 0,03 1,1311,0 9,09 7,59 1,50 2,24 1,1312,0 7,08 8,13 -1,05 1,11 1,1313,0 7,79 8,68 -0,89 0,78 1,1414,0 8,75 9,22 -0,47 0,22 1,1415,0 11,19 9,76 1,43 2,05 1,1516,0 10,15 10,30 -0,15 0,02 1,1517,0 10,52 10,84 -0,32 0,10 1,1618,0 10,89 11,38 -0,49 0,24 1,1719,0 10,59 11,93 -1,34 1,78 1,1920,0 13,40 12,47 0,93 0,87 1,20

Пример применения МНКПример применения МНК

0,00

2,00

4,00

6,00

8,00

10,00

12,00

14,00

16,00

0,00 5,00 10,00 15,00 20,00 25,00

X

Y

Графическое отображение результатов

Y=1.63+0.54X

Y-σ(Y)Y+σ(Y)

Метод наименьших квадратов.

Documents

Transcript of Метод наименьших квадратов.