Post on 27-Feb-2019
Prednáška č. 10
Numerické metódy matematiky I
Aproximácie funkcií –metóda najmenších štvorcov
Prednáška č. 10
OBSAH
1. Aproximácia a interpolácia2. Metóda najmenších štvorcov
• bázové funkcie• návrhová matica• rezíduá• vážená metóda najmenších štvorcov• normálna sústava rovníc• Gramova matica• Príklady• Riešenie preurčených sústav rovníc
3. Opakovanie4. Literatúra
Aproximácia a interpolácia
Aproximovať funkciu f (x) znamená
nahradiť ju funkciou φ(x),ktorá je k funkcii f (x) v istom zmysle blízka.
Budeme sa zoberať dvomi základnými typmi aproximáciea to interpoláciou a metódou najmenších štvorcov.
Definícia: Interpolácia je taká aproximácia,
pri ktorej φ(x) nadobúda v zadaných bodoch xi
predpísané hodnoty yi=f (xi) .
Niekedy navyše žiadame,
aby funkcie f a φ mali v bodoch xitiež rovnaké derivácie.
Aproximácia a interpolácia
Aproximovať funkciu f (x) znamená
nahradiť ju funkciou φ(x),ktorá je k funkcii f (x) v istom zmysle blízka.
Budeme sa zoberať dvomi základnými typmi aproximáciea to interpoláciou a metódou najmenších štvorcov.
Definícia: Metóda najmenších štvorcov je taká aproximácia,
pri ktorej φ(x) „prekladáme“
medzi zadanými bodmi [xi,yi] tak,
aby „vzdialenosť“ funkcií f a φ bola
v istom zmysle minimálna.Je pri tom charakteristické,
že funkcia φ(x) bodmi [xi,yi] neprechádza.
Metóda najmenších štvorcov
označuje postup pre približné riešenie preurčených rovnícalebo nepresne zadaných sústav rovníc
založený na minimalizácii kvadrátov ich rezíduí
Prekladanie dát krivkami je významná skupina úloh,ktoré je možné riešiť metódou najmenších štvorcov(v anglicky písanej literatúre sa pre takéto aplikácie
používa označenie curve fitting)
Popíšme si, o čo v takýchto úlohách ide.
Metóda najmenších štvorcov
Nech t je nezávislá premenná, napríklad čas,a y(t) je neznáma funkcia premennej t,
ktorú chceme aproximovať.
Predpokladajme, že sme vykonali m pozorovaní,t.j. hodnoty y boli namerané pre určité hodnoty t:
Naším zámerom je modelovať y(t) lineárnou kombináciou n bázových funkcií
pre nejaké :
Bázové funkcie navrhujeme podľa očakávaného priebehu neznámej funkcie y(t),
určiť sa majú parametre .
Funkcia sa v štatistike nazývalineárna regresná funkcia.
Návrhová matica
Návrhová matica A modelu je obdĺžniková matica,ktorá má m riadkov a n stĺpcov:
kde je i-tý stĺpec A.
Maticová formulácia modelu je
kde sú namerané dáta a
je vektor neznámych parametrov.
Metóda najmenších štvorcov
Princíp metódy najmenších štvorcov
Metóda najmenších štvorcov
Rezíduá sú rozdiely medzi pozorovaniami a modelom:
kde .
V maticovom zápise
Parametre xi chceme určiť tak,aby rezídua boli čo najmenšie.
Metódu najmenších štvorcov dostaneme,keď minimalizujeme súčet štvorcov rezíduí:
Metóda najmenších štvorcov
Niekedy sa používa tiež vážená metóda najmenších štvorcov:
keď sú niektoré pozorovania dôležitejšie alebo presnejšie ako ostatné,
potom môžeme prisúdiť jednotlivým pozorovaniam
rôzne váhy aminimalizovať súčet vážených štvorcov
Ak je napríklad chyba i-tého pozorovaniapribližne rovná ei, zvolíme .
Je dobré si uvedomiť,že každú metódu pre riešenie neváženej MNŠje možné použiť pre riešenie váženej metódy:
stačí vynásobiť yi a i-tý riadok A súčiniteľom .
Metóda najmenších štvorcov
Približné riešenie preurčenej sústavy rovníc A x = y(t.j. rovníc je viac ako neznámych),
ktoré minimalizuje veľkosť rezídua r = y – Ax, sa nazýva
riešenie sústavy rovníc metódou najmenších štvorcov.
Normálna sústava rovníc
Riešenie minimalizačnej úlohy
musí spĺňať nutnú podmienku pre extrém:
Keď vykonáme naznačené derivovanie, dostaneme
a odtiaľ
čo možno maticovo zapísať ako .
Normálna sústava rovníc
Sústava lineárnych rovníc je známa akonormálna sústava rovníc.
Ak sú stĺpce matice A lineárne nezávislé,je matica pozitívne definitná
a riešenie x* normálnej sústavy rovníc je jediné riešenie minimalizačnej úlohy,
t.j. platí
Normálna sústava rovníc
Ak vyjadríme normálnu sústavu rovníc pomocou vektorov dostaneme
kde
sú skalárne súčiny vektorov .
Matica G tejto sústavy sa nazývaGramova matica sústavy vektorov .
Normálna sústava rovníc
Pri návrhu aproximácie Rn(t) by sme mali vyberať funkcie tak,
aby stĺpce matice A boli lineárne nezávislé.
V opačnom prípade,ako sa dá ukázať,
má minimalizačná úloha nekonečne veľa riešení,čo je zrejme nežiadúce.
Normálna sústava rovníc
Dva významné špeciálne prípady,pre ktoré sú stĺpce matice A lineárne nezávislé:
1. je polynóm stupňa j-1, napr.
2. pre n=2N+1, kde N je celé nezáporné číslo, volíme
a „časy pozorovania“ ti vyberáme z intervalu kde c je ľubovoľné číslo.
Aproximácia je v prípade 1) algebraický polynóm av prípade 2) trigonometrický polynóm.
Normálna sústava rovníc
Ak je m=n a matica A je regulárna,potom x*=A-1y a r=0,
t.j. .
Pokiaľ sú však namerané dáta yi zaťažené chybami,potom nie je účelné,
aby funkcia tieto chyby kopírovala.
Naopak, aby vierohodne vystihovala(rekonštruovala) neznámu funkciu y(t),
je žiaduce,aby namerané dáta vyrovnávala (vyhladzovala).
To je ale možné len vtedy,ak počet pozorovaní m je výrazne väčší
ako počet n návrhových parametrov,t.j. pre .
Príklad
Pre dáta predpísané tabuľkou
určíme aproximáciu .metódou najmenších štvorcov.
Zrejme .
Normálna sústava rovníc má tvar
Príklad
Pre dáta predpísané tabuľkou
určíme aproximáciu .metódou najmenších štvorcov.
Ak vypočítame príslušné sumy, dostaneme sústavu
ktorej riešenie je .
Hľadaná aproximácia je
Príklad
Dáta predpísané tabuľkou
postupne preložíme polynómami prvého, druhého a tretieho stupňa.
Za bázové funkcie volíme
Príklad
Polynóm prvého stupňa
Pre dostanemenormálnu sústavu rovníc
ktorá má riešenie
Aproximácia lineárnym polynómom teda nie je vhodná,lebo je málo presná.
Príklad
Polynóm druhého stupňa
Normálna sústava rovníc
má riešenie
Veľkosť rezídua sa zmenšila, ale je stále väčšiaako v predchádzajúcom príklade.
Príklad
Polynóm tretieho stupňa
Normálna sústava rovníc
má riešenie
Príklad
Pokiaľ by sme stupeň polynómu ďalej zvyšovali,zistili by sme, že
polynóm šiestho stupňa prechádza všetkým bodmi ,takže je to interpolačný polynóm.
Všimnite si prvky Gramových matíc:s rastúcim rádom najväčší koeficient prudko rastie.
Spolu s ním prudko rastie aj číslo podmienenosti Gramových matíc.
Tabuľka udáva čísla podmienenosti :
Riešenie preurčených sústav rovníc
Normálne rovnice sa na riešenie veľkého systémupreurčených rovníc nehodí,
pretože číslo podmienenosti Gramovej matice jevýrazne vyššie ako číslo podmienenosti
návrhovej matice A, lebo platí
Lepším postupom je napr. singulárny rozklad.
Ak je počet rovníc sústavy M menší ako počet neznámych N,alebo ak M = N ale rovnice sú lineárne závislé,
potom sústava nemá žiadne riešenie alebo
má viac než jedno riešenie.
V druhom prípade priestor riešení tvorípartikulárne riešenie
pripočítané k ľubovoľnej lineárnej kombinácii N - M vektorov.
Úlohu nájsť priestor riešení matice Aje možné riešiť metódou
singulárneho rozkladu matice A.
Metóda singulárneho rozkladu - úvod
Ak je počet rovníc sústavy M väčší ako počet neznámych N,vo všeobecnosti neexistuje vektor riešenia a
sústave rovníc sa hovorí preurčená.
Môžeme ale nájsť najlepšie „kompromisné“ riešenie, ktoré je „najbližšie“ k tomu,
aby vyhovovalo všetkým rovniciam.
Ak „najbližšie“ definujeme v zmysle najmenších štvorcov,t.j. že suma kvadrátu rozdielov
medzi ľavou a pravou stranou rovnice je najmenšia,potom sa preurčený systém redukuje
na (zvyčajne) riešiteľný problém zvaný metóda najmenších štvorcov.
Metóda singulárneho rozkladu - úvod
Redukovaný systém rovníc môžeme zapísať akosystém N x N rovníc
Tieto rovnice voláme normálne rovniceproblému najmenších štvorcov.
Priame riešenie normálnych rovníc nie je vo všeobecnostinajlepším spôsobom hľadania riešenia najmenších štvorcov.
Metóda singulárneho rozkladu - úvod
.T T A A x A b
Metóda singulárneho rozkladu
SVD je založená na nasledujúcej teoréme lineárnej algebry:
Každá matica A typu M x N,
ktorej počet riadkov M je väčší alebo rovný počtu stĺpcov N,
môže byť zapísaná ako súčin
stĺpcovo-ortogonálnej matice U typu M x N,
diagonálnej matice W typu N x Ns kladnými alebo nulovými prvkami (singulárnymi hodnotami)
a transponovanej ortogonálnej matice V typu N x N.
Metóda singulárneho rozkladu
Ortogonálnosť matíc U a V môžeme zapísať nasledovne
Metóda singulárneho rozkladu
SVD dekompozícia môže byť vykonaná aj keď M < N.
V takom prípade singulárne hodnoty wj pre j = M+1, …, Nsú všetky nulové
ako aj odpovedajúce stĺpce matice U.
Existuje viacero algoritmov na SVD,osvedčená je subroutina svdcmp z Numerical Recipes.
Metóda singulárneho rozkladu pre viac rovníc ako neznámych
Ak máme viac rovníc ako neznámychhľadáme riešenie,
v zmysle problému najmenších štvorcov.
Riešime teda sústavu, zapísanú tabuľkovo nasledovne:
Metóda singulárneho rozkladu pre viac rovníc ako neznámych
Po aplikácii SVD na maticu A dostaneme
riešenie v tvare
V tomto prípade nie je zvyčajne nutné nulovať hodnoty wjavšak neobvykle malé hodnoty indikujú, žedáta nie sú citlivé na niektoré parametre.
QR rozklad
Podobne ako LU rozklad matice,existuje aj tzv. QR rozklad matice
A = Q.Rkde R je horná trojuholníková matica a
Q je ortogonálna matica, teda platíQT.Q = 1.
Riešenie sústavy rovníc nájdeme riešenímR.x = QT.b
QR rozklad vyžaduje asi 2-krát viac operáciíako LU rozklad
(Gramova-Schmidtova ortogonalizácia),ale existujú špeciálne typy rovníc,v ktorých je výhodnejšie ho použiť.
Prednáška č. 10
OBSAH
1. Aproximácia a interpolácia2. Metóda najmenších štvorcov
• bázové funkcie• návrhová matica• rezíduá• vážená metóda najmenších štvorcov• normálna sústava rovníc• Gramova matica• Príklady• Riešenie preurčených sústav rovníc
3. Opakovanie4. Literatúra
Prednáška č. 10
OBSAH
1. Aproximácia a interpolácia2. Metóda najmenších štvorcov
• bázové funkcie• návrhová matica• rezíduá• vážená metóda najmenších štvorcov• normálna sústava rovníc• Gramova matica• Príklady• Riešenie preurčených sústav rovníc
3. Opakovanie4. Literatúra