02_01

14
1 HY200. ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ ΣΥΣΤΗΜΑΤΑ ΓΡΑΜΜΙΚΩΝ ΕΞΙΣΩΣΕΩΝ Π. ΤΣΟΜΠΑΝΟΠΟΥΛΟΥ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ & ΔΙΚΤΥΩN [email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 2 Γραμμικά συστήματα, πίνακες, διανύσματα. z Διακριτοποίηση συνεχών προβλημάτων (διαφορικών εξισώσεων) Æ συστήματα m γραμμικών εξισώσεων με n αγνώστους. z Τετραγωνικά συστήματα (n=m) σε μορφή πίνακα: Ax=b, A nxn πίνακας, b,x διανύσματα n στοιχείων. z Γραμμική Άλγεβρα: ύπαρξη και μοναδικότητα της λύσης. z Αριθμητική Γραμμική Άλγεβρα: z Αλγόριθμοι επίλυσης γραμμικών συστημάτων. z Κόστος επίλυσης (πολυπλοκότητα αλγορίθμων). z Ευστάθεια μεθόδων. z Κατάσταση συστημάτων.

Transcript of 02_01

Page 1: 02_01

1

HY200. ΕΠΙΣΤΗΜΟΝΙΚΟΣΥΠΟΛΟΓΙΣΜΟΣ

ΣΥΣΤΗΜΑΤΑ ΓΡΑΜΜΙΚΩΝΕΞΙΣΩΣΕΩΝ

Π. ΤΣΟΜΠΑΝΟΠΟΥΛΟΥ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ & ΔΙΚΤΥΩN

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 2

Γραμμικά συστήματα, πίνακες, διανύσματα.Διακριτοποίηση συνεχών προβλημάτων (διαφορικώνεξισώσεων) συστήματα m γραμμικών εξισώσεων με nαγνώστους.Τετραγωνικά συστήματα (n=m) σε μορφή πίνακα: Ax=b, Anxn πίνακας, b,x διανύσματα n στοιχείων.Γραμμική Άλγεβρα: ύπαρξη και μοναδικότητα της λύσης.Αριθμητική Γραμμική Άλγεβρα:

Αλγόριθμοι επίλυσης γραμμικών συστημάτων.Κόστος επίλυσης (πολυπλοκότητα αλγορίθμων).Ευστάθεια μεθόδων.Κατάσταση συστημάτων.

Page 2: 02_01

2

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 3

Συστήματα Γραμμικών Εξισώσεων.

σε μορφή πίνακα

nnnnnn

nn

nn

bxaxaxa

bxaxaxabxaxaxa

=+++

=+++=+++

K

M

K

K

2211

22222121

11212111

bAxx

xx

x

b

bb

b

aaa

aaaaaa

A

nnnnnn

n

n

=

⎥⎥⎥⎥

⎢⎢⎢⎢

=

⎥⎥⎥⎥

⎢⎢⎢⎢

=

⎥⎥⎥⎥

⎢⎢⎢⎢

=

, , 2

1

2

1

21

22221

11211

MM

K

MOMM

K

L

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 4

Γραμμική Άλγεβρα

Το σύστημα έχει μια και μοναδική λύση ανν: O A είναι αντιστρέψιμος detA μη-μηδενική Το ομογενές σύστημα, Ax=0, έχει μοναδική λύση τημηδενική

Οι στήλες ή οι γραμμές του Α είναι γραμμικάανεξάρτητες.

Λύση συστήματος:Κανόνας του CramerΥπολογισμός του αντιστρόφου

Page 3: 02_01

3

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 5

Γεωμετρική Ερμηνεία για ταΣυστήματα Γραμμικών Εξισώσεων.

Η λύση ενός συστήματος δυο γραμμικώνεξισώσεων με 2 αγνώστους, είναι η τομή των δύοευθειών που αναπαριστούν οι εξισώσεις:

22221

11211

byaxabyaxa

=+=+

1 σημείο κανένα σημείο μία ευθεία

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 6

Γεωμετρική Ερμηνεία για ταΣυστήματα Γραμμικών Εξισώσεων.Η λύση ενός συστήματος τριών γραμμικών εξισώσεων με 3

αγνώστους, είναι η τομή των τριών επιπέδων πουαναπαριστούν οι εξισώσεις:

Η τομή μπορεί να είναι:κανένα σημείο (παράλληλα επίπεδα)1 σημείο1 ευθεία (άπειρα σημεία)1 επίπεδο (άπειρα σημεία)

3333231

2232221

1131211

bzayaxabzayaxabzayaxa

=++=++=++

Page 4: 02_01

4

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 7

Γραμμική Αλγεβρα.

Κανόνας του Cramer:

Κόστος:Ασύμφορος!! Απαιτεί τον υπολογισμό n+1 οριζουσώνnxn. Tο κόστος είναι Ο((n+1)!).

niAAx

aabaaaAaaaA

ii

niii

n

,,2,1 ,detdet

),,,,,,( ),,,( 112121

K

KKK

==

== +−

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 8

Γραμμική Αλγεβρα.

Xρήση αντιστρόφου:

Κόστος:Ασύμφορος! Για να υπολογίσουμε κάθε στήλη του αρκείνα υπολογίσουμε από ένα σύστημα:Α xj = ej , j=1,...,n, ej = [0...0 1 0...0 ]TΥπολογισμός αντιστρόφου είναι ισοδύναμο με λύσεις nσυστημάτων!!

( )nii uuuAnieAubAx

,,, ,,2,1 ,,

211

1

KK =⇒==

=−

Page 5: 02_01

5

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 9

Αριθμητική Γραμμική Άλγεβρα.

Γραμμικά συστήματα, πίνακες, διανύσματα.Απαλοιφή Gauss-LU παραγοντοποίηση.Μερική / ολική οδήγηση.Ανάλυση Cholesky.Νόρμες διανυσμάτων / πινάκων.Πολυπλοκότητα μεθόδων απαλοιφής. Αξιολόγηση σφάλματος.

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 10

Κατηγορίες πινάκων

Πυκνοί ή αποθηκεύσιμοι:αij ≠ 0, i,j=1,2,...,nn2 απαιτούμενες θέσεις μνήμης.n≤1000 (μικρά συστήματα), 1000≤n≤106 (μέτριασυστήματα), 106≤n (μεγάλα συστήματα).Χρησιμοποιούμε άμεσες μεθόδους για την λύσησυστημάτων με τέτοιους πίνακες.

Page 6: 02_01

6

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 11

Κατηγορίες πινάκων (συνέχεια)

Αραιοί ή σποραδικοί:αij = 0 για τα περισσότερα στοιχεία τους.Συνήθως έχουν συγκεκριμένη δομή ( διαγώνιοι, τριδιαγώνιοικλπ.).Συνήθως απαιτούνται Ο(n) θέσεις μνήμης.Μερικές φορές δεν αποθηκέυονται, αλλά υπολογίζουμε ταστοιχεία τους όποτε τα χρειαζόμαστε.Χρησιμοποιούμε επαναληπτικές μεθόδους για την λύσησυστημάτων με τέτοιους πίνακες.

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 12

Κατηγορίες πινάκων (συνέχεια)

Τριγωνικοί πίνακες(Άνω ή Κάτω Τριγωνικοί):Καλές ιδιότητες. Προκύπτουν από γνωστές μεθόδους ανάλυσης / επεξεργασίαςπινάκων (απαλοιφή Gauss).Είναι πολύ εύκολο να λύσουμε συστήματα εξισώσεων που οπίνακας τους είναι τριγωνικός.

⎥⎥⎥⎥

⎢⎢⎢⎢

=

nn

n

n

u

uuuuu

U

K

MOMM

K

L

00

0 222

11211

άνω τριγωνικός

⎥⎥⎥⎥

⎢⎢⎢⎢

=

nnnn lll

lll

L

K

MOMM

K

L

21

2221

11

000

κάτω τριγωνικός

Page 7: 02_01

7

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 13

Λύση τριγωνικών συστημάτων.

Άνω τριγωνικός πίνακας / σύστημα:

⎥⎥⎥⎥

⎢⎢⎢⎢

=

⎥⎥⎥⎥

⎢⎢⎢⎢

=

⎥⎥⎥⎥

⎢⎢⎢⎢

=

nnnn

n

n

b

bb

b

x

xx

x

u

uuuuu

UMM

K

MOMM

K

L

2

1

2

1

222

11211

, ,

00

0

nnnn

nn

nn

bxu

bxuxubxuxuxu

=

=++=+++

22222

11212111

M

K

K

⇔= bUx

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 14

Παράδειγμα άνω τριγωνικούσυστήματος.

23 =⇔ x

2232 •−=⇔ x 12 −=⇔ x

355.17 32 622

3

32

321

−=−=+=+−

xxxxxx

355.17 3 −=− x

622 321 =+− xxx

32 32 =+ xx

)2)1(2(62 1 +−•−−=⇔ x 11 =⇔ x

Page 8: 02_01

8

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 15

Λύση άνω τριγωνικών συστημάτων.Λύση:

nn

nnnnnn u

bxbxu =⇔=

11

121211

1212111111212111

)(

)(

uxuxubx

xuxubxubxuxuxu

nn

nnnn

++−=

⇔++−=⇔=+++K

KK

M

1,1

,111,1111,11,111,1

−−

−−−−−−−−−−−−−

−=⇔−=⇔=+

nn

nnnnnnnnnnnnnnnnnnn u

xubxxubxubxuxu

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 16

Λύση άνω τριγωνικών συστημάτων.

Αλγόριθμος λύσης:

kk

n

kjjkjk

k

nnnn

u

xubx

nnkubx

∑+=

−=

−−==

1

1,,2,1 για/

K

Page 9: 02_01

9

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 17

Λύση τριγωνικών συστημάτων.Κάτω τριγωνικός πίνακας / σύστημα:

nnnnnnnnnn

nnnnn

bxlxlxlxlbxlxl

bxlxlbxl

=++++

=++

=+=

−−

−−−−−

11,221

111,1111

2222121

1111

K

K

M

⇔= bLx

⎥⎥⎥⎥

⎢⎢⎢⎢

=

⎥⎥⎥⎥

⎢⎢⎢⎢

=

⎥⎥⎥⎥

⎢⎢⎢⎢

=

nnnnnn b

bb

b

x

xx

x

lll

lll

LMM

K

MOMM

K

L

2

1

2

1

21

2221

11

, , 000

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 18

Λύση κάτω τριγωνικών συστημάτων.Λύση:

22

1212212122222222121 l

xlbxxlbxlbxlxl −=⇔−=⇔=+

11

111111 l

bxbxl =⇔=

nn

nnnnnnnn

nnnnnnnnnnnnnnnnn

lxlxlxlb

x

xlxlxlbxlbxlxlxl)(

)(

11,221

11,221221

−−

−−

+++−=⇔

+++−=⇔=+++

K

KK

M

Page 10: 02_01

10

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 19

Λύση κάτω τριγωνικών συστημάτων.Αλγόριθμος λύσης:

kk

k

jjkjk

k l

xlbx

nklbx

∑−

=

−=

==

1

1

1111

,...,3,2 για/

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 20

Απαλοιφή Gauss.Πως θα λύσουμε γενικά συστήματα Ax = b;

Αν τα αναγάγουμε σε τριγωνικά θα λυθούν εύκολα!Gauss: Τριγωνοποίηση: Επεξεργαζόμαστε τον A και το b ώστε να

προκύψει ένας άνω τριγωνικός U και ένα c, τ.ω. το Ux = cνα είναι ισοδύναμο με το αρχικό σύστημα.

Οπισθοδρόμηση: Λύνουμε το Ux = c, όπως πριν.

Page 11: 02_01

11

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 21

Απαλοιφή Gauss - παράδειγμα.

⇔⎥⎥⎥

⎢⎢⎢

⎡=

⎥⎥⎥

⎢⎢⎢

⎥⎥⎥

⎢⎢⎢

⎡ −

436

135210122

3

2

1

xxx

⇔⎥⎥⎥

⎢⎢⎢

−=

⎥⎥⎥

⎢⎢⎢

⎥⎥⎥

⎢⎢⎢

1136

5.180210122

3

2

1

xxx

⎥⎥⎥

⎢⎢⎢

−=

⎥⎥⎥

⎢⎢⎢

⎥⎥⎥

⎢⎢⎢

3536

5.1700210122

3

2

1

xxx

Εξίσωση 3 Εξίσωση 3 – (5/2)*Εξίσωση 1

Εξίσωση 3 Εξίσωση 3 – (8)*Εξίσωση 2

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 22

Απαλοιφή Gauss.Tριγωνοποίηση: A U - 1ο βήμα

(απαλοιφή του πρώτου αγνώστου)

⎥⎥⎥⎥

⎢⎢⎢⎢

=

⎥⎥⎥⎥

⎢⎢⎢⎢

⎥⎥⎥⎥

⎢⎢⎢⎢

nnnnnn

n

n

b

bb

x

xx

aaa

aaaaaa

MM

K

MOMM

K

L

2

1

2

1

21

22221

11211

niaam

bmb

bmbb

x

xx

amaama

amaamaaaa

ii

nnnnnnnnn

nn

n

,...,2 , ,

0

0

11

11

11

1212

1

2

1

111212

1212122122

11211

==

⎥⎥⎥⎥

⎢⎢⎢⎢

−=

⎥⎥⎥⎥

⎢⎢⎢⎢

⎥⎥⎥⎥

⎢⎢⎢⎢

−−

−−MM

K

MOMM

K

L

πολλαπλασιαστές

Page 12: 02_01

12

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 23

Απαλοιφή Gauss.Είναι φανερό από την παρακάτω εξίσωση:

ότι Εξi Eξi – (αi1 / α11) * Εξ1

Άσκηση: Γιατί δεν χρησιμοποιούμε τον επόμενομετασχηματισμό;

Εξi Eξ1 – (α11 / αi1) * Εξi

niaam

bmb

bmbb

x

xx

amaama

amaamaaaa

ii

nnnnnnnnn

nn

n

,...,2 , ,

0

0

11

11

11

1212

1

2

1

111212

1212122122

11211

==

⎥⎥⎥⎥

⎢⎢⎢⎢

−=

⎥⎥⎥⎥

⎢⎢⎢⎢

⎥⎥⎥⎥

⎢⎢⎢⎢

−−

−−MM

K

MOMM

K

L

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 24

Απαλοιφή Gauss.Tριγωνοποίηση: A U - 2ο βήμα

(απαλοιφή του δεύτερου αγνώστου)

⎥⎥⎥⎥

⎢⎢⎢⎢

′=

⎥⎥⎥⎥

⎢⎢⎢⎢

⎥⎥⎥⎥

⎢⎢⎢⎢

′′

′′

nnnnn

n

n

b

bb

x

xx

aa

aaaaa

MM

K

MOMM

K

L

2

1

2

1

2

222

11211

0

0

niaam

bmb

bmbbb

x

xxx

amaama

amaamaaaaaaaa

ii

nnnnnnnnn

nn

n

n

,...,3 , ,

00

000

22

22

22

2323

2

1

3

2

1

222323

2323233233

22322

1131211

=′′

=

⎥⎥⎥⎥⎥

⎢⎢⎢⎢⎢

′−′

′−′′

=

⎥⎥⎥⎥⎥

⎢⎢⎢⎢⎢

⎥⎥⎥⎥⎥⎥

⎢⎢⎢⎢⎢⎢

′−′′−′

′−′′−′′′′

MM

L

MOMMM

L

L

L

πολλαπλασιαστές

Page 13: 02_01

13

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 25

Απαλοιφή Gauss.Tριγωνοποίηση: A U , n βήματα...

1,...,2,1 ,,...,1 ,

1,...,2,1 ,,...,1 , - 1,...,2,1 ,,...,1, ,

, ,

00

0

)()1(

1

)(

)2(2

)1(1

)(

)2(2

)2(22

)1(1

)1(12

)1(11

)(

−=+==

−=+==−=+==

⎥⎥⎥⎥⎥

⎢⎢⎢⎢⎢

=

⎥⎥⎥⎥⎥

⎢⎢⎢⎢⎢

=

+

+

nknki aam

nknki bmbbnknkj ia - m aa

b

bb

b

a

aaaaa

A

(k)kk

(k)ik

ik

(k)kik

ki

ki

(k)kjik

(k)ij

)(kij

nn

(n)

nnn

n

n

n

M

K

MOMM

K

L

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 26

Aπαλοιφή Gauss.Oπισθοδρόμηση: Eπίλυση (ισοδύναμου) άνω τριγωνικούσυστήματος (βλ. διαφάνεια 13).Πολυπλοκότητα Αλγόριθμου - Πλήθος πράξεων:

Τριγωνοποίηση:

Oπισθοδρόμηση:

Σύνολο:

2)1()1(...21 +

=+−+++nnnn

)(

36532

2)1(12...)2()1(

3)()(

2323

3

1

2

nOnnnnnnnn

nnininn

i +=−+

⎪⎪⎭

⎪⎪⎬

−=+++−+−

−=−+−∑

=

)(33

3 2323

nOnnnn+=

−+

υπολογισμόςστοιχείων υποπινάκων

υπολογισμόςπολλαπλασιαστών

υπολογισμόςδεξιού μέρους

Page 14: 02_01

14

[email protected] ΗΥ200, ΤΜΗΥΤΔ, Πανεπιστήμιο Θεσσαλίας 56

Ερωτήσεις

http://eclass.uth.gr

Η. Χούστης, Ε3-10, [email protected]Π. Τσομπανοπούλου, Ε3-12, [email protected]