11

11אלגברה ליניארית אלגברה ליניארית

22

::היום בשיעורהיום בשיעור

דירוג מטריצהדירוג מטריצה

LULUפירוק פירוק

cholskycholskyפירוק פירוק

מספר מצב של מטריצהמספר מצב של מטריצה

33

הקדמההקדמה

xx מערכת משואות אזי הפתרון של מערכת משואות אזי הפתרון של Ax=bAx=bתהי תהי מוגדר להיות מוגדר להיות

מטריצה הופכית. מטריצה הופכית.AAכאשר קיימת לכאשר קיימת ל מטריצה שיש לה הופכית נקראת רגולרית –מטריצה שיש לה הופכית נקראת רגולרית –

יחידה וריבועית מאותו סדר. יחידה וריבועית מאותו סדר. AAההופכית של ההופכית של nn מטריצה אלמנטרית היא מטריצה יחידה מסדר מטריצה אלמנטרית היא מטריצה יחידה מסדר

אשר יושם בה פעולה אלמנטרית.אשר יושם בה פעולה אלמנטרית. מטריצה הופכית היא מכפלה של מטריצות מטריצה הופכית היא מכפלה של מטריצות

אלמנטריות שמיצגות את הפעולות האלמנטריות אלמנטריות שמיצגות את הפעולות האלמנטריות למטריצת יחידה למטריצת יחידהAAשיהפכו את שיהפכו את

1 1 1A Ax A b x A b

44

, , Ax=bAx=bכדי לפתור מערכת משוואות ליניאריותכדי לפתור מערכת משוואות ליניאריותמשתמשים באלגוריתם הבסיסי של משתמשים באלגוריתם הבסיסי של

..אלימינציות גאוסאלימינציות גאוס

לפני שנעבור על האלגוריתם נדגיש כלל על לפני שנעבור על האלגוריתם נדגיש כלל על -ית -ית iiהכופל שיאפס את האיבר בשורה ההכופל שיאפס את האיבר בשורה ה

–ית–ית jjובעמודה הובעמודה ה

כאשר האיבר על האלכסון קרוי איבר הציר. כאשר האיבר על האלכסון קרוי איבר הציר. ובסוף התהליך מבצעים חילוץ לאחור ובסוף התהליך מבצעים חילוץ לאחור

ij

jj

a

a

55

::לדוגמאלדוגמא

2 2 1 3 3 1

3 3 2

i i 4i I I 2I

I I 2I /3

1 2 3 x1 7 1 2 3 x1 7

4 5 3 x2 16 0 3 9 x2 12

2 6 4 x3 14 2 6 4 x3 14

1 2 3 x1 7

0 3 9 x2 12

0 2 2 x3 0

1 2 3 x1 7

0 3 9 x2 12

0 0 8 x3 8

thats

x3 1

x2 1

x1 2

66

בעיות בשיטת הדירוגבעיות בשיטת הדירוג

נתונה המערכת הבאה נתונה המערכת הבאה

x=10 y=20x=10 y=20פיתרון המערכת הוא פיתרון המערכת הוא

נניח שיש לנו מחשב אם שלוש ספרות דיוק במצב כזה התוצאה היא נניח שיש לנו מחשב אם שלוש ספרות דיוק במצב כזה התוצאה היא

xx ב ב40%40%!!! ,נוצרה שגיאה של !!! ,נוצרה שגיאה של y=20.1 y=20.1 x=6x=6עכשיו הפיתרון הוא עכשיו הפיתרון הוא

. . .

.

001 16 321

1 06 22

. . . . . .

. .

1 0 001 16 1 0 321 001 16 321

100 1 1 06 100 1 22 0 1594 3188

. . .001 16 321

0 159 3190

77

::המשךהמשך

ננסה שיטה שניה בה נחליף את השורה ננסה שיטה שניה בה נחליף את השורה הראשונה עם השניה ונקבל )לאחר הכנסת הראשונה עם השניה ונקבל )לאחר הכנסת

העיגול( העיגול(

תמיד נשאף שאיבר הציר יהיה הגדול ביותר תמיד נשאף שאיבר הציר יהיה הגדול ביותר בעמודה כך יתר השורות יוכפלו במקדם קטן בעמודה כך יתר השורות יוכפלו במקדם קטן מאחד והתוצאה לא יכולה לברוח יותר מידי.מאחד והתוצאה לא יכולה לברוח יותר מידי.

. .

. . . . . . .

.

.

1 0 1 06 1 0 22 1 06 22

001 1 001 16 001 1 321 0 159 319

y 201

x 995

88

החלפת שורות ועמודותהחלפת שורות ועמודות שחלוף בין שורות זהה להכפלת מטריצה אלמנטרית משמאל , שחלוף בין העמודות זהה שחלוף בין שורות זהה להכפלת מטריצה אלמנטרית משמאל , שחלוף בין העמודות זהה

להכפלת מטריצה אלמנטרית מימין , בכל פעולה על שורות יש להכפיל משמאל להכפלת מטריצה אלמנטרית מימין , בכל פעולה על שורות יש להכפיל משמאל במטריצה אלמנטרית תואמת את וקטור הפתרונות ,בשחלוף עמודות מכפילים את במטריצה אלמנטרית תואמת את וקטור הפתרונות ,בשחלוף עמודות מכפילים את

המקדמים המקדמים וקטורוקטור

I3 i1 J2 J1

i3 i3 i1/6

3 1 4 x1 5 5 6 1 x1 17 6 5 1 x2 174 0 5 x2 4 4 0 5 x2 4 0 4 5 x1 45 6 1 x3 17 3 1 4 x3 5 1 3 4 x3 5

6 5 10 4 5

13 230 6 6

J3 J2 i3 i3 i2*23/30x2 17 6 1 5 x2 17x1 4 0 5 4 x3 4x3 x113 23 13 1306 6 6 6

6 1 5 x2 170 5 4 x3 4

x127 270 0 30 30

thatsx1 1x3 0x2 2

99

PLU decompositionPLU decomposition

LU=PALU=PA ניתן לפרק ל ניתן לפרק ל Ax=bAx=bאת המערכת את המערכת

PPמטריצת פרמוטציות מטריצת פרמוטציות

LL מטריצה משולשית ריבועית תחתונה שבאלכסון מטריצה משולשית ריבועית תחתונה שבאלכסון שלה יש אחדות שלה יש אחדות

UUמטריצה משולשית עליונה מטריצה משולשית עליונה L U x P b

L y P b

U x y

1010

PLU decompositionPLU decomposition

, j iL s

*בכל שלב יש לדאוג שאיבר הציר הוא האיבר הגדול ביותר בעמודה המדורגת

*כל שחלוף שורה במטריצה המקורית נכנס למטריצת תמורה יש לעדכן את משחלפים רק את האיברים מתחת L כאשר ב U ,L ,Pשלושת המטריצות

לאכסון במקום הספציפי שאופס על L*כל פעולה אלמנטרית מעדכנת את מטריצה

ידי הנגדי של פעולת האיפוס-נשמע מסובך בפועל זה פשוט

מציביםLאם המאפס הוא אזי במקום המתאפס ב

ij

jj

aS

a

1111

PLU decompositionPLU decomposition

1 2

6 1 3.25 10.25

12 2 1 0

2.4 10.4 1.8 2

0 1 14.8 1.2

1 0 0 0 0 0 0 0 6 1 3.25 10.25

0 1 0 0 0 0 0 0 12 2 1 0

0 0 1 0 0 0 0 0 2.4 10.4 1.8 2

0 0 0 1 0 0 0 0 0 1 14.8 1.2

0 1 0 0 0 0 0

1 0 0 0

0 0 1 0

0 0 0 1

I I

M

0 12 2 1 0

0 0 0 0 6 1 3.25 10.25

0 0 0 0 2.4 10.4 1.8 2

0 0 0 0 0 1 14.8 1.2

1212

PLU decompositionPLU decomposition

2 2

3 3 1

3 2

0.50.2

0 1 0 0 0 0 0 0 12 2 1 01 0 0 0 0.5 0 0 0 0 0 3.75 10.250 0 1 0 0.2 0 0 0 0 10 2 20 0 0 1 0 0 0 0 0 1 14.8 1.2

0 1 0 0 0 0 0 00 0 1 0 0.2 0 0 01 0 0 0 0.5 0 0 00 0 0 1 0 0 0 0

I I II I I

I I

4 4 20.1

12 2 1 00 10 2 20 0 3.75 10.250 1 14.8 1.2

0 1 0 0 0 0 0 0 12 2 1 00 0 1 0 0.2 0 0 0 0 10 2 21 0 0 0 0.5 0 0 0 0 0 3.75 10.250 0 0 1 0 0.1 0 0 0 0 15 1

I I I

1313

PLU decompositionPLU decomposition

4 3

4 4 30.25

0 1 0 0 0 0 0 0 12 2 1 0

0 0 1 0 0.2 0 0 0 0 10 2 2

0 0 0 1 0 0.1 0 0 0 0 15 1

1 0 0 0 0.5 0 0 0 0 0 3.75 10.25

0 1 0 0 0 0 0 0 12 2 1

0 0 1 0 0.2 0 0 0

0 0 0 1 0 0.1 0 0

1 0 0 0 0.5 0 0.25 0

I I

I I I

0

0 10 2 2

0 0 15 1

0 0 0 10

1414

PLU decompositionPLU decomposition

0 1 0 0 1 0 0 0

0 0 1 0 0.2 1 0 0,

0 0 0 1 0 0.1 1 0

1 0 0 0 0.5 0 0.25 1

12 2 1 0

0 10 2 2

0 0 15 1

0 0 0 10

P L

U

1515

חילוץ לאחור וחילוץ לפניםחילוץ לאחור וחילוץ לפנים

1 3

2 2 1

11 1

0 4 1 5A 1 1 0 b 2

2 0 1 3

k 1 I I0 0 1 2 0 1

P 0 1 0 A 1 1 01 0 0 0 4 1

I I 0.5I2 0 1 1 0 0 0 0 0

U 0 1 0.5 E 0.5 1 0 L E 0.5 0 00 4 1 0 0 1 0 0 0

check: LU PA1 0 0

0.5 1 00 0 1

2 0 1 2 0 10 1 0.5 1 1 00 4 1 0 4 1

1616

2 3

3 3 2

2 0 1

U 0 4 1

0 0 0.75

k 2I I

0 0 1 2 0 1 0 0 0P 1 0 0 U 0 4 1 L 0 0 0

0 1 0 0 1 0.5 0.5 0 0I I 0.25I

0 0 0L 0 0 0

0.5 0.25 0

1717

המשךהמשך

1

2

3

1

2

3

1 0 0 0 0 1 5 30 1 0 y P b 1 0 0 * 2 5

0.5 0.25 1 0 1 0 3 2y 3y 5y 0.75Ux y2 0 1 30 4 1 x 50 0 0.75 0.75

x 1x 1x 1

%%%%%%%%%%%%%%

%%%%%%%%%%%%%%

1818

cholskycholskyפירוק פירוק

מטריצה סימטרית חיובית אזי היא מטריצה סימטרית חיובית אזי היא AAתהי תהי בצורה זו בצורה זו ניתנת לפירוק לצורה שלניתנת לפירוק לצורה של

מוצאים את "השורש" של המטריצה , מוצאים את "השורש" של המטריצה , למטריצות אלו ישומים רבים בבעיות מינימזציה. למטריצות אלו ישומים רבים בבעיות מינימזציה.

:: סימטרית אם סימטרית אםAAמטריצה מטריצה והיא חיובית אם מתקיים אחד מהתנאים הבאיםוהיא חיובית אם מתקיים אחד מהתנאים הבאים 11 .. גדול מאפס גדול מאפסAA.כל הערכים העצמיים של .כל הערכים העצמיים של 22 גדולים מאפס. גדולים מאפס.AA.כל המינורים הראשים של .כל המינורים הראשים של 33

tA A

tx x Ax 0

tA R R

1919

2 2 2 2 2 2 21 1 2 2 3 2 3 1 2 2 3 1 3

2

1

2,3

2 1 01 2 1

0 1 2

2 1 0 11 2 3 1 2 1 2 2 2 2 2 2 ( ) ( ) 0

0 1 2 3

2 1 0. 1 2 1 ( 2)( 4 2) 0

0 1 2

2

4 22

11 2

A

xx x x x x x x x x x x x x x x x x

x

I A

a

011 12 3 021 22

11 12 1321 22 23 4 031 32 33

a aa a

a a aa a aa a a

2020

דוגמאדוגמא

::cholskycholsky פירוק פירוק AAפרק את פרק את

חיובית ממש חיובית ממשAAראשית נבדוק אם ראשית נבדוק אם

1 4 5

A 4 20 32

5 32 64

11 22 33A 1 0 A 4 0 A 12 0

2121

המשךהמשך

חיובית ממש נבצע את חיובית ממש נבצע את AAלאחר שוידאנו שלאחר שוידאנו שהפירוקהפירוק

2 2 1 3 3 2

3 3 1

I I 4I I I 3II I 5I

t

t

1 4 5 1 4 5 1 4 5

A 4 20 32 0 4 12 0 4 12

5 32 64 0 12 39 0 0 3

1 0 0 1 0 0 1 0 0 1 4 5

L 4 1 0 D 0 2 0 R 4 2 0 R 0 2 6

5 3 1 0 0 3 5 6 3 0 0 3

R R A

2222

ConditioningConditioning של מטריצה של מטריצה

PP מסדר מסדר kapakapaמספר מצב של מטריצה אומספר מצב של מטריצה אומוגדרת להיות: מוגדרת להיות:

נתבונן בדוגמא הבאהנתבונן בדוגמא הבאה

??xxלכמה שווה הוקטור לכמה שווה הוקטור

.. b2b2אם נכניס שגיאה קטנה בפלט למשל באם נכניס שגיאה קטנה בפלט למשל ב יהיה שווה יהיה שווה XX הוקטור הוקטור 111.1111.1נשנה אותו ל נשנה אותו ל

1kapa(A) A p* A p

1 10 11A b

10 101 111

1x

1

0x

1.1

2323

המשךהמשך

גרמה לשגיאה גרמה לשגיאה 10-410-4**9.99.9==0.1/1110.1/111 שגיאה יחסית קטנה בפלט של שגיאה יחסית קטנה בפלט של של של kapakapaזה אומר שהזה אומר שה. . ill-conditionedill-conditioned( מצב כזה נקרא ( מצב כזה נקרא 11גדולה בקלט )גדולה בקלט )

המטריצה היא גבוהההמטריצה היא גבוהה

2424

נורמה של מטריצהנורמה של מטריצה

זה סכום איברי זה סכום איברי AA של מטריצה של מטריצה 11נורמה נורמה העמודה המקסימלי )בערכים מוחלטים(העמודה המקסימלי )בערכים מוחלטים(

של מטריצה היא הערך העצמי של מטריצה היא הערך העצמי 22נורמה נורמה ’’M=A*AM=A*Aהמקסימאלי בערך מוחלט של המקסימאלי בערך מוחלט של

זה סכום איברי השורה זה סכום איברי השורה AAנורמה אינסוף של נורמה אינסוף של המקסימאליהמקסימאלי

2525

::לדוגמאלדוגמא

What are the 1,2 , norm of the following What are the 1,2 , norm of the following matrixmatrix

Norm 1: 4+7+6=17Norm 1: 4+7+6=17

Norm 2: sqrt)max)eig)MM’(((=10.4269Norm 2: sqrt)max)eig)MM’(((=10.4269

Norm : 3+5+7=15 Norm : 3+5+7=15

1 2 4

3 5 7

2 4 6

M

2626

ולכן בדוגמה הקודמתולכן בדוגמה הקודמת

)לא בכל מצב )לא בכל מצב 11אותו דבר יצא לנו בנורמה אותו דבר יצא לנו בנורמה הנורמות שוות...(הנורמות שוות...(

יצאה לנו גבוהה ומכך ניתן לראות יצאה לנו גבוהה ומכך ניתן לראות kapakapaההill-conditionill-conditionשהמערכת היא שהמערכת היא

היה מקבל ערך קטן לא הינו היה מקבל ערך קטן לא הינו אילו אילו . . מקבלים מספר מצב כל כך גדולמקבלים מספר מצב כל כך גדול

1( 111)*( 111) 12321

A A

det(A) ad bc

2727

השפעת הטעותהשפעת הטעות

2828

Example 2Example 2

If and If and

what is the maximum error in x?what is the maximum error in x?

x=[1,1,1]x=[1,1,1]T, |||M|||=12T, |||M|||=12

Cond)M(=22.5Cond)M(=22.5

3 2 1

2 4 7

5 6 2

M1||| ||| 0.003,

(2, 1,1)TM

b

||| ||| 0.003max || || ( )* * || || 22.5* *3 0.016875

||| ||| 12

Mx cond M x

M

2929

ולכן היא 0כפי שניתן לראות המטריצה בעלת דטרמיננטה שווה ל סינגולארית- בעלת מרחב פתרונות ששווה לאין-סוף. אם נשנה את

בשורה השנייה ל 3אחד הרכיבים במטריצה במעט, למשל נהפוך את אז הדטרמיננטה תהיה כמעט לאפס והדטרמיננטה של 3.0001

תהיה גבוהה. kapaהמטריצה ההופכית תהיה גדולה מאוד, ולכן ה

3030

3131

3232

3333

הפיכת מטריצה-קופקטריםהפיכת מטריצה-קופקטרים

ניתן להגדיר ניתן להגדיר n*nn*nא.עבור כל מטריצה מסדר א.עבור כל מטריצה מסדר ( כך עבור ( כך עבור ad-jointad-jointאת מטריצת הקופקטרים )את מטריצת הקופקטרים )

כל רכיב במטריצה המקורית הקופקטור שלו זה כל רכיב במטריצה המקורית הקופקטור שלו זה ערך הדטרמיננטה של כל הרכיבים אשר לא ערך הדטרמיננטה של כל הרכיבים אשר לא נמצאים בשורה ובעמודה של הרכיב הנוכחי.נמצאים בשורה ובעמודה של הרכיב הנוכחי.

עבור כל רכיב יש להשאיר את הסימון השלילי עבור כל רכיב יש להשאיר את הסימון השלילי והחיובי בהתאם. והחיובי בהתאם.

ב.יש לחלק את מטריצת הקו-פקטרים ב.יש לחלק את מטריצת הקו-פקטרים בדטרמיננטה של המטריצה המקוריתבדטרמיננטה של המטריצה המקורית

למטריצה המתקבלת למטריצה המתקבלתTransposeTransposeג.יש לבצע ג.יש לבצע

3434

2*2כאשר המטריצה מסדר

T

1

a bA

c d

A ad bc

d cco factor(A)

b a

d bco factor(A) 1A

c aA A

3535

::דוגמאדוגמא

T

1

7 4A

5 3

A ad bc 1

3 5co factor(A)

4 7

d b 7 4co factor(A) 1A

c a 5 3A A

3636

33**33דוגמא למטריצה מסדר דוגמא למטריצה מסדר

2 3 0

A 1 2 0

8 4 5

det(A) 5

TRANSPOSE

A(1,1) 2*5 0 10

A(1,2) (1*5 0) 5

A(1,3) 1*4 16 12

A(2,1) (3*5 0) 15

A(2,2) 10 0 10

A(2,3) (2*4 3*8) 16

A(3,1) (3*0 2*0) 0

A(3,2) 0

A(3,3) (2*2 3*1) 1

10 5 12 10 15 0

15 10 16 5 10 0

0 0 1

1

12 16 1

10 15 0 10 15 01 1

5 10 0 5 10 0 ADET(A) 5

12 16 1 12 16 1