Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

39
Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati 18.10.2010 Erna Ingibjörg Pálsdóttir

description

Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati. 18.10.2010 Erna Ingibjörg Pálsdóttir. Fjölbreyttar leiðir í námsmati; Að meta það sem við viljum að nemendur læri. M argþætt hlutverk námsmats: - PowerPoint PPT Presentation

Transcript of Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Page 1: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Að meta það sem við viljum að nemendur læri!

Lykilþættir í vönduðu námsmati

18.10.2010 Erna Ingibjörg Pálsdóttir

Page 2: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Fjölbreyttar leiðir í námsmati;Að meta það sem við viljum að nemendur læri

Margþætt hlutverk námsmats: • Í fyrsta lagi að með matinu sé leitast við að auðvelda

nemendum námsferlið og stuðla að bættum árangri þeirra. • Í öðru lagi veiti það kennurum leiðsögn við skipulag kennslu. • Í þriðja lagi veiti það nemendum, foreldrum og öðrum er málið

varðar upplýsingar um árangur kennslu.

Page 3: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Vandað námsmat:

• Hvað á að meta? Eru markmiðin skýr og viðeigandi? • Hvers vegna? Er tilgangur námsmatsins skýr?• Hvernig? Hvaða matsaðferð hentar best? Hvaða

viðmið höfum við til að styðjast við í námsmati. • Hversu mikið? Hvernig eða hvaða frammistöðu er

viðeigandi að meta? • Hversu nákvæmt? Fyrir hvern er matið? Er eitthvað

sem getur farið úrskeiðis? Eru niðurstöðurnar réttar? • Hverjir eiga að meta?• Hvernig birtum við niðurstöður námsmats?

3

Page 4: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

4

Skýr tilgangur

Skýr markmið

Nákvæmni Árangursrík notkun

Þátttaka nemenda

Traust skipulag

Árangursrík miðlun

Rick Stiggins, Judy Arter, Jan og Steven Chappuis, 2006

Lykilþættir í vönduðu námsmati

Page 5: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Lokamat Leiðsagnarmat Summative assessment Formative assessment

• Lokamat gefur til kynna kunnáttu eða árangur nemenda yfir skólaár eða önn, í þeim tilgangi að ákvarða hvort þeir hafi náð viðhlítandi árangri.

• Lokamat hefur þann megintilgang að gefa upplýsingar um árangur náms og kennslu við lok námstíma.

• Leiðsagnarmat miðast við að meta framfarir nemanda í námsefninu í þeim tilgangi að nota niðurstöðurnar til að framkvæma nauðsynlegar breytingar á námi og kennslu.

• Niðurstöður leiðsagnarmats eru sjaldnast notaðar við einkunnagjöf þar sem tilgangur leiðsagnarmats er að hjálpa nemendum til að bæta sig í námi.

5Assessment of learning Assessment for learning Assessment as learning

Page 6: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Markmið – námsmat - kennsla

• Námsmat hefur áhrif á kennslu og þar með áhrif á það hvort markmið nást.

• Skilar kennslan því sem að var stefnt. • Afrakstur námsins.

• Leiðsagnarmat, mat sem er samofið námsferlinu og miðar að því að styðja nemendur og leiðbeina þeim um hvernig þeir geta náð árangri.• Safna gögnum um námsframvindu.

• Það er í raun sama:• Hversu oft við metum.• Hversu fjölbreyttar aðferðir við notum. (Rúnar Sigþórsson)

6

Page 7: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Námsmat í þágu.... Drög að nýrri aðalnámskrá

• Allir nemendur taki þátt í og eigi möguleika á að hafa áhrif á eigið námsmat og þróun, útfærslu og mat á eigin námsmarkmiðum.

• Foreldrar taki þátt í og hafi möguleika á að hafa áhrif á námsmatsferli sem barnið þeirra gengur í gegnum og leggi sitt af mörkum vegna námsmats eigin barna.

• Kennarar leggi mat á nemendur í því skyni að auka námsmöguleika þeirra með því að setja bæði þeim og sjálfum sér markmið með skilvirkum kennsluaðferðum sem henta hverjum og einum og veita síðan endurgjöf á nám þeirra og eigið framlag.

• Skólar setji sér námsmatsáætlun þar sem lýst er tilgangi og notkun, hlutverkum og ábyrgð í tengslum við námsmat, og skýr grein er gerð fyrir því hvernig námsmati skal beitt til að veita nemendum viðeigandi stuðning.

Page 8: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Leiðsagnarmat – sjö leiðir

Hvert stefni ég? 1. Markmið skýr og skiljanleg. 2. Dæmi um góð og slök verkefni.Hvar er ég núna?3. Regluleg lýsandi endurgjöf.4. Markmiðssetning og mat á eigin námi. Hvernig næ ég markmiðunum?5. Áhersla á einn þátt sem hluta af samsettri heild. 6. Endurskoðun. 7. Ígrundun. 8

Page 9: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Leiðsagnarmat

Megintilgangur: er að gera nemendur meðvitaða um það sem þeir læra, hvernig þeir læra og til hvers er ætlast af þeim.

• Endurgjöf frá kennurum sem nemendur geta nýtt sér til að verða meðvitaðir um eigin námsframvindu.

• Sjálfsmat:• Nemendur taki þátt í skipulagi og framkvæmd. • Nemendur setji sér markmið. • Nemendur miðli upplýsingum um eigið nám.

• Matsviðmið – árangursviðmið

9

Page 10: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Endurgjöf

• Í endurgjöf á að felast hvort tveggja mat á unnu verki og leiðsögn sem hjálpar nemendum að átta sig sem best á því hvert sé næsta skref þeirra í náminu.

• Endurgjöf á að byggja á styrkleikum nemenda.

• Gefið endurgjöf eins oft og hægt er.• Hafið í huga hvað þið ætlið að meta.• Tengið endurgjöfina við markmiðin.• Einbeitið ykkur að verkefninu og vinnuferlinu.• Gefið nemendum verkfæri til að þeir geti metið vinnu sína

sjálfir.10

Page 11: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Hvar birtist endurgjöf?

• Spurningar í tímum – hvernig orðaðar• Hvernig metum við svör nemenda

• Verkefnið getur falið í sér endurgjöf

• Munnlega endurgjöf í daglegu starfi

• Skrifleg endurgjöf við lok verkefnis og í lokamati11

Page 12: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Sjálfsmat

• Sjálfsmat og jafningjamat nemenda miðar að því að þjálfa nemendur í meta eigin vinnu og vinnu. samnemenda með það fyrir augum að bæta afrakstur námsins.

• Skýr viðmið um til hvers er ætlast og nemendur að taki virkan þátt í að setja slík viðmið. • Markmið sem nemendum er ljós.• Viðmið um árangur .

12

Page 13: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Hvers vegna sjálfsmat?

• Nemandi:• Sér og veit hvaða kröfur eru gerðar til hans í námi,

skilur betur til hvers er ætlast.• Verður ábyrgur fyrir námi sínu og er virkur

þátttakandi í námi sínu• Verður sjálfstæðari og áhugasamari, fær betra

sjálfstraust og verður jákvæðari.• Gerir sér grein fyrir hvaða markmið eru með

mismunandi verkefnum, hjálpar honum að gera sér grein fyrir námsstöðu sinni og hvað vantar uppá til þess að markmiðunum verði náð.

• Gerir sér grein fyrir næstu skrefum í náminu - ég get í stað ég get ekki

Page 14: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Skýr markmið og viðmið

• Það þarf að þjálfa nemendur í að meta og íhuga. • Að loknu verki íhugi nemandinn veikar og sterkar

hliðar þess sem hann gerði og veltir þeim fyrir sér í námsferlinu.

• Nemandi geri áætlanir – markmið um að gera betur – að bæta árangur. Að nemandi setji sér markmið um nauðsynlegar úrbætur

• Nemandi meti sig með hliðsjón af: • Markmiðum - árangursviðmiðum.• Mats- eða sóknarkvörðum.

Page 15: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Skýr viðmið um árangur (success criteria)

• Námsmarkmið:• Hvað eigum við að læra? Við erum að læra

að.... • Tilgreina þá þekkingu, leikni eða færni sem þarf til að

ná markmiðum námsins. (learning intention, objectives)• Sett fram þannig að nemendur skilji þau.• Nemendur þurfa að geta borið frammistöðu sína við þau og fundið út hvað þarf til að ná árangri.

• Viðfangsefni:• Hvernig eigum við að læra?

• Viðmið um ferlið (process). Munið að ......• Hvernig vitum hvort við höfum náð árangri?

• Viðmið um lokaárangur (product). Ég get .....

Page 16: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Skýr viðmið um árangur  Markmið:

 Viðfangsefni:

 Viðmið um árangur:

 Nemandinn:- Geti samið sögur. - Geti skráð

frásagnir um atburði úr eigin lífi.

- Geti lesið sér til gagns.

 

 Þjálfun í lestri og ritun texta.

 Nemandinn muni að: - Skrifa inngang þar

sem fram kemur um hvað sagan fjallar.

- Segja frá aðalpersónum.

- Gera grein fyrir hvar og hvenær sagan gerist.

- Skrifa samfelldan texta – atburðarás.

- Skoða vel orðalag og stafsetningu.

 

Page 17: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Árangursviðmið  

Ég get raðað orðum í stafrófsröð?Já Ekki alveg viss Nei  Ég veit hvað samheiti og andheiti eru?Já Ekki alveg viss Nei  Ég get fundið nafnorð í texta?Já Ekki alveg viss Nei  Ég veit hvað sérnöfn og samnöfn eru?Já Ekki alveg viss Nei  Ég veit hvað á að gera þegar ég á að fallbeygja orð?Já Ekki alveg viss Nei

Page 18: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Nemendur Kennarar • Ábyrgð á eigin námi .• Vita hvað þeir eiga að læra.• Gera sér grein fyrir til hvers

er ætlast.• Gera sér grein fyrir hvenær

árangri er náð.• Stuðlar að sjálftstrausti og

sjálfstæði í námi. • Eykur skilning og skýrari

endurgjöf .

• Er ekki ný leið – einungis kerfisbundnari nálgun.

• Skilvirkari kennsla.• Námsframvinda.• Skýrar væntingar.• Grunnur að endurgjöf. • Samræður.

• Ókostir:• Ekki ofnota árangursviðmið. • Sumir nemendur verða

háðir þeim.• Þarf ekki að nota alltaf eða í

öllum námsgreinum.

Page 19: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Frá endi til upphafs – námsáætlun

• Kennari sem námsmatsmaður !

• Kennari sem verkefnasmiður !

Wiggins/McTighe. Understanding by Design (1998)Tomlinsson/McTighe. Integrating Differentiated Instruction + Understanding by Design (2006)

19

Page 20: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Frá endi til upphafs – námsáætlun

• 1. þrep. Staðfesting Hvað ætlumst við til að nemendur læri? Markmið.

• 2. þrep. Ákvörðun Hvaða námsmatsgögn? Matsaðferðir – viðmið.

• 3. þrep. Skipulag Hvernig er skipulagið? Námsáætlun og námsgögn.

20

Page 21: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

1. Þrep. Staðfesting Hvað ætlumst við til að nemendur læri?

• Hvað eiga nemendur að vita, skilja og gera? • Hvað eiga nemendur að tileinka sér.• Hvaða inntak úr námsefninu er mikilvægt?• Til hvers er ætlast af nemendum?• Hvaða spurningu á að leggja til grundvallar

framkvæmdinni?• Hvaða markmið eru í námskránni?

21

Page 22: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

2. þrep. Ákvörðun Hvaða námsmatsgögn? Matsaðferðir.

• Hvernig vitum við hvort nemendur hafa náð því sem til var ætlast?

• Hvað/hversu mikið þurfa kennarar að safna af matsgögnum til að geta séð hvort nemendur hafa náð því sem til var ætlast?

• Hvaða markmið á að leggja megináherslu á að meta: þekkingu, verkfærni o.s.frv.

22

Page 23: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

3. þrep. SkipulagHvernig er skipulagið? Námsáætlun og námsgögn.

• Hvaða þekkingu og færni eiga nemendur að tileinka sér?

• Hver eru viðfangsefnin? Hvaða viðfangsefni geta hjálpað nemendum að ná markmiðunum?

• Hvað eiga nemendur að gera (athafnir) og í hvaða samhengi?

• Hvað getur hjálpað nemendum að ná markmiðunum?

23

Page 24: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Skýr markmið

• Mismunandi gerðir námsmarkmiða. • Setja námsmarkmið fyrir mikilvægustu námsþætti. Það

sem nemendur eiga að vita og geta gert. • Hver eru námsmarkmiðin?• Eru þau skýr?• Eru þau gagnleg?

• Nemendavæn markmið.

24

Page 25: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Markmiðsflokkar

• Þekking: • mat, nýmyndun, greining, beiting, skilningur, minni.

• Leikni: • skapandi tjáning, aðlögun, færni, svörun, viðleitni, skynjun.

• Viðhorf og tilfinningar: • heildstætt gildismat, ábyrgð, alúð, svörun, athygli/eftirtekt.

Bloom • Þekking• Rökhugsun• Færni• Afrakstur• Hátterni

Stiggins

25

Page 26: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Nemendavæn markmið

• Ég er að læra að hlusta þegar lesið er úr bókum. • Ég er að reyna að lesa að eigin frumkvæði fyrir sjálfan

mig• Ég er að læra að sögur hafa upphaf, miðju og endir. • Ég er að æfa mig í að segja frá því sem ég hef lesið. • Ég er að reyna að leiðrétta mig þegar ég geri mistök. • Ég er að reyna að venja mig á að lesa í frístundum.

26

Page 27: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Traust skipulag

• Mismunandi matsaðferðir • Velja matsaðferð – námsmarkmið sem verið er

að meta. • Safna viðeigandi gögnum og hafa matsspurningar

fjölbreytilegar. • Námsmatið sé í samræmi við tilgang þess.• Forðast hlutdrægni.

27

Page 28: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Skipulag viðfangsefna

• Hvaða námsmarkmið ætla ég að meta?• Hvers er krafist af nemendum?• Hvaða þekkingu eða upplýsingar eiga nemendur að hafa?• Hvað eiga nemendur að framkvæma (frammistaða) eða

búa til (afrakstur)?• Við hvaða aðstæður • Hversu langan tíma hafa nemendur?• Hversu mörg viðfangsefni/verkefni þarf ég að hafa til

mats? Hvers konar verkefni henta best?• Hvaða viðmið ætla ég að nota til að meta frammistöðu

eða afrakstur/viðfangsefni nemenda?

28

Page 29: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Mats- eða sóknarkvarðar (rubric)

• Til að nemendur átti sig betur á hver viðmið námsins eru er gott að búa til stigskiptan skala eða matskvarða þar sem viðmið er greint niður í þá þætti sem nemandinn þarf til að ná tökum á því markmiði sem hann stefnir að.

• Þar eru settar fram mikilvægustu atriðin sem segja til um hvernig afurð eða frammistaða verði metin og þar eru skilgreiningar fyrir hvert atriði fyrir sig.

29

Page 30: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Kennarar Nemendur • Skipuleggja kennsluna og

meta hvort hún var nægjanlega góð.

• Skilgreina markmiðin og tengja þau við mat.

• Gera nemendum grein fyrir til hvers er ætlast.

• Gefa nemendum lýsandi endurgjöf.

• Hafa ákveðin viðmið í einkunnagjöf.

• Ræða við nemendur og foreldra í nemendaviðtali.

• Skilja til hvers er ætlast af þeim í viðfangsefninu.

• Sjá hver viðmiðin eru. • Stefna að ákveðnum markmiðum. • Bæta vinnuna. • Koma auga á tilgang náms.• Skilja hvað er góð frammistaða

eða hvernig vel unnið verkefni lítur út.

• Skilja hvað þeir gera vel og hvað þeir þurfa að gera öðruvísi næst.

• Ræða við kennara og foreldra í nemendaviðtali.

• Öðlast sjálfsöryggi og sjálfsálit.

Page 31: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Matsþættir – viðmið Námsferlið– hópverkefni (process)

• Þátttaka

• Ábyrgð

• Samskipti

• Hlutverk

Allir:• Taka virkan þátt í

verkefninu• Deila ábyrgð á

verkefninu og hugmyndum.

• Hlusta á hvert annað. Taka tillit til annarra. Virða skoðanir annarra.

• Skipta með sér skýrum hlutverkum og skila því vel.

31

Page 32: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Matsþættir – viðmið Afrakstur hópverkefnis (product)

• Skipulag

• Inntak • Vinnubrögð/ upplýsingaöflun

• Kynning/ aðferðir

• Vel skipulagt og áætlun hópsins nákvæm, lýsir framkvæmdinni vel.

• Er í samræmi við fyrirmæli • Framkvæma verkefnið rétt.

Safna viðeigandi, fjölbreyttum upplýsingum og koma með eigin hugmyndir.

• Samskipti við áheyrendur góð. Framburður skýr og málfar gott. Koma vel fyrir.

32

Page 33: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Fjölbreytt val

• Mikilvægt að þekkja og nota fjölbreyttar matsaðferðir.

• Mikilvægt er að kennarar hugi að tilgangi námsmatsins og hvernig þeir ætla að nota niðurstöður þess áður en þeir velja matsaðferð.

• Mikilvægt er að hafa í huga ákveðin viðmið. • Við þurfum að skipuleggja matsaðferð eða

aðferðir um leið og við skipuleggjum verkefnin• Matsaðferð verður ætíð að vera valin í samræmi

við kennsluaðferð og viðfangsefni.

Page 34: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Árangursrík miðlun• Miðla upplýsingum – til hverra er þeim miðlað? • Hvernig upplýsingum er komið á framfæri • Túlka og nota niðurstöður samræmdra prófa. • Miðla gagnlegum upplýsingum til nemenda og

annarra (foreldra, stjórnenda, fræðsluyfirvalda).

Page 35: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Miðlun upplýsinga –matsniðurstöður

• Vitnisburður (lokamat). • Einkunnir (tölur – bókstafir). • Umsagnir (skriflegar).

• Námsmatsblöð. • Námsmöppur.• Nemendaviðtöl:

• Viðtal kennara við nemanda (munnleg/skrifleg endurgjöf). • Viðtal sem nemandi stýrir (námsmöppur).• Viðtal kennara við foreldra og nemanda (í lok námsáfanga).

• Samræmd könnunarpróf.

Page 36: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Einkunnir

• Undirstöðuatriði í einkunnagjöf er:• Sanngirni. • Áhugahvöt. • Hlutlægt og faglegt mat.

Page 37: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Einkunnir Hvað ber að varast og tillögur til úrbóta (O´Connor)

• Ýmsir þættir teknir með.• Tekið stig af ef verkefni er skilað of

seint.• Gefið stig fyrir aukavinnu.• Svindl.• Mætingar. • Hópverkefni.• Mismunandi matsþættir.• Óviðeigandi gögn/viðmið.• Samanburður• Ekki nægjalega góð gögn• Meðaltal.• Núlleinkunn • Niðurstöður úr leiðsagnarmati • Mat úr námsferlinu• Nemendur ekki með í ferlinu.

• Aðgreina námsárangur.• Leiðrétta mistök.

• Verkefni sem sýna námsárangur.• Leiðrétta mistök – endurmat.• Aðgreina frá öðrum þáttum.• Árangur og færni hvers nemanda.• Námsþættir/viðmið. • Væntingar/viðmið um árangur skýr. • Samanburður við ákveðin viðmið. • Vönduð matsgögn. • Mismunandi mælingar á miðsækni. • Skráð ólokið. • Niðustöður lokamats. • Nýleg eða nýjustu gögnin. • Nemendur hafa tiltekið hlutverk.

Page 38: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Matsgögn kennara í lokamati

• Lokapróf – lokaverkefni• Hvað vita og geta nemendur í lok námsáfanga?

• Ferlið • Hvernig nemanda gekk í námsefninu?

• Framfarir og þroski • Náði nemandi einhverjum árangri á önninni?

• Árangur, ferli og framfarir: þættir sem eiga að vera aðgreindir á vitnisburðarblaði

Guskey og Bailey, 2001

Page 39: Að meta það sem við viljum að nemendur læri! Lykilþættir í vönduðu námsmati

Umsagnir – lokamat

Árangur nemandans: - Getur endursagt úr lesnu efni og sett mál sitt skipulega fram. - Getur fundið meginatriði í sögu og les sér til skilnings.-  

Umbætur – hvað nemandinn getur gert til að bæta sig í náminu:- Þarf að hafa betra skipulag á verkefnum og biðja um aðstoð þegar ... lendir í vanda. - Þarf að halda sig betur að verki og fylgjast betur með í kennslustundum.

Hvað skólinn/kennarinn getur gert til að aðstoða nemandann: - ... ætlar að aðstoða ... við að skila verkefnum á réttum tíma með því að skoða daglega

dagbókina. - ... ætlar að hvetja ... til að biðja um aðstoð þegar ... á í vandræðum með námið. -  

Hvað foreldri/rar geta gert til að aðstoða barn sitt:- Gott væri að hvetja ... til að lesa upphátt fyrir fjölskyldumeðlim. - Fáðu ... til að sýna þér/ykkur dagbókina á hverju kvöldi. - Ræðið við ... um það sem ... er að lesa. Ef einhver orð eru erfið ... reynið að útskýra þau

fyrir ... -