Post on 22-Jun-2015
description
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Bron: http://sylviamoessinger.wordpress.com/2012/06/18/learning-analytics-wordle/
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Sessie titel
Studiesucces voorspellen met Blackboard Learn
Zaal: Diamond I
Tijd: 15:30 – 16:15 uur
Spreker:
Bob Schoonbeek, Hanzehogeschool Groningen
E-mail: b.schoonbeek@pl.hanze.nl
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Hanzehogeschool Groningen (2013): 26.233; 2.947; € 2,3 x108
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Bob Schoonbeek: functioneel beheerder digitale leeromgeving: LMS en digitaal toetsen.
(& docent &
onderwijskundig
adviseur)
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Doel innovatieproject
Onderzoeken of het studiegedrag in het LMS van de HG (Blackboard Learn)
in de eerste vier weken van de opleiding een voorspellende waarde heeft voor
het studiesucces in het eerste propedeutische jaar.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Hypothese
80% van de studenten die ≤ 50% van het gemiddelde aantal klikken in een
Blackboard course als studiegedrag vertoont, valt uit in de propedeutische fase
van de opleiding.
Uitval: gestopt bij de opleiding waar de student gestart is. Mogelijk studeert student nog bij de HG of
elders in het HO, dat is niet meegenomen.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Aanleiding
• Pas laat (in de 2e periode) indicatie over studiegedrag op basis van
studiesucces.
• (Te) laat mogelijkheden om te sturen op studiegedrag: lijkt meest
doelmatig in eerste periode, met oog op BSA grens = 48 ECTS.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Beoogd resultaat
Betrouwbare werkwijze om na vier weken op eenvoudige en
eenduidige wijze een doelgroep te isoleren, die een groot aandeel van de
uitval in de propedeutische fase lijkt te vormen.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Gebruik Blackboard Learn
Al het onderwijs van de HG wordt door Blackboard Learn
ondersteund:
• 28.109 unieke gebruikers (september 2014);
• 5.923.278 page views/maand ( 12.000/uur)
• 197.798 actieve uren totaal = 20,5 mensjaren;
• 12 minuten per gebruiker/dag ofwel 7 uren per maand; 0,5 page views/minuut per
gebruiker.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Werkwijze (I)
• 6 courses geselecteerd op basis van criteria m.b.t. mate van interactie en omvang
(blokcourses van 15 ECTS);
• 3 sectoren (economie, techniek, gezondheid);
• In totaal 1.385 studenten gevolgd (betrouwbaarheid);
• 285 standaard metingen in BbL gedaan
(6 zouden volstaan; onderzoekende houding…).
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Werkwijze (II)
Studiegedrag:
Blackboard Learn, standaard reports, beheer LMS bij HG & na juni Blackboard
managed hosting;
(data 180 dagen bewaard; >100.000.000 records)
Studiesucces:
ProgRESS & na maart Osiris;
Analyses:
SPSS, MS Excel & MS Access.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Vindplaats
Course Reports
(standaard)
Report no. 1:
Hits per menu-item.
Report no. 2:
Sessie tijd per gebruiker, gemiddeld & totaal.
Report no. 4:
Hits per gebruikte BbL tool.
1
2
4
Report 4 is voornamelijk gebruikt voor het
project.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Bevindingen (I): gebruik BbL
Content
itemAnnouncements
Discussion Board
Bevindingen
(IIa):
gebruik BbL
Uren van de dag
Dagen van de dag
Bevindingen
(IIb):
gebruik BbL
Dit was een nacht in de
tentamenweek periode 1
….
Procrastinatie
Bevindingen (III):
gebruik BbL
1 course & 1 week
7.497 uren;
13,02 uren / user
Let op: BbL geeft sessietijd
weer!
(Report 2)
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Voorbeeld SPSS analyse aantallen klikken
(horizontaal) uitgezet tegen het aantal
users (verticaal) met bepaling gemiddelde
(= mean) en spreiding (Std Dev).
?
24 std tussen 0-33x
geklikt
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Grenzen en groepen
Op basis van gemiddeld aantal klikken over de meetperiode zijn twee grenzen gedefinieerd:
• Grens A: 0-50% van gemiddelde;
• Grens B: 51-75% van gemiddelde.
Prognose (opgesteld voor studiesucces periode 1)
80% van de studenten tot grens A zal op 1 oktober 2014 uitgeschreven zijn voor de opleiding.
50% van de studenten tussen grens A en grens B zal op 1 oktober 2014 uitgeschreven zijn voor
de opleiding.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Bepaling grenzen en
groepen users.
Grens A: 499 studenten = 36%
Grens B: 132 studenten = 10%
Rest C: 754 studenten = 54%
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Uitkomsten studiesucces
Alle 4 perioden gecategoriseerd voor de drie doelgroepen A, B en C:
I. Uitgeschreven;
II. 0 - 33,3% van de ECTS;
III. 33,4 – 66,6% van de ECTS;
IV. 66,7 – 100% van de ECTS;
V. > 100% van de ECTS (VR, keuzeruimte).
ECTS / periode:
1: 15 ECTS
2: 30 ECTS
3: 45 ECTS
4: 60 ECTS
BSA: 48 ECTS
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Uit
kom
sten
(per
iod
e 1)
… waarvan 59% uit groep A
27% = uitval…Periode 1
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Uit
kom
sten
(per
iod
e 2)
Periode 2
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Uit
kom
sten
(per
iod
e 3)
Periode 3
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Uit
kom
sten
(per
iod
e 4)
Periode 4
… waarvan 77% uit groep A
40% = uitval…
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
CODE PROGNOSE Per. 1 Per. 2 Per. 3 Per. 4A 80% 59% 74% 77% 77%B 50% 14% 20% 30% 31%C 9% 12% 16% 17%
Uitval: prognose vs gerealiseerde lastUitkomsten
Conclusie: de hypothese groep A komt (vrijwel) uit; groep B daarentegen niet.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Foutendiscussie
• Courses (= leeg) gestart, studenten self enroll;
• Medewerkers zijn er handmatig uit gehaald;
• Gewisseld van studieresultaten programma;
• Blackboard Learn naar cloud gemigreerd;
• Werkinstructie analyse gemaakt;
• Herkansers & foutieve aanmelding niet bekend;
• Geen interventies gepleegd.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Wat kun je met deze kennis (course niveau)?
• Doelgroep met hoge kans op uitval isoleren, interventies op groepsniveau
(privacy!);
• Onderwijskundige veranderingen monitoren / kwantificeren (b.v. onderwijs
blenden);
• Feedback geven op gebruik coursecontent aan verantwoordelijke docent(en) /
MT’s;
• Gebruik door studenten van de leeromgeving demonstreren aan docenten.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Aanbevelingen (eindrapport SURF)
I. Interventies groep A op basis van het gevonden verband tussen studiegedrag en studiesucces;
II. Het project toont aan dat met learning analytics tal van aspecten geanalyseerd kunnen worden
die zowel met de gebruikers van het onderwijs als met de ontwerpers van het onderwijs te
maken hebben.
LA kan een belangrijke rol vervullen in het optimaliseren van inzetten van ICT in onderwijs &
onderzoek.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
De analyse kan zich richten op zaken als:
• Ondersteunt de course de onderwijsvisie van de instelling;
• Haalt de docent / opleiding uit het onderwijs / course wat wenselijk en mogelijk is (deskundigheid professional);
• Spreekt de course de verschillende leerstijlen optimaal aan;
• Ondersteunt de course afstandsonderwijs / deeltijdonderwijs;
• Sluit de opzet van het onderwijs optimaal aan bij verschillende doelgroepen (jonge voltijdstudenten,
internationale studenten, oudere deeltijdstudenten en werkende professionals);
• Wordt Blackboard Learn optimaal ingezet om de werkdruk van docenten te verlagen.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Wat heeft dit project u opgeleverd?
• Een interessante sessie (hoop ik ☺).
• Uitgewerkte werkinstructie hoe je zo’n meting zelf kunt doen in de eigen Blackboard Learn
omgeving;
• Voorbereide Excel spreadsheet om de gegevens te verwerken tot informatie:
http://icto.hanze.nl/SURF/LearningAnalytics.zip
• Inspiratie om zelf met de reports uit BbL aan de slag te gaan, om een bijdrage te leveren om de
kwaliteit van het onderwijs te verbeteren.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
SURF Special Interest Group (SIG) Learning Analytics
Wat doet de SIG Learning Analytics?
• Kennis delen: het uitwisselen van informatie, nieuws en best practices.
• Kennis bundelen: bij elkaar brengen van experts, docenten, studenten en andere belangstellenden.
• Kennis genereren: samen nieuwe inzichten ontwikkelen op bijeenkomsten en in focusgroepen.
• Waar vindt u de SIG Learning Analytics?
• SURFspace: een online platform met nieuws, blogs en literatuur over learning analytics:
www.surfspace.nl/learninganalytics
• Bijeenkomsten: de SIG Learning Analytics organiseert regelmatig bijeenkomsten, bijvoorbeeld
bij SURFacademy, het professionaliseringsprogramma van SURF.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
E-mail: b.schoonbeek@pl.hanze.nl
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Wat kun je met LA kennis doen (next level)?
Met Eesysoft Adoption Reports kun je het BbL gebruik van studenten monitoren op
niveau van:
• Instelling;
• Afdeling (School, faculteit);
• Course (Reports in ontwikkeling);
• Blackboard Learn tools.
Ook: signaleren van trends in het gebruik en mate van adoptie.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Wat kun je monitoren?
• Aantal active users per periode;
• Active uren periode (geen sessietijd);
• Active minuten per gebruiker en per dag;
• Aantal pageviews per periode.
Met Messaging kun je ook berichten sturen op basis van het gebruik; individuele
gebruikers wijzen op niet gebruiken van discussion board bijvoorbeeld.
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Eesysoft: Trend Active Users HG
28.109 in
september
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Eesysoft: Trend Active Hours HG
179.798
(= 20,5 mensjaar…)
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Eesysoft: Trend Active Minutes (dag/user) HG
12 minuten / dag
2 page views / minuut
Bob Schoonbeek, innovatieproject learning analytics:
Studiesucces voorspellen met Blackboard Learn.
Eesysoft: Trend Page views HG
5.923.278
= 5,923287 x106