Learning Analytics og Big Data i et kritisk perspektiv

Thomas RybergProfessor msoInst. for kommunikation, AAUryberg@hum.aau.dk@tryberg - twitter

Agenda

• Kort om mig – hvorfor dette oplæg, hvad er mit bias– Ikke maskin-stormer – networked learning og læring og

sociale medier– Lidt generelt om #edtech– Hvorfor kritik? Hvorfor Big Data? Ikke kritik af konkrete

initiativer men mere af forestillinger!• Problematikker og udfordringer ved big data og

learning analytics– Fra videnskabsfilosofisk perspektiv– Fra pædagogisk perspektiv

Stærke stemmer der taler om nært forestående, radikale forandringer– Game-changers, disruptions, paradigme-skifte, 2.0, med på vognen

Stor afstand mellem:

De faktiske kvalitative forandringer teknologi har medført inden for uddannelse og den faktiske udviklingshastighed

Samme tog kører til perronen uden at være vidende om, at det har været der før og er kørt i ring

#EDTECH er BIG BUSINESS

Full of:

Men også potentiale…

“There must be an industrial revolution in education in which educational science and the ingenuity of educational technology combine to modernize the grossly inefficient and clumsy procedures of conventional education.”

- Sidney Pressey, 1924, inventor of the Automatic Teacher, the first electronic device used in schools

The motion picture is destined to revolutionize our educational system and...in a few years it will supplant largely, if not entirely, the use of textbooks.

—Thomas Edison, 1922

Prof. C. C. Clark of New York University conducting a class from his home (1935)

Source: http://www.smithsonianmag.com/history/predictions-for-educational-tv-in-the-1930s-107574983

“The scene will be a commonplace one tomorrow, without a doubt, when television will be as indispensable to our every day home life as the radio program receiver is today.” (The April 1935 issue of Short Wave Craft magazine)

1954

http://www.idealearninggroup.com/blog/history-of-elearning-e-is-for-evolutionary

Umiddelbar feedback, selv-drevet læring, adaptiv læring – ofte hørt ifht nye læringsteknologier - også learning analytics – det er ikke så nyt….

Learning analytics

• “Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs” https://en.wikipedia.org/wiki/Learning_analytics

• Educational data mining, academic analytics, learner modelling – ældre tradition

• Læs mere om LA på: solaresearch.org – SOLAR – society for learning analytics research

Hvorfor kritik

• Kritik er ikke lig uenighed – kritik er ikke negativt• Big Data, Learning Analytics ligger i krydsfeltet mellem forskning og Big

Business– “[…] academics should not engage in research that industry ‘can do better’” (Lin,

cited in boyd & Crawford)– Big Data og Learning Analytics er i øjeblikket buzz-words og smølfeord –

kandidater til Bullshit bingo og florerer i bullshit-bæltet – Det betyder ikke de er meningsløse, tomme eller uinteressante – men det

betyder vi skal være varsomme• Dette er egentlig bredere kritik af hele #EdTech og den uhellige alliance

mellem politik, industri og forskning– Der er ret så stor brug for at vi caller bullshit i edtech! Vi har alt for høje

forventninger ifht hvad der realistisk sker.• Akademisk rum – plads/tid til:

– Refleksivitet– Eftertænksomhed, langsommelighed (bagstræberisk)– Social kritik– Og Dilbert…

Personificeringen af bullshit bæltet – well-meaning, but….

Kritisk refleksivitet

• Vigtigt at metoder, teorier og antagelser udfordres, kritiseres, forbedres

• Der er noget særlig persuasivt og tillokkende ved Big Data, Learning Analytics og visualisering af data – det bekymrer mig! Vigtigt at være kritisk

• Vigtigt at vi er refleksive i forhold til ALLE de metoder vi anvender og data vi indsamler – hvad er styrker, hvad er svagheder – hvad kan data sige, hvad kan de ikke sige

• At vælge data og fokus er også at fravælge andre blikke

Seeing is believing: The effect of brain images on judgments of scientific reasoning

• McCabe, D. P., & Castel, A. D. (2008). Seeing is believing: The effect of brain images on judgments of scientific reasoning. Cognition, 107(1), 343–352. http://doi.org/10.1016/j.cognition.2007.07.017

White paper: Open Learning Analytics: an integrated & modularized platformhttp://solaresearch.org/OpenLearningAnalytics.pdf

Tænkt eksempel på ‘student dashboard’

• Vi må være forsigtige i at antage, at fordi noget er mere visuelt interessant, at det også:– A: Er mere sandt og bedre reflekterer/repræsenterer

en kompleks underliggende virkelighed– B: Folk kan læse data og agere på det på meningsfuld

og god vis• Stephen sagde: nemt at drage de ‘falske’

konklusioner – løser ikke opgave nemmere opgave

Big Data changes the definition of knowledge• Andersson, Wired (2008)

– “This is a world where massive amounts of data and applied mathematics replace every other tool that might be brought to bear. Out with every theory of human behavior, from linguistics to sociology. Forget taxonomy, ontology, and psychology. Who knows why people do what they do? The point is they do it, and we can track and measure it with unprecedented fidelity. With enough data, the numbers speak for themselves. (2008)”

– ‘accounting tools . . . do not simply aid the measurement of economic activity, they shape the reality they measure’ (Du Gay & Pryke in boyd & Crawford)

Big Data changes the definition of knowledge?

• De værktøjer vi får i hånden ændrer vores tilgang til og forståelse af ”verden”

– Tid (kronometer) – måler ikke noget, men strukturerer meget af vores samfund og forståelse

– Fødselstal, scanninger, diagnoser – producerer viden men også ‘anxieties’ og nye foki

– Images og scans som persuasive – ”personlighedstest”, læringsedderkopper

• De kan også ændre hvad vi forstår som ‘videnskabelighed’, ‘data’, sandhed, nytte osv.

– Andersson citat afspejler måske en lidt naiv scientisme / positivisme– Hvid-kittel knæfaldet – videnskab og videnskabelse én tilgang ‘pure

data driven research’ – numbers, data and truth is ‘out there’– What is easily available guide our eyes – nem adgang til bestemte

typer af data producerer bestemt forskning – her-og-nu på twitter fremfor ‘long data’

– Numre og ‘true sciences’ – men læring et menneskeligt fænomen (erfaringer, følelser, meningsfylder, politik, idealer) – alt det hvorom ‘science’ does not always speak…det rodede

• Dashboards med data – nye måder at producere bestemte subjekter – ”de bliver hvad vi måler”

– Kan man ‘måle’ en kompetence? Ligesom temperatur?

Claims to objectivity and accuracy are misleading• ‘Numbers, numbers, numbers’, writes Latour

(2009). ‘Sociology has been obsessed by the goal of becoming a quantitative science’ (boyd & Crawford)– Hvid-kittel knæfaldet – kvantitativ forskning mere

objektiv og videnskabelig – blottet for subjektivitet og fortolkning – data taler for sig selv

– Men analyse er fortolkning – “making sense of data”

– Data ‘er’ ikke derude – data produceres (craftes) – de vælges, (ud)renses (data-wrangling) og andre bestemmer hvilke data der ér tilgængelige (fx.API)

– Vi “måler” ikke bare noget – vi konstruerer – Hvad dækker data? Selvom de er Big – er de så

altomfattende, er der huller? Hvor meget kan man fortælle om person ud fra fodspor – hvor partielle er data?

As a large mass of raw information, Big Data is not self-explanatory. And yet the specific methodologies for interpreting the data are open to all sorts of philosophical debate. Can the data represent an ‘objective truth’ or is any interpretation necessarily biased by some subjective filter or the way that data is ‘cleaned?’. (2010, p. 13) (boyd & Crawford)

Too often, Big Data enables the practice of apophenia: seeing patterns where none actually exist, simply because enormous quantities of data can offer connections that radiate in all directions (boyd & Crawford)

Database pedagogies (Williamson)

• Adaptive learning systems (som man har arbejdet med siden 70’erne!!!!!)

• Skræddersyet, individuel læring• “Læser”, modellerer, forudser,

tilretter sig til eleven (more capable peer)

• Automated management & governance

• Men måler og vejer eller producerer metrics bestemte subjekter?

• Hvilke forståelser af pædagogik, læring og individer er i spil – hvilke forståelser træder i forgrund – hvilke i baggrund?

every child has a ‘digital tutor’ that is responsive to their interests, their prior conceptions and achievement and the potential for ‘intelligent online platforms that can use data gathered from learners to become smart enough to predict, and then appropriately assist and assess, that learner’s progression to mastering the concept being taught (Williamson)

The aim of some learning analytics developments is to create automated pedagogic systems, or what might be termed database pedagogies. These database pedagogies can include automated messages which provide brief and simple nudges or fully automated intelligent tutoring systems: the automatic production of personalized pedagogies (Williamson)

database devices are based on the logic that the subject is made up of unique combinations of distributed transactional metrics that reveal who they are and their capacities, problems and needs. An individual is not simply a child or youth, but rather a combination of needs and services. (Citation in Williamson)

• Too often, Big Data enables the practice of apophenia: seeing patterns where none actually exist, simply because enormous quantities of data can offer connections that radiate in all directions (boyd & Crawford)– Google flu– Katrina og twitter-data– Nationale tests…siger de noget om kompetencer – det mener

Jeppe Bundsgaard ikke…det er ikke kun statistisk usikkerhed -det er at det siger meget lidt om hvad læsekompetence er!

– Udviklingen i test…hvornår er noget tilfældigt, hvornår er det signifikant – druk eller klassestørrelse?

– Hvorfor handler de fleste eksempler om frafald og matematik…

Forskellige pædagogiske forståelser

#edtech historien ikke en lige linie men en strid mellem perspektiver / pædagogiske idealer (Weller, 2007)

Broadcast perspektiv•Gøre indhold og ressourcer tilgængelig for flest muligt – on demand•Selv-drevet, individualiseret•Genbrug, skalerbart, kost-effektivt (reducere underviserens rolle)•Learning objects, Open Educational resources•Også: kontrol, standardisering, institutionalisering, industrialisering•“The broadcast view can be found in higher education and national policies and it is also common in corporate training” (Jones & Dirckinck-Holmfeld, 2009)

Diskussions-perspektiv•Viden som skabt gennem dialog, samarbejde og kommunikation•Gensidig forpligtethed – relationer ml studerende og ml studerende og undervisere•Grupper, intimitet, relationer, samarbejde og koordination – tidsafhængig•Internationalt et ‘rand-perspektiv’

Jones, C., & Dirckinck-Holmfeld, L. (2009). Analysing Networked Learning Practices. In L. Dirckinck-Holmfeld, C. Jones, & B. Lindström (Eds.), Analysing Networked Learning Practices in Higher Education and Continuing Professional Development (pp. 10–27). Rotterdam: Sense Publishers. Weller, M. (2007). Virtual learning environments : effective development and use. London: Routledge.

2 hovedparadigmer inden for uddannelsestænkning

• Angelsaksisk curriculumtænkning (John Biggs)

• Kontinental (Skandinaviske tænkning) didaktisk tænkning (Wolfgang Klafki)

Venligst udlånt af Ulla Konnerup, AAU

Klafki

• Dannelse• Personlige, faglige kompetencer• Selvstændighed og kritisk tænkning i forhold til tilegnelse af et videns-

og kompetencefelt

“Yde eleverne hjælp til at udvikle deres medbestemmelse og solidaritetsevne”

“Sammenhængen mellem undervisning og læring forstås som interaktionsproces”Klafki, Wolfgang (2001). Dannelsesteori og didaktik. Århus: Klim.

Klafki, Wolfgang (1983). Kategorial dannelse og kritisk-konstruktiv pædagogik. Udvalgte artikler og indledning ved Sven Erik Nordenbo. Nyt Nordisk Forlag Arnold Busck.Wolfgang Klafki, (Hg.). (1988). Verführung Distanzierung Ernüchterung. Kindheit und Jugend im Nationalsozialismus.

Autobiographisches aus erziehungswissenschaftlicher Sicht. Wienheim und Basel: Beltz Verlag.

Venligst udlånt af Ulla Konnerup, AAU

Angelsaksiske tænkning

• Ingen ækvivalent begreb til dannelse• Curriculum tænkning, der bygger på teori om

instruktion og undervisningsforskning

På forhånd intenderede læringsmål, der ved hjælp af effektiv undervisning tilstræber et fastlagt og måleligt læringsindhold hos den studerende, hvor effektivitet udmønter sig som et syn på forståelse som en opadgående lineær bevægelse

(Wiberg 2011)

Venligst udlånt af Ulla Konnerup, AAU

Venligst udlånt af Ulla Konnerup, AAU, 2015

MINE BEKYMRINGER

Forståelser af læring

• Hvad hvis læring ikke er tilegnelse af det eksisterende, men opdagelse og skabelse af det nye?

• Hvordan måler vi hvad der ikke eksisterer/er skabt endnu?

• Måle det vi forstår så lidt om – kreativitet, forandringsprocesser, følelser, gruppedynamik?

• Er læring en lineær proces fra en begyndelse til en ende? En fastsat diagram over udvikling – et ‘skill-tree’?– Læringsmålsstyring – hvem definerer målene

• ”Teaching to the PISA test”

Forståelse af læring og bevidsthed

• Kan vi dekomponeres til et antal tællelige enheder, som aggregeret på forskellige vis kan kaldes kompetencer eller dannelse? F.eks. Learning dispositions

• Enhederne er ord, begreber, teori, abstraktioner, akademiske distinktioner som er med til at producere og konstruere forståelser af hvad vi er – de er ikke en 1:1 model af virkeligheden (den er for kompleks)

• Det tror jeg vi glemmer en gang imellem i vores fascination af data og visualiseringer og begreber

• Kan vi sige noget om folks personlighed ved at stikke et termometer i røven af dem?

database devices are based on the logic that the subject is made up of unique combinations of distributed transactional metrics that reveal who they are and their capacities, problems and needs. An individual is not simply a child or youth, but rather a combination of needs and services. (Citation in Williamson)

White paper: Open Learning Analytics: an integrated & modularized platformhttp://solaresearch.org/OpenLearningAnalytics.pdf

Tænkt eksempel på ‘student dashboard’

Nye systemer som lærerne ikke kan bruge….• 20 års IKT-pædagogisk forskning:

– Investér i udviklingen af underviserne…politikere: Yeeeaaah Ipads (den uhellige tre-uenighed)

• Måske tænke i en it-pædagogisk filosofi, der hedder: reduce, reuse, recycle i stedet

• Hvis det er svært for undervisere at benytte eksisterende IT på en pædagogisk god måde, løser vi så det problem ved at tilføje dashboards, der kræver en PhD i data science?– Sundhedsmålinger, trivsel etc.etc. til lærerne fra STIL? Hvordan skal

det analyseres og fortolkes– Tal og dashboards giver altså ikke sig selv– Er data bedre end lærernes dømmekraft?– Bekymring: Det vi kan måle kommer i fokus og bliver det vi fokuserer

på. Læsekompetencer meget mere nuanceret end det vi måler i Nat.tests – problemet er at det hurtigt bliver testens mål der bliver fokus

• Og hvad med forældrene???

Pædagogisk værktøj eller trojansk hest for administrativ-politisk styring• Systemer bliver solgt som nye værktøjer til medarbejderne

– som noget der skal hjælpe dem i deres praksis (de varme hænder).– Patientjournaler, research repositories, skoleportaler– Argumenterne tager udgangspunkt i praksis, men glider over

til at løse ledelesens og administrationens problemer med at levere tal til andre

• Hvorfor valgte vi Moodle på KDM og AAU: – Øget kollaboration, aktiv læring, øget kvalitet i UV– Meget lidt af dette er realiseret (Bygholm og Nyvang, 2013)

…og Moodle kan meget – det bliver bare ikke brugt– Sad i Moodle udvalg for AAU – meget lidt diskussion om

pædagogik, men meget om skemaer og STADS

Den administrative glidebane…

• “[…] universities primarily use LMS for administrative purposes, and that LMS so far have had a limited impact on pedagogy: "ICT has penetrated tertiary education, but has had more impact on administrative services (e.g. admissions, registration, fee payment, purchasing) than on the pedagogic fundamentals of the classroom." (OECD, 2005, p. 15)” (Dalsgaard, 2006) in Social software: E-learning beyond learning management systems

• 2006….og beyond learning management systems – er vi videre i 2016 ifht institutionelle LMS’er?

• Min bekymring er, at vi starter i argumenterne om læring og praksis, men at vi ender med kontrol, administration, accountability – ledere der skal aflevere tal til andre ledere, administrative håndtryk til kvalitetsikring

Opsummerende

• Learning Analytics og Big Data er ikke bare neutrale værktøjer, data og systemer – de indeholder bestemte forståelser og måder at se verden på.

• De skaber også bestemte subjekter, praksisser, rationaliteter og idealer• Hvilke syn på læring og pædagogik følger med værktøjerne og

metoderne – hvilke implicitte pædagogikker er indskrevet i kildekoden• Hvilke muligheder og problemer giver det hvis vores forståelse af læring

konfigureres gennem databaser tabeller og kryptisk algoritmer?• Hvilke kompetencer kræver det at forstå og afkode de data vi producerer

– forstår vi faktisk, hvad vi opererer på eller er det black-boxed• Specielle pædagogikker der understøttes af denne tænkning?• Er forståelser rundet af dataloger og statistikere snarere end

pædagoger, filosoffer og humanister?

Hvilke spørgsmål bør vi stille

• Læring eller data først? Hvad er jeres forståelse/ideal omkring læring (læring som identitet, transformativ?)– Kan I måle det? Hvad er begrænsningerne?– Hvilke data har I adgang til? Hvilke har I ikke?– Data-driven eller problem-driven – løser I et problem/har et

spørgsmål eller har I nogle data, der leder efter ét– Hvad er det I vil forstå – er analytics svaret?

• Et par vigtige spørgsmål at reflektere over– Hvem måler hvem – og med hvilket formål?– Hvem bestemmer målene? Lærere? Kommune? Elever?– Er man målt eller måler?– Hvem ejer data, hvem ejer retten til at bestemme mening og analyse?– Hvem har kompetencerne til at læse målingerne?– Hvem bliver ‘empowered’, hvem bliver ‘marginalised’?

Referencer• boyd, danah, & Crawford, K. (2012). Critical Questions for Big Data. Information,

Communication & Society, 15(5), 662–679. http://doi.org/10.1080/1369118X.2012.678878

• Bygholm, A., & Nyvang, T. (2013). IKT-støttet læring og kvalitet – erfaringer fra uddannelserne i Humanistisk Informatik på Aalborg Universitet. In Y. Nordkvelle, T. Fossland, & G. Netteland (Eds.), Kvalitet i fleksibel høyere utdanning – nordiske perspektiver. Akademika Forlag.

• Dalsgaard, C. (2006). Social software: E-learning beyond learning management systems. European Journal of Open, Distance and E-Learning. Retrieved from http://www.eurodl.org/materials/contrib/2006/Christian_Dalsgaard.htm

• Jones, C., & Dirckinck-Holmfeld, L. (2009). Analysing Networked Learning Practices. In L. Dirckinck-Holmfeld, C. Jones, & B. Lindström (Eds.), Analysing Networked Learning Practices in Higher Education and Continuing Professional Development (pp. 10–27). Rotterdam: Sense Publishers.

• Weller, M. (2007). Virtual learning environments : effective development and use. London: Routledge.

• Williamson, B. (2014). Policy networks, database pedagogies, and the new spaces of algorithmic governance in education. In S. Bayne, C. Jones, M. de Laat, T. Ryberg, & C. Sinclair (Eds.), Proceedings of the Ninth International Networked Learning Conference (pp. 547–554).