Małe dane, duży wpływ - Dominik Batorski ICM

42
Małe dane, duży wpływ dr Dominik Batorski

Transcript of Małe dane, duży wpływ - Dominik Batorski ICM

Page 1: Małe dane, duży wpływ - Dominik Batorski ICM

Małe dane, duży wpływ

dr Dominik Batorski

Page 2: Małe dane, duży wpływ - Dominik Batorski ICM

Co ja robię tu?

• Doktorat z socjologii (2004)

• Diagnoza społeczna 2003-2015

– największe polskie ankietowe badania społeczne

• BI w Gadu-Gadu (2008-2010)

• Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego UW

• SmartNet Resear&Solutionsi Sotrender

Page 3: Małe dane, duży wpływ - Dominik Batorski ICM

Plan prezentacji

• Celem mojej prezentacji jest pokazanie, że czasem niewielkie dane i proste analizy wystarczą do tego, żeby osiągnąć duży efekt.

• Nie zawsze duże dane są potrzebne.• Małe jest piękne

i też może mieć duuuże znaczenie.

• Kilka przykładów (ze sfery publicznej):– Matury– Dostęp do internetu– ACTA

Page 4: Małe dane, duży wpływ - Dominik Batorski ICM

Czym się różni data scientist?

Page 5: Małe dane, duży wpływ - Dominik Batorski ICM

Nowe matury w rekrutacji

• W 2006 roku zostałem wybrany na ochotnika do pracy w komisji rekrutacyjnej do IS UW.

• Od 2005 roku nowe matury zamiast egzaminów wstępnych na studia.

– Ciekawy moment ze względu na obawy o porównywalność i współmierność poszczególnych egzaminów oraz zwiększenie współkandydowaniana różne kierunki.

Page 6: Małe dane, duży wpływ - Dominik Batorski ICM

Kandydowanie na wiele kierunków

• Większość osób zdających na studia na Uniwersytecie Warszawskim zdawało na więcej niż jeden kierunek. – Rekordzista kandydował na 25 kierunków studiów. Średnia

liczba kierunków, na które zapisywała się jedna osoba to 2,21

• Dzięki prześledzeniu wzorców współkandydowania na różne kierunki studiów możliwe było odtworzenie relacji pomiędzy nimi. – Jak się okazało istnieją bardzo wyraźne grupy kierunków.

Page 7: Małe dane, duży wpływ - Dominik Batorski ICM

Liczba wybieranych kierunków

7080

4124

2216

1236651 411 251 144 104 57 47 31 21 6 4 3 4 1 3 1 1

15396

0

2000

4000

6000

8000

10000

12000

14000

16000

18000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 23 25

Liczba kierunków

lic

ze

bn

ć

0

10

20

30

40

50

60

70

80

90

100

pro

ce

nt

Częstość

Procent

Page 8: Małe dane, duży wpływ - Dominik Batorski ICM

20 grudnia 2006 8

Współkandydowanie na kierunki studiów stacjonarnych

Pokazane zostały

wyłącznie relacje

mające min. 20%

Page 9: Małe dane, duży wpływ - Dominik Batorski ICM

20 grudnia 2006 9

Współkandydowanie na kierunki studiów stacjonarnych

Pokazane zostały

wyłącznie relacje

mające min. 10%

Page 10: Małe dane, duży wpływ - Dominik Batorski ICM

Wniosek

• Struktura współkandydowania na różne kierunki studiów pokazuje, że zasadne byłoby przemyślenie możliwości reformy studiów i zmiany zasad rekrutacji poprzez wprowadzenia pierwszego roku studiów o charakterze ogólnym dla grup kierunków.– Byłoby to wygodne (i łatwe do zaakceptowania) dla

kandydatów – Upraszczałoby postępowanie rekrutacyjne– Pozwalałoby nowym studentom bardziej świadomie

wybrać konkretny kierunek studiów po pierwszym roku

Page 11: Małe dane, duży wpływ - Dominik Batorski ICM

Czasem okazja pojawia się sama

Page 12: Małe dane, duży wpływ - Dominik Batorski ICM

Zmiana zasad matury

• We wrześniu 2006 MEN zmieniło zasady matury.

• Zmiana została wprowadzona już po ustaleniu zasad rekrutacji na kolejny rok.

• Maturzyści mieli zdawać tylko jeden poziom –podstawowy lub rozszerzony.

• Jak przeliczyć wyniki?

Page 13: Małe dane, duży wpływ - Dominik Batorski ICM

Matura j.polski: poziom podstawowy a poziom

rozszerzony

Page 14: Małe dane, duży wpływ - Dominik Batorski ICM

Matura j.angielski: poziom podstawowy a

poziom rozszerzony

Page 15: Małe dane, duży wpływ - Dominik Batorski ICM

Matura matematyka: poziom podstawowy a

poziom rozszerzony

Page 16: Małe dane, duży wpływ - Dominik Batorski ICM

Matura historia: poziom podstawowy a poziom

rozszerzony

Page 17: Małe dane, duży wpływ - Dominik Batorski ICM

Matura WOS: poziom podstawowy a poziom

rozszerzony

Page 18: Małe dane, duży wpływ - Dominik Batorski ICM

Matura biologia: poziom podstawowy a poziom

rozszerzony

Page 19: Małe dane, duży wpływ - Dominik Batorski ICM

Matura geografia: poziom podstawowy a

poziom rozszerzony

Page 20: Małe dane, duży wpływ - Dominik Batorski ICM

Wnioski

• Maturzyści będą zniechęcani do wyboru poziomu rozszerzonego, jeśli nie będzie on potrzebny do rekrutacji.

• Wyniki z poszczególnych przedmiotów maturalnych są nieporównywalne– Kierunki studiów, które wymagają przedmiotów

„do wyboru” powinny uwzględnić to w sposobie przeliczania punktów.

• Wyniki matur 2007 będą nieporównywalne z maturami 2005 i 2006.

Page 21: Małe dane, duży wpływ - Dominik Batorski ICM

Data scientist to zawód podwyższonego ryzyka

Page 22: Małe dane, duży wpływ - Dominik Batorski ICM

Co było dalej?

• Media, prawnicy, komisje, … Trybunał Konstytucyjny.

• Efekt?

• Znaczący spadek liczby osób zdających maturę na poziomie rozszerzonym

– z matematyki 78 do 53% wśród zdających ten przedmiot,

– z języka polskiego z 27% do 11%

Page 23: Małe dane, duży wpływ - Dominik Batorski ICM

Czasami dane są nie tam,gdzie są potrzebne

Page 24: Małe dane, duży wpływ - Dominik Batorski ICM
Page 25: Małe dane, duży wpływ - Dominik Batorski ICM
Page 26: Małe dane, duży wpływ - Dominik Batorski ICM
Page 27: Małe dane, duży wpływ - Dominik Batorski ICM
Page 28: Małe dane, duży wpływ - Dominik Batorski ICM
Page 29: Małe dane, duży wpływ - Dominik Batorski ICM
Page 30: Małe dane, duży wpływ - Dominik Batorski ICM
Page 31: Małe dane, duży wpływ - Dominik Batorski ICM

Nie każde dane dają pełen obraz

Page 32: Małe dane, duży wpływ - Dominik Batorski ICM
Page 33: Małe dane, duży wpływ - Dominik Batorski ICM

Dyfuzja informacji

• Wpływ na agendę.

• Rozprzestrzenianie informacji bez udziału mediów tradycyjnych.

• Weekly viral reachokoło 3 000 000użytkowników.

0

100000

200000

300000

400000

500000

600000

700000

no to ACTA no to ACTA inPoland

commentdeleted by ACTA

Daily talking about

Page 34: Małe dane, duży wpływ - Dominik Batorski ICM

Kto protestował?

34%

44%

17%

3%1% 1%

45%

38%

13%

2%1% 1%

33%

40%

19%

4%1% 2%

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

13-17 18-24 25-34 35-44 45-54 55+

age of fans

No to ACTA in Poland

Comment deleted by ACTA

No to ACTA

Analiza struktury fanów 3 głównych stron przeciwko ACTA na Facebooku

Page 35: Małe dane, duży wpływ - Dominik Batorski ICM

Oddolny ruch społeczny bez formalnych liderów?

• Znaczenie zaangażowania tradycyjnych organizacji

• Krótkotrwałość zaangażowania

Page 36: Małe dane, duży wpływ - Dominik Batorski ICM

Clicktivism (1). Zaangażowanie użytkowników jest zróżnicowane…

215 120 users active on 3 most popular Facebookpages against ACTA withinfirst days of protests.

Page 37: Małe dane, duży wpływ - Dominik Batorski ICM

Clicktivism (2). Pojawia się szybko… i szybko maleje w czasie

The government declared withdrawal from the ACTA when protests in social media already declined.

What would happen if they waited a couple of days longer?

Page 38: Małe dane, duży wpływ - Dominik Batorski ICM

W internecie nic nie ginie

Page 39: Małe dane, duży wpływ - Dominik Batorski ICM

Kasowanie informacji?

• 25 stycznia Kancelaria Premiera skasowała prawie 8000 komentarzy przeciw ACTA, które użytkownicy umieścili na profilu Kancelarii Premiera na Facebooku.

• Było to uzasadniane wulgarnością komentarzy.

• Jednak dane zostały zarchiwizowane i przeanalizowane przez

– Tylko 3% treści zawierało groźby lub wulgaryzmy.

– 45% to proste protesty: STOP ACTA, Nie dla ACTA, itp.

– Maski Guy Fawkes’a w ASCI (34%).

– Poważne i merytoryczne komentarze (11%)

Page 40: Małe dane, duży wpływ - Dominik Batorski ICM

Reakcja użytkowników

Page 41: Małe dane, duży wpływ - Dominik Batorski ICM

I tak zostałem memem

Page 42: Małe dane, duży wpływ - Dominik Batorski ICM

Dziękuję czas na pytania

@DominikBatorski

[email protected]