Małe dane, duży wpływ - Dominik Batorski ICM
-
Upload
data-science-warsaw -
Category
Documents
-
view
524 -
download
0
Transcript of Małe dane, duży wpływ - Dominik Batorski ICM
Małe dane, duży wpływ
dr Dominik Batorski
Co ja robię tu?
• Doktorat z socjologii (2004)
• Diagnoza społeczna 2003-2015
– największe polskie ankietowe badania społeczne
• BI w Gadu-Gadu (2008-2010)
• Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego UW
• SmartNet Resear&Solutionsi Sotrender
Plan prezentacji
• Celem mojej prezentacji jest pokazanie, że czasem niewielkie dane i proste analizy wystarczą do tego, żeby osiągnąć duży efekt.
• Nie zawsze duże dane są potrzebne.• Małe jest piękne
i też może mieć duuuże znaczenie.
• Kilka przykładów (ze sfery publicznej):– Matury– Dostęp do internetu– ACTA
Czym się różni data scientist?
Nowe matury w rekrutacji
• W 2006 roku zostałem wybrany na ochotnika do pracy w komisji rekrutacyjnej do IS UW.
• Od 2005 roku nowe matury zamiast egzaminów wstępnych na studia.
– Ciekawy moment ze względu na obawy o porównywalność i współmierność poszczególnych egzaminów oraz zwiększenie współkandydowaniana różne kierunki.
Kandydowanie na wiele kierunków
• Większość osób zdających na studia na Uniwersytecie Warszawskim zdawało na więcej niż jeden kierunek. – Rekordzista kandydował na 25 kierunków studiów. Średnia
liczba kierunków, na które zapisywała się jedna osoba to 2,21
• Dzięki prześledzeniu wzorców współkandydowania na różne kierunki studiów możliwe było odtworzenie relacji pomiędzy nimi. – Jak się okazało istnieją bardzo wyraźne grupy kierunków.
Liczba wybieranych kierunków
7080
4124
2216
1236651 411 251 144 104 57 47 31 21 6 4 3 4 1 3 1 1
15396
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 23 25
Liczba kierunków
lic
ze
bn
oś
ć
0
10
20
30
40
50
60
70
80
90
100
pro
ce
nt
Częstość
Procent
20 grudnia 2006 8
Współkandydowanie na kierunki studiów stacjonarnych
Pokazane zostały
wyłącznie relacje
mające min. 20%
20 grudnia 2006 9
Współkandydowanie na kierunki studiów stacjonarnych
Pokazane zostały
wyłącznie relacje
mające min. 10%
Wniosek
• Struktura współkandydowania na różne kierunki studiów pokazuje, że zasadne byłoby przemyślenie możliwości reformy studiów i zmiany zasad rekrutacji poprzez wprowadzenia pierwszego roku studiów o charakterze ogólnym dla grup kierunków.– Byłoby to wygodne (i łatwe do zaakceptowania) dla
kandydatów – Upraszczałoby postępowanie rekrutacyjne– Pozwalałoby nowym studentom bardziej świadomie
wybrać konkretny kierunek studiów po pierwszym roku
Czasem okazja pojawia się sama
Zmiana zasad matury
• We wrześniu 2006 MEN zmieniło zasady matury.
• Zmiana została wprowadzona już po ustaleniu zasad rekrutacji na kolejny rok.
• Maturzyści mieli zdawać tylko jeden poziom –podstawowy lub rozszerzony.
• Jak przeliczyć wyniki?
Matura j.polski: poziom podstawowy a poziom
rozszerzony
Matura j.angielski: poziom podstawowy a
poziom rozszerzony
Matura matematyka: poziom podstawowy a
poziom rozszerzony
Matura historia: poziom podstawowy a poziom
rozszerzony
Matura WOS: poziom podstawowy a poziom
rozszerzony
Matura biologia: poziom podstawowy a poziom
rozszerzony
Matura geografia: poziom podstawowy a
poziom rozszerzony
Wnioski
• Maturzyści będą zniechęcani do wyboru poziomu rozszerzonego, jeśli nie będzie on potrzebny do rekrutacji.
• Wyniki z poszczególnych przedmiotów maturalnych są nieporównywalne– Kierunki studiów, które wymagają przedmiotów
„do wyboru” powinny uwzględnić to w sposobie przeliczania punktów.
• Wyniki matur 2007 będą nieporównywalne z maturami 2005 i 2006.
Data scientist to zawód podwyższonego ryzyka
Co było dalej?
• Media, prawnicy, komisje, … Trybunał Konstytucyjny.
• Efekt?
• Znaczący spadek liczby osób zdających maturę na poziomie rozszerzonym
– z matematyki 78 do 53% wśród zdających ten przedmiot,
– z języka polskiego z 27% do 11%
Czasami dane są nie tam,gdzie są potrzebne
Nie każde dane dają pełen obraz
Dyfuzja informacji
• Wpływ na agendę.
• Rozprzestrzenianie informacji bez udziału mediów tradycyjnych.
• Weekly viral reachokoło 3 000 000użytkowników.
0
100000
200000
300000
400000
500000
600000
700000
no to ACTA no to ACTA inPoland
commentdeleted by ACTA
Daily talking about
Kto protestował?
34%
44%
17%
3%1% 1%
45%
38%
13%
2%1% 1%
33%
40%
19%
4%1% 2%
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
13-17 18-24 25-34 35-44 45-54 55+
age of fans
No to ACTA in Poland
Comment deleted by ACTA
No to ACTA
Analiza struktury fanów 3 głównych stron przeciwko ACTA na Facebooku
Oddolny ruch społeczny bez formalnych liderów?
• Znaczenie zaangażowania tradycyjnych organizacji
• Krótkotrwałość zaangażowania
Clicktivism (1). Zaangażowanie użytkowników jest zróżnicowane…
215 120 users active on 3 most popular Facebookpages against ACTA withinfirst days of protests.
Clicktivism (2). Pojawia się szybko… i szybko maleje w czasie
The government declared withdrawal from the ACTA when protests in social media already declined.
What would happen if they waited a couple of days longer?
W internecie nic nie ginie
Kasowanie informacji?
• 25 stycznia Kancelaria Premiera skasowała prawie 8000 komentarzy przeciw ACTA, które użytkownicy umieścili na profilu Kancelarii Premiera na Facebooku.
• Było to uzasadniane wulgarnością komentarzy.
• Jednak dane zostały zarchiwizowane i przeanalizowane przez
– Tylko 3% treści zawierało groźby lub wulgaryzmy.
– 45% to proste protesty: STOP ACTA, Nie dla ACTA, itp.
– Maski Guy Fawkes’a w ASCI (34%).
– Poważne i merytoryczne komentarze (11%)
Reakcja użytkowników
I tak zostałem memem