Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication...

32

Transcript of Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication...

Page 1: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”
Page 2: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

• #SaveDonbassPeople: Twitter, Propaganda, and Conflict in Eastern Ukraine (in print “Communication Review”);

• #Euromaidan as a brand of Revolution of Dignity;• Victory Day discussions in Live Journal (with RTB-

media.me);• Couch-based war in vKontakte social network (with The

Hague Centre for Strategic Studies).

Page 3: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”
Page 4: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

• CS вивчає як повідомлення інтерпретуються через політичний, культурний, семіотичний, соціальний … виміри їхнього контексту. https://en.wikipedia.org/wiki/Communication_studies

• СS на практиці - це обговорення певної теми в Інтернеті (переважно у соціальних медіа)

Page 5: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Моніторинг соціальних медіа для керування репутацією в Інтернеті

Page 6: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Що потрібно для успішного ведення проекту?

• Знання – Natural Language Processing, Machine Learning/Big Data, теорія комунікації, статистика …

• План збору даних• Данні• Система моніторингу та оновлення даних

Page 7: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Робочий цикл проекту

1. Отримання загального завдання2. Первинний аналіз3. Формулювання робочих гіпотез4. Визначення питань дослідження5. Аналіз6. Звіт7. 3-6 ∞

Page 8: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Специфіка роботи

• Висока динамічність даних• Необхідність самому формулювати завдання• Отримані результати - комерційна таємниця

Page 9: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Як зробити власне дослідження

• Вибрати дійсно актуальну тему• Визначити методику збору даних• 1 публікація в Інтернеті = 1 питання• Публікація наукової статті (англійська,

російська)• Від закінчення написання статті до її

публікації проходить 1-2 роки (peer review)

Page 10: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”
Page 11: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Євромайдан як бренд Революції Гідності в період активного

силового протистояння (на матеріалах Twitter)

Єгор Лєбєдєв, RTB-media.meMykola Makhortykh, University of Amsterdam

Page 12: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Twitter – символ ролі Інтернету і соціальних медіа у сучасних революціях

Румунія 2009Іран 2009Туніс 2010-2011Єгипет 2011Україна 2013-2014 ???

Організація протестів вимагає їх “просування” у суспільстві

Page 13: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Чому Twitter?• Четверта за кількістю користувачів соціальна медійна

платформа в Україні (430 тис.);• Стрімке зростання українського сегменту в січні 2014

(55 тис. проти 6-7 тис. норми);• Найбільший темп зростання припав на період

Євромайдану;• 1/3 всіх українських користувачів із зазначеним

місцем проживання мешкають в Києві.

«Огляд соціальних мереж і Твіттера в Україні» за даними Пошуку у блогах Яндекса (http://blogs.yandex.ua), 2013–2014 роки

Page 14: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Джерело даних

Twitter Streaming API01.11.2014-14.03.2014

Page 15: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Чи можна розглядати назву суспільного руху як бренд?

Page 16: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Дослідження вживання терміну “Євромайдан”

Поставлені питання:

• Наявність кореляції між кількістю вживань та реальними подіями;

• Зміна змістовного та емоційного контексту розуміння у часі;

• Виділення окремих груп обговорення, виявлення відмінностей між ними.

Page 17: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Методика

Розподіл твіттів по окремим наборам для подальшого порівняння відбувався на основі принципу спільності періоду часової динаміки інтенсивності вживання та диференціації по трьом основним мовним каналам (україно-, російсько- та англомовним).

Page 18: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Методика

Для аналізу семантичного значення терміну використовувався метод порівняння найбільш однаково- та різно- вживаних ознак (біграм) двох наборів твіттів. Перелік біграм визначався за допомогою наївного байєсівського класифікатора.

Cathy O'Neil, Rachel Schutt . Doing Data Science Straight Talk from the Frontline. O'Reilly Media, 2013.

Page 19: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Періодизація інтенсивності вживання терміна “Євромайдан”в публічних твіттах у розрізі основних

мовних каналів

Page 20: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Висновки, які дозволяє зробити періодизація:

• Важливі події, як правило, викликають одночасну помітну реакцію в Twitter, що дозволяє розрізняти відносно активні та спокійні періоди;

• Наявність значимої реакції дає можливість оцінити резонансність окремих подій та, в перспективі, виділити ті, до яких увага приверталася штучно;

• Періоди найбільшої активності (2,5) формуються на основі ланцюга подій, пов’язаних однією темою;

• Якщо період пов’язаний з однією подією (3,6), то для нього характерна висока активність лише в одному сегменті аудиторії.

Page 21: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Поведінкові типи учасників обговорення - Digitalmaidan

Page 22: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Поведінкові типи учасників обговорення - Digitalmaidan

Schedule and automate your tweets with HootSuite.com. Here is how: http://ow.ly/tz1vMSection: About sanctions to (US) politicians

• @billclinton #Yanukovych did this 2 peaceful #Kiev #euromaidan protesters SANCTIONS 4 #Ukraine NOW pic.twitter.com/DpXbcNC6qa

• @WhiteHouse #Ukraine #Yanukovych did this 2 peaceful #Kiev protesters SANCTIONS NOW pic.twitter.com/DpXbcNC6qa #euromaidan #digitalmaidan

• @VP #SOS #Ukraine #Yanukovych did this 2 peaceful #Kiev protesters SANCTIONS NOW pic.twitter.com/DpXbcNC6qa #euromaidan #digitalmaidan

• @JohnKerry #Ukraine #Yanukovych did this 2 peaceful #Kiev protesters SANCTIONS NOW pic.twitter.com/DpXbcNC6qa #euromaidan #digitalmaidan

• @GeoffPyat #SOS #Ukraine #Yanukovych did to peaceful #Kiev protesters SANCTIONS NOW pic.twitter.com/DpXbcNC6qa #euromaidan #digitalmaidan

• @Presssec #SOS #Ukraine #Yanukovych did to peaceful #Kiev protesters SANCTIONS NOW pic.twitter.com/DpXbcNC6qa #euromaidan #digitalmaidan

• @BarackObama Ukraine's #Parliament #Rykak & #PartyofRegions blocks #constitution #vote http://bit.ly/MarxeM #euromaidan #digitalmaidan

• @VP #Ukraine's #Parliament #Rykak & #PartyofRegions blocks #constitution #vote http://bit.ly/MarxeM• @BarackObama #Ukraine's #Parliament #Rykak & #PartyofRegions blocks #constitution #vote http://bit.ly/MarxeM

#euromaidan #digitalmaidan• …

Page 23: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Поведінкові типи учасників обговорення – Період 3

• вечевече pdаnwswрм янукович запугал? намайдане нас мало! #майдан #украина #рада #революция #евромайдан #україна #грушевского

• вечевече ehgйfjзнл янукович запугал? на майдане нас мало!! #майдан #украина #рада #евромайдан #грушевского #євромайдан #євромайдан

• вечевече уgкмцсчqx янукович запугал? намайдане нас мало! #майдан #украина #рада #революция #евромайдан #україна #грушевского

• вечевече цйyочqфqe янукович запугал? намайдане нас мало! #майдан #украина #рада #революция #евромайдан #україна #грушевского

Page 24: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Поведінкові типи учасників обговорення – Період 3

('витенька возвращается на работу. #евромайдан #euromaidan #еврамойдан #еврамойдан', 986)('найден свидетель убийства сергея нигояна #евромайдан #euromaidan #еврамойдан #еврамойдан', 984)('опозиция! срочно займитесь возвратом к конституции 2004г! #euromaidan #євромайдан #еврамойдан #еврамойдан', 984)('нашли свидетеля убийства нигояна сергея #евромайдан #euromaidan #еврамойдан #еврамойдан', 982)('митингующие на майдане требуют выборов президента, а не амнистии! #євромайдан #евромайдан #еврамойдан #еврамойдан', 978)('опозиция, займитесь возвратом к конституции 2004года! срочно! #euromaidan #євромайдан #еврамойдан #еврамойдан', 972)('милиция с народом это тоже самое что - гитлер с евреями. #euromaidan #євромайдан #еврамойдан #еврамойдан', 971)('люди на майдане требуют выборов президента, а не амнистии! #євромайдан #евромайдан #еврамойдан #еврамойдан', 963)('янукович возвращается на работу. #евромайдан #euromaidan #еврамойдан #еврамойдан', 951)('rt @euromaidan: мид россии осудила кличка за призывы к самообороне. если тебя осуждает мид россии, значит ты все делаешь правильно. #єврома…', 57)

Page 25: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Порівняння 100 найбільш популярних джерел ретвіттів повідомлень за основними мовами (абсолютна кількість, період 2)

Page 26: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Поведінкові типи учасників обговорення – “блогери”Структура взаємозв’язків між 100 найбільш популярними джерелами ретвіттів на основі спільності аудиторії по основним

періодам та мовним каналам

Page 27: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Бот-мережа (укр. канал, період 4)

Page 28: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Типи твіттів

• Ретвітт – твітт, що починається з конструкції “rt @”;• Усі – співвідношення між усіма ретвіттами та твіттами у зазначений

період;• Унікальні – відношення кількості унікальних ретвіттів (без врахування

дублів) до унікальних твіттів (без врахування дублів);• Доля дублів твіттів – частка дублів твіттів у загальній кількості твіттів.

Page 29: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Аналіз твіттів – період 3 (однаково вживані)азаров арбузов {'tweets': -3.9151736205278063, 'retweets': -4.011751638710916}опозиції євромайдан {'tweets': -3.9473583038992075, 'retweets': -4.078698428341529}бійся українець {'tweets': -3.9821204101584198, 'retweets': -4.078698428341529}товариш жизневського {'tweets': -4.061301656206044, 'retweets': -3.9537596917332287}бюлетень євромайдан {'tweets': -3.9473583038992075, 'retweets': -4.078698428341529}жизневського куля {'tweets': -4.019908971047819, 'retweets': -3.9026071692858473}силовиків пробила {'tweets': -4.019908971047819, 'retweets': -3.9026071692858473}масових протестів {'tweets': -3.9151736205278063, 'retweets': -4.011751638710916}сьогодні євромайдан {'tweets': -4.019908971047819, 'retweets': -3.9537596917332287}допомоги євромайдан {'tweets': -4.061301656206044, 'retweets': -3.9537596917332287}інформаційний бюлетень {'tweets': -3.9473583038992075, 'retweets': -4.078698428341529}євромайдан'і києві {'tweets': -3.9473583038992075, 'retweets': -4.078698428341529}куля летіла {'tweets': -4.019908971047819, 'retweets': -3.9026071692858473}загони самооборони {'tweets': -4.061301656206044, 'retweets': -3.9537596917332287}автомайдан євромайдан {'tweets': -3.9473583038992075, 'retweets': -4.011751638710916}міліції який {'tweets': -4.061301656206044, 'retweets': -3.9537596917332287}україні постраждало {'tweets': -3.9821204101584198, 'retweets': -4.011751638710916}проти захарченка {'tweets': -4.019908971047819, 'retweets': -3.9026071692858473}летіла боку {'tweets': -4.019908971047819, 'retweets': -3.9026071692858473}євромайдан азаров {'tweets': -3.9821204101584198, 'retweets': -4.078698428341529}українського народу {'tweets': -4.061301656206044, 'retweets': -3.9537596917332287}украина евромайдан {'tweets': -3.9473583038992075, 'retweets': -4.011751638710916}польщі євромайдан {'tweets': -4.019908971047819, 'retweets': -3.9537596917332287}юрія журавля {'tweets': -3.9821204101584198, 'retweets': -4.011751638710916}демократичний альянс {'tweets': -3.9821204101584198, 'retweets': -4.011751638710916}регіонал грушевський {'tweets': -3.9473583038992075, 'retweets': -4.011751638710916}слава героям {'tweets': -4.019908971047819, 'retweets': -3.9537596917332287}

Page 30: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Висновки

• Інтенсивність вживання терміну “Євромайдан” у публічних повідомленнях Twitter прямо корелюється з напруженістю реальних подій;

• Кожний великий мовний “канал” є окремим сегментом аудиторії з власними унікальними особливостями;

• Для розповсюдження інформації про Євромайдан широко використовувались технології social media marketing (твіттер-шторми, “авто-постінг”, бот-мережі тощо);

• Семантичне значення терміну “Євромайдан” послідовно змінювалось, реагуючі на реальні події (мирний протест-самозахист у відповідь на силову агрессію-етичний/ідеологічний орієнтир);

• Термін “Євромайдан” використовувався у кількох основних типах контексту (обгрунтовуючий, методичний, інформаційний);

• Значення Twitter як організуючого інструменту Революції Гідності переоцінено, ідеологічного – недоцінено;

• Термін “Євромайдан” є повноцінним брендом Революції Гідності.

Page 31: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Інструментарій та основна література• Python 3.4; NLTK; Gephi 0.8.1• Hege van Dijke. Winners and Losers: Political Party Brands in a Multi-Party System. A

Research of the Associations with Political Party Brands before, during and after the 2012 Dutch Election Campaign. Master Thesis, Universiteit van Amsterdam, 2013

• Bohdanova, T. How Internet Tools Turned Ukraine's #Euromaidan Protests Into a Movement. — Global Voices. — 2013 — Retrieved July 20, 2014

• Gruzd, A. & Tsyganova, K. (2014). Politically Polarized Online Groups and their Social Structures formed around the 2013-2014 crisis in Ukraine. — Internet, Politics, Policy 2014: Crowdsourcing for Politics and Policy. — Oxford, UK, 2014

• Szostek, J. (2014). The Media Battles of Ukraine’s EuroMaidan. — Digital Icons 11, 2014• Lawrence A. Social Network Analysis Reveals Full Scale of Kremlin's Twitter Bot

Campaign. https://globalvoicesonline.org/2015/04/02/analyzing-kremlin-twitter-bots/, 2015.

• Жаботинская С.А. ЯЗЫК КАК ОРУЖИЕ В ВОЙНЕ МИРОВОЗЗРЕНИЙ. МАЙДАН–АНТИМАЙДАН: словарь-тезаурус лексических инноваций. http://uaclip.at.ua/, 2015

• Morstatter, Pfeffer, Liu, Carley. Is the Sample Good Enough? Comparing Data from Twitter's Streaming API with Twitter's Firehose. ICWSM, 2013. http://arxiv.org/abs/1306.5204

• Почепцов Г.Г. Сучасні інформаційні війни. Видавничий дім “Києво-Могилянська академія”. 2015.

Page 32: Єгор Лєбєдєв “Фріланс у сфері solid data analysis (сommunication science)”

Контакти

• e@mail: [email protected]• Skype: gor_qkop