Introduction to Text Mining

(data)3 base|warehouse|mininghttp://www.dataminingtrend.com

http://facebook.com/datacube.th

Eakasit Pacharawongsakda, Ph.D.

Co-founder of Data Cube & Certified RapidMiner Analyst

facebook.com/datacube.th

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Install text mining plugin to RM6• ตดตง text mining plugin ลงใน RapidMiner Studio 6

• เลอกเมน Help > Marketplace (Updates and Extensions)…

2

1

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Install text mining plugin to RM6• คนหา plugin ทชอวา text processing

3

2

4

3

5

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Install text mining plugin to RM6• เลอก I accept terms of all license agreements.

4

6

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Install text mining plugin to RM6• RapidMiner Studio 6 จะทำการดาวนโหลด plugin และตดตงให

5

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Install text mining plugin to RM6• หลงจากตดตงเสรจแลวจะใหทำการ restart RapidMiner Studio 6

6

7

สญลกษณของ text mining plugin

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • ดงขอมลจาก Twitter โดยใชโอเปอเรเตอร Search Twitter

7

1

3

2

4

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • สราง Connection ใหมสำหรบดงขอมลจาก Twitter

8

5

6

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • Connection ใหมจะถกสรางขนมาดานซายมอ

• สราง access token ใหม

9

7

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • คลกทปม Request access token

10

8

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • คลกทปม Authorize app

11

9

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • copy หมายเลข PIN ทแสดงอยและนำไปใสใน RapidMiner Studio 6

12

10

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • paste ตวเลข PIN ลงในชอง Copy Code

13

11

12

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • คลกทปม Save all changes

14

13

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • ใส keyword ทตองการคนหา เชน ซเกมส ในพารามเตอร query

15

14

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Search Twitter • ผลการคนหาใน Twitter

16

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• ตวอยางขอมลจาก Data Science Thailand meetup #1

• ขอมลจาก Twitter แบงเปน 2 ประเภท (class)

• Tweet ทเกยวของกบรานกาแฟ Amazon

• Tweet อนๆ ทไมไดหมายถงรานกาแฟ Amazon อาจจะเปนเวบไซต amazon.com

17

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Text Mining Example• ภาพรวมของ Process ทสรางขน

18

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• โอเปอเรเตอรทเกยวของ

19

โอเปอเรเตอร คำอธบาย

Read CSVใชสำหรบอานไฟลประเภท CSV มาใชงาน ในตวอยาง Process นอานไฟล training data มาใชงาน

Read Excelใชสำหรบอานไฟลประเภท Excel มาใชงาน ในตวอยาง Process นอานไฟล testing data มาใชงาน

Naive Bayesใชสำหรบสรางโมเดล Naive Bayes เพอ classify ขอมลออกเปน Amazon หรอ Other

Apply Modelใชสำหรบนำโมเดล (classification model) ไปทำนาย (predict) ขอมลใหม

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• โอเปอเรเตอรทเกยวของ

20

โอเปอเรเตอร คำอธบาย

Performance ใชสำหรบวดประสทธภาพของโมเดลทสรางขนมา

Validation ใชสำหรบแบงขอมลและทำการทดสอบแบบ cross-validation

Process Documents from Data

ใชสำหรบสำหรบจดการขอความ (text) ทอานไดจากไฟล

Tokenize ใชสำหรบตดคำออกเปนคำศพทตางๆ

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• โอเปอเรเตอรทเกยวของ

21

โอเปอเรเตอร คำอธบาย

Filter Tokens by Length

ใชสำหรบกรองคำศพท (token) ทมคานอยกวาหรอมากกวาทกำหนด

Stem (Porter)ใชสำหรบแปลงคำศพทใหอยในรปของรากศพทภาษาองกฤษ (root)

Filter Stopwords(English)

ใชสำหรบตดคำเชอมหรอคำทไมจำเปนทง

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• โหลดขอมล twitter.csv ดวยโอเปอเรเตอร Read CSV

22

1

1

2

3

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เลอกไฟล twitter.csv

23

4

5

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เปลยน File Encoding เปน UTF-8 และเลอก Comma “,”

24

6

7

8

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• คลกท Next ไดเลยครบ

25

9

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เปลยนแอตทรบวต Class ใหเปน label และ Tweet เปน text

26

1011

12

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เพมโอเปอเรเตอร Process Document from Data เพอทำ preprocess ขอมล text

• เลอก vector creation เปนแบบ TF-IDF

• เลอก prune method เปน percentual เพอ prune คำระหวาง 3% - 30%

27

13

14

15

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• double click ทโอเปอเรเตอร Process Document from Data

• เพมโอเปอเรเตอร Tokenize เพอตดคำ และตอ port doc เขากบ Tokenize

28

16

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เพมโอเปอเรเตอร Stem (Porter) เพอทำ stemming (แปลงขอมล

ใหเปน root)

• ตอ port จาก Tokenize ไปยง Stem (Porter)

29

16 17

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เพมโอเปอเรเตอร Filter Tokens (by Length) เพอลบคำทสนหรอ

ยาวเกนไป

• ตอ port จาก Stem (Porter) ไปยง Filter Tokens (by Length)

30

18

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เพมโอเปอเรเตอร Filter Stopwords เพอลบคำทเปน stopword ทง

• ตอ port จาก Filter Tokens (by Length) ไปยง Filter Stopwords

31

19

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• ผลการทำงานจะตดคำตางๆ ออกมาได พรอมทงความถของคำตางๆ

32

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• ผลการทำงานแสดงขอมลในรปแบบตาราง โดยมคำตางๆ เปน

แอตทรบวต

33

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• คลกขวาในสวน Main Process และเลอกเมน Insert Building Block

และเลอกเมน Nominal X-Validation

• ตอพอรต mod และ ave ของโอเปอเรเตอร X-Validation ไปยง res

34

20

21

22

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• double click ทโอเปอเรเตอร X-Validation

• เปลยนโอเปอเรเตอรจาก Decision Tree เปน Naive Bayes แทน

35

23

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• กดปม Run เพอดผลการทดสอบประสทธภาพของโมเดล

36

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• โมเดล NaiveBayes ทสรางได

37

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• หลงจากสรางโมเดลและวดประสทธภาพไดเรยบรอยแลว ขนตอนถดมาจะเปนการนำโมเดล

ไปใชงาน

• ใชโอเปอเรเตอร Read Excel เพออานไฟลทดสอบทอยในรปแบบ Excel

38

24

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เปลยนแอตทรบวต prediction (Label) ใหเปน label และ Tweet เปน text

39

2526

27

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• copy โอเปอเรเตอร Process Documents from Data มาตอกบ Read Excel

และตอพอรต wor มาตอกบโอเปอเรเตอร Process Documents from Data

4028

29

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• เพมโอเปอเรเตอร Apply Model เพอนำโมเดลไป predict ขอมลใหม

41

30

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Example: Amazon coffee?• กดปม Run เพอดผลการ predict

42

ผลการ predict