根據人得道雞犬升天 探勘社會網絡: 以康熙時期為例 · 3 . 職官年表....

36
闕伯丞、宋邡熏、沈錳坤、蔡銘峰 國立政治大學 資訊科學系 由史料中探勘職官年表: 以清聖祖實錄為例 1 2012 DADHIC

Transcript of 根據人得道雞犬升天 探勘社會網絡: 以康熙時期為例 · 3 . 職官年表....

闕伯丞、宋邡熏、沈錳坤、蔡銘峰

國立政治大學 資訊科學系

由史料中探勘職官年表:

以清聖祖實錄為例

1

2012

DADHIC

2

歷史與資料探勘

資料探勘: 提供史實研究的分析工具

利用資料探勘技術,協助史學家由史料中探勘職官任職資訊(職官的人名與任期資訊)

提出職官任職資訊的應用

–根據「一人得道,雞犬升天」,探勘仕途進退關連分析,建立社群網絡。

–由建立的社群網絡中,探勘分析歷史人物的角色與社群關係

提供歷史學者分析歷史人物仕途進退的工具。

2012

DADHIC

3

職官年表

史料

職官 清單

湖廣總督 任職人名 上任時間 卸任時間

張長庚 順治十八年二月 康熙七年十月

蔡毓榮 康熙九年四月 康熙二十一年正月

董衛國 康熙二十一年正月 康熙二十二年十一月

徐國相 康熙二十三年正月 康熙二十七年三月

丁思孔 康熙二十七年九月 康熙三十三年四月

吳琠 康熙三十三年四月 康熙三十五年六月 李輝祖 康熙三十五年七月 康熙三十八年六月

郭琇 康熙三十八年六月 康熙四十二年正月

喻成龍 康熙四十二年四月 康熙四十四年八月

石文晟 康熙四十四年八月 康熙四十六年五月

郭世隆 康熙四十六年六月 康熙四十九年十月

鄂海 康熙四十九年十月 康熙五十二年四月

額倫特 康熙五十二年四月 康熙五十五年三月 滿丕 康熙五十五年三月 康熙六十一年十一月

江西總督

2012

DADHIC

4

Possible Approach 1: 史料中職官進退用語

官職進退用語(以清實錄為例) – 例如:康熙二十三年正月 「徐國相、陞補湖廣總督」 – 陞、陞、擢、拔、授、遷、晉、襲、轉、署、降、調、調補、降調、黜、貶、護理、起、復、攝、封、贈、追贈、追封、補、補實、委、委用、委署、記名、充、兼、權、以……用、以……補用、儘先……補用、儘先……推補、儘先……選用、以……委用

故宮清代人名權威檔案 – 歷經數年透過學者專家及著錄人員,以人工方式完成一萬多位的清代權威人名檔案。

– 其中,10%至20%的職官任職資訊,不易由前後文的解讀獲得解決。

2012

DADHIC

5

Possible Approach 2: 詞夾子(Word-Clip)

詞夾子:人名常出現的前後詞 (張尚斌’05) – 兵部議覆、湖廣總督丁思孔疏言、武昌兵變

– 先是、武昌兵變、湖廣總督筆帖式克錫類、探知賊有犯荊州之意

– 九卿等議覆、湖廣總督郭琇等、遵旨詳議

– 調江西總督董衛國、為湖廣總督

–徐國相、陞補湖廣總督。

– 湖廣總督鎮國將軍宗室 德沛奏、臣年五十

– 吏部議覆、原任左都御史魏裔介疏言、湖廣總督宜駐荊州。

– 前經湖廣總督審明、收販船戶腳私七千二百餘包

– 湖廣總督護理西安將軍印務陣亡額倫特櫬回京。

2012

DADHIC

Possible Approach 3: 文法剖析

中研院CKIP Chinese Parser

– 兵部議覆、湖廣總督丁思孔疏言、武昌兵變

– 九卿等議覆、湖廣總督郭琇等、遵旨詳議

– 調江西總督董 衛國、為湖廣總督

– 先是、武昌兵變、湖廣總督筆 帖式克錫類、探知賊有犯荊州之意

– 湖廣總督鎮國將軍宗室 德沛奏、臣年五十

– 前經湖廣總督審明、收販船戶腳私七千二百餘包

6

2012

DADHIC

Rationale of Proposed Approach

文本中,擔任此職官的人名,在任職期間,出現的頻率

利用頻繁區間(Frequent Period)之概念, 分析伴隨職官名稱出現之人名

7

2012

DADHIC

8

康熙 元年二月 湖廣總督張長庚疏報、東鄉土司覃繩武…

… …

四年五月 戶部議覆、湖廣總督張長庚疏言、歸州、巴東…

五年十月 兵部議覆、湖廣總督張長庚疏言、殉難總兵官徐勇…

七年十月 …裁湖廣總督缺 九年三月 …復設四川湖廣總督一員… 九年四月 …命吏部左侍郎管右侍郎事蔡毓榮、為四川湖廣總督 十年六月 …四川湖廣總督蔡毓榮疏言、蜀省有可耕之田…

十二年二月 削解任湖廣總督張長庚太子少保銜

十二年十二月 …四川湖廣總督蔡毓榮疏報…

十三年正月 湖廣總督蔡毓榮疏報、賊兵已抵…

… … 二十一年正月 …調湖廣總督蔡毓榮、為雲南貴州總督 二十一年正月 調江西總督董衛國、為湖廣總督

二十二年閏六月 …題參湖廣總督董衛國、不聽調度… 二十二年十一月 湖廣總督董衛國陛辭

張長庚

蔡毓榮

董衛國

2012

DADHIC

Proposed Approach

9

文本 前處理 頻繁區間 項目集合探勘

組合 候選人名

候選人名排名

人名識別與

任期判斷 職官年表

職官清單

2012

DADHIC

前處理(Preprocessing)

Step 1: 由史料中擷取給定職官名稱的句子 Step 2: 將句子轉為二字詞集合(Set of Bi-grams)

– 人名至少二個字 – 例如: 湖廣總督董衛國、不聽調度、任意抗違、貽悞 {董衛,衛國,不聽,聽調,調度,任意,意抗,抗違,貽悞}

10

2012

DADHIC

Proposed Approach

11

文本 前處理 頻繁區間 項目集合探勘

組合 候選人名

候選人名排名

人名識別與

任期判斷 職官年表

職官清單

2012

DADHIC

頻繁區間項目集合探勘 (Frequent Itemset Mining with Periods, Huang et al.’07)

12

時間 二次詞集合 Set of Bigrams

1月

A, C, F A, D, F 頻繁項目集合 頻繁區間 支持度 C, F Frequent Frequent Support A, D Itemset Period

2月

B, C, D, F A, D [1, 1] 2/4 C, F A, F [1, 1] 2/4 B, C, D C, F [1, 3] 5/12 A, B B, C [2, 2] 2/4

3月

C, E, F B, D [2, 2] 2/4 A, B, F C, D [2, 2] 2/4 E, F E, F [3, 3] 2/4 B A, B [4, 4] 3/4

4月

E B, C, D [2, 2] 2/4 A, B, E A, B A, B

2012

DADHIC

Proposed Approach

13

文本 前處理 頻繁區間 項目集合探勘

組合 候選人名

候選人名排名

人名識別與

任期判斷 職官年表

職官清單

2012

DADHIC

組合候選人名

由頻繁項目集合組合出候選人名 組合條件

– 完全頻繁項目集合中的項目,其所對應的Bigram是否彼此有字首(Prefix), 字尾(Suffix)的關係

– 頻繁區間與支持度是否相同 {”那蘭”, “性德”, “蘭性” }:組合為”那蘭性德”

14

2012

DADHIC

15

原句 二字詞的集合 (-Set)

湖廣總督張長庚疏報、東鄉土司覃繩武

張長, 長庚, 庚疏, 疏報, 東鄉,鄉土, 土司, 司覃, 覃繩, 繩武

戶部議覆、湖廣總督張長庚疏言 戶部, 部議, 議覆, 張長, 長庚, 庚疏, 疏言

… …

削解任湖廣總督張長庚太子少保銜 削解,解任,張長, 長庚, 庚太,太子,子少,少保,保銜

… …

調江西總督董衛國為湖廣總督 調江,江西,西總,總督,督董,董衛,衛國,國為

題參湖廣總督董衛國不聽調度 題參, 董衛, 衛國, 國不, 不聽, 聽調, 調度

湖廣總督董衛國陛辭 董衛, 衛國, 國陛,陛辭

張長

長庚

庚疏 …

衛國

董衛

10

10

9

3

3

{張長, 長庚}1, 8: 10 {張長, 長庚, 庚疏} 1, 8 : 9 … {董衛, 衛國}15, 17: 3

Frequent Itemset Mining with

Period

2012

DADHIC

Proposed Approach

16

文本 前處理 頻繁區間 項目集合探勘

組合 候選人名

候選人名排名

人名識別與

任期判斷 職官年表

職官清單

2012

DADHIC

17

候選人名排名

常出現的非人名:疏言、疏報、…

排名指標

–職官變動率:若是非人名,伴隨的職官變動頻繁

–平均任期: 若是非人名,伴隨的職官任期短

–職官品位變化幅度:若是非人名,伴隨的職官品位變化劇烈

–與職官名稱之平均距離(字數):若是非人名,與伴隨的職官名稱之平均字距比較遠

2012

DADHIC

Proposed Approach

18

文本 前處理 頻繁區間 項目集合探勘

組合 候選人名

候選人名排名

人名識別與

任期判斷 職官年表

職官清單

2012

DADHIC

19

人名識別與任期判斷

張長庚 1, 5 蔡毓榮 4,10 徐國相 7,16 疏言 13,20 丁思孔 21,23 吳琠 24,25 李輝祖 19,30

排名結果

人名 頻繁區間

張長庚 蔡毓榮

疏言 徐國相

丁思孔

吳琠

0 30

李輝祖

2012

DADHIC

職官任職資訊實驗 文本

– 清聖祖康熙實錄 順治十八年元月份~康熙六十一年十一月

七百六十六個月(其中二十三個閏月)

三百多萬字

– 清代職官年表:錢實甫 實驗職官

– 正二品與從二品 – 總督(21)、巡撫(23)、布政使(17)

20

2012

DADHIC

職官任職資訊實驗(續) 實驗結果

21

數量 number

平均精準度 average

precision

平均召回率 average

recall

加權平均 精準度

weighted average

precision

加權平均 召回率

weighted average

recall

總督 21 0.633 0.604 0.800 0.672

巡撫 23 0.767 0.592 0.905 0,678

布政使 17 0.614 0.211 0.657 0.220

合計 61 0.678 0.490 0.787 0.524

Minimum support: 60%

2012

DADHIC

職官任職資訊誤判的癥結

職官名稱與人名出現次數少

–延綏巡撫:清聖祖實錄中,第一次出現在順治十八年,最後一次出現在康熙三十三年,三十三年間總共只出現七次。

史料用字不一致

–白秉真(山西總督、直隸山東河南總督),在康熙元年至康熙八年間共出現六次,但清聖祖實錄中有四次是白秉真,有二次是白秉貞。

22

2012

DADHIC

職官任職資訊誤判的癥結(續)

清聖祖實錄與清代職官年表說法不一

–清聖祖實錄中康熙元年六月載有「雲南總督趙廷臣疏言、曹滴司改土為流...」

–清代職官年表中此時的雲南總督是卞三元

職官名稱異動

–陝西總督、山陜總督、川陜總督

–湖廣總督、川湖總督

23

2012

DADHIC

24

職官任職資訊的應用: 社群網絡探勘

(Social Network Mining) 政治人物社群網絡探勘

–一人得道,雞犬升天

–根據仕途陞貶關連,建立社群網絡

–步驟

產生陞官序列

循序共陞樣式探勘

社群網絡建立

社群網絡分析與視覺化

2012

DADHIC

25

循序共陞樣式 Sequential Co-occurrence Patterns

Time 3年1月

3年2月

3年3月

3年4月

3年5月

A

B C

3年6月

3年7月

3年10月

3年12月

13年3月

13年4月

3年11月

13年5月

13年6月

13年7月

D

E

F

A

B

C D

E

F

A

B

C

D

E

F G

H

I

J

K

… …

… 3年8月

3年9月

… G L

M

N

O

P G

Q

R

{A,B} → {C} → {D,E,F} 出現3次

Pattern Mining

3月內 3月內

2012

DADHIC

26

建立社群網絡

A

B

C D

E

5+2

3+2 2

{A} → {B} : 5 {B} → {C} : 3 {D} → {E} : 2 {A} → {B} → {C}: 2 2

2012

DADHIC

27

社會網絡分析 中心性分析(Centrality Analysis) : 角色重要性

– Degree centrality – Betweeness centrality – Closeness centrality – Eigenvalue centrality (Pagerank) – …

社群探勘 (Community Detection): 派系 – Modularity – Graph Partitioning – Bridge-Cut – …

2012

DADHIC

視覺化社群網絡(Visualization)

28

2012

DADHIC

29

特例:同時出現前後官職名稱

康熙 江西總督 十三年七月 江西總督董衛國疏報、閩賊侵犯 …

十三年八月 江西總督董衛國疏報、閩逆盤踞 …

… …

二十年三月 江西總督董衛國疏報、山西提督周卜世… 二十一年正月 調江西總督董衛國、為湖廣總督…

康熙 湖廣總督 二十一年正月 調江西總督董衛國、為湖廣總督… 二十二年閏六月 題參湖廣總督董衛國、不聽調度…

二十二年十一月 湖廣總督董衛國陛辭

江西總督

董衛國

湖廣總督

董衛國

調江西總督董衛國、為湖廣總督

2012

DADHIC

30

特例:出現前任的人名

削解任湖廣總督張長庚太子少保銜

康熙 九年四月 …命吏部左侍郎管右侍郎事蔡毓榮、為四川湖廣總督 十年六月 …四川湖廣總督蔡毓榮疏言、蜀省有可耕之田…

十二年二月 削解任湖廣總督張長庚太子少保銜

十二年十二月 …四川湖廣總督蔡毓榮疏報…

十三年正月 湖廣總督蔡毓榮疏報、賊兵已抵…

… … 二十一年正月 …調湖廣總督蔡毓榮、為雲南貴州總督

湖廣總督

蔡毓榮

2012

DADHIC

31

特例:同時出現多個官職與人名

江南江西總督董訥、漕運總督慕天顏、各疏請叩謁

康熙 江南江西總督 二十六年三月 以左都御史董訥、為江南江西總督

二十七年正月 江南江西總督董訥、漕運總督慕天顏、各疏請叩謁大行..

二十七年四月 以刑部右侍郎傅拉塔、為江南江西總督

康熙 漕運總督

二十六年三月 陞貴州巡撫慕天顏、為漕運總督 二十六年十月 漕運總督慕天顏疏言、江浙漕運過江...

二十七年正月 江南江西總督董訥、漕運總督慕天顏、各疏請叩謁大行..

二十七年二月 漕運總督慕天顏疏言、前臣等會勘河工...

江西總督

董訥

漕運總督

慕天顏

2012

DADHIC

32

特例:次數高的名詞卻非人名

疏言、疏報、議覆…

康熙 江西總督

十三年七月 江西總督董衛國疏報、閩賊侵犯 …

十三年八月 江西總督董衛國疏報、閩逆盤踞 …

十三年九月 江西總督董衛國疏報、龍泉…

十三年 十月 江西總督董衛國疏報、賊犯湖口

十三年十一月 江西總督董衛國疏報、臣標右營遊…

十四年九月 安親王岳樂疏報、江西總督董衛國標下效用遊擊周志新

江西總督

董衛國 ?

江西總督

疏報?

2012

DADHIC

33

候選人名排名(續)

平均任期 –擔任不同職官之間的平均間隔時間

–非人名不同職官之間變化激烈 時間任期間隔相當短

–疏報

順治十八年三月 廣東廣西總督

順治十八年五月 廣東巡撫

順治十八年六月 福建巡撫

順治十八年六月 四川陜西總督

順治十八年七月 福建總督

順治十八年七月 湖廣總督

間隔2個月

間隔1個月

間隔0個月

間隔0個月

間隔1個月

平均任期

4/5 = 0.8

2012

DADHIC

34

候選人名排名(續)

職官品位變化幅度

– 累積被貶官的變化幅度 官員在仕途中不太可能老是一直被貶官

–清朝官制品位 正一品、從一品、正二品、…、正九品、從九品

–例子:額倫特 通政使左副都御史為正三品-正三品 = 0 (品位差)

左副都御史湖廣提督為正三品-從一品 = 3

湖廣提督湖廣總督為從一品-正二品= -1

–僅累計品位差為負的值

額倫特 1 康熙三十六年六月 通政使 0 康熙三十九年十一月 左副都御史 0 康熙五十二年四月 湖廣提督 0 康熙五十二年九月 湖廣總督 4 康熙五十五年十月 西安將軍 9 康熙五十六年十月 內大臣 4 康熙五十八年十二月 西安將軍 6 康熙六十年十一月 副都統

2012

DADHIC

35

候選人名排名(續)

職官變動率

– 仕途中職官變動的頻率 在所有史料記載當中,職官變動頻繁與否 非人名變動率高,無固定擔任的職官

–例子:額倫特

4次職官變動

在史料中額倫特總共與職官名稱一起出現了14次

額倫特職官變動率 = 4/14,約為0.28

額倫特 1 康熙三十六年六月 通政使 0 康熙三十九年十一月 左副都御史 0 康熙五十二年四月 湖廣提督 0 康熙五十二年九月 湖廣總督 4 康熙五十五年十月 西安將軍 9 康熙五十六年十月 內大臣 4 康熙五十八年十二月 西安將軍 6 康熙六十年十一月 副都統

2012

DADHIC

36

候選人名排名(續)

與各職官名稱平均距離

– 人名與職官名稱之間間隔字數都不會太遠 – 非人名並非擔任職官的名詞,相較人名與職官名稱的距離理論上會較遠

–例子:額倫特

與職官名稱總共一起出現14次

與所有職官名稱的距離總和為24

額倫特與各職官名稱的平均距離約為1.71

2012

DADHIC