差分プライバシーとは何か？定義 & 解釈編

南 賢太郎東京大・情報理工 　博士 1 年

2016/7

スライドの趣旨取り扱う話題

• 差分プライバシー (en: Differential Privacy)という概念を紹介

2

スライドの趣旨取り扱う話題

• 差分プライバシー (en: Differential Privacy)という概念を紹介

1. 何をするためのものか？2. どの程度有益か？3. どの程度有益ではないか？4. 研究上の一般的課題は何か？

3

スライドの趣旨取り扱う話題

• 差分プライバシー (en: Differential Privacy)という概念を紹介

1. 何をするためのものか？2. どの程度有益か？3. どの程度有益ではないか？4. 研究上の一般的課題は何か？

スライド作成動機

• 筆者は差分プライバシーを研究

• 概念そのものが根本的にわかりづらく，お茶の間の話題にしづらい

• 「これさえ読めばわかる」資料を用意したい4

日本人の 43% は iPhone ユーザー（？）

5[http://www.kantarworldpanel.com]

日本におけるモバイル OS シェアの

43.2% が iOS(2016/4 現在 )

@WWDC2016

[http://www.apple.com/apple-events/june-2016/] 6

@WWDC2016

[http://www.apple.com/apple-events/june-2016/] 7

注目

Apple が公表したこと 2016/6/14 (JST)

要点：• iOS の次期バージョン (10) では，より多く

の人工知能ソリューションを搭載• 予測変換や絵文字推薦の精度向上のため，

多数のユーザーが利用したパターンを収集• 個人情報は差分プライバシーによって保護

8

Apple が公表したこと 2016/6/14 (JST)

意訳：• あなたたちが入力した文章を解析するけど

プライバシー的には安全です

9

C. Federighi の発言 @WWDC2016

“Differential privacy is a research topic in the area of statistics and data analytics that uses hashing, subsampling, and noise injection to enable this kind of crowdsourced learning while keeping the information of each individual user completely private.”

差分プライバシーは：1. 統計学およびデータ解析の研究領域であり2. サブサンプリングやノイズ付加を利用することで3. ユーザーの個人情報を完全に保護したまま

学習を行うことを可能にする！10

ユーザーの反応：”差分プライバシー”

って何…？

11

（バズった）

12

（バズった）

13

Dwork, et al. (2006) 以降，アカデミアの地道な活動で

ほぼ線形に増加してきた知名度が，Apple 副社長の 30 秒のプレゼンで

一瞬にして 5 倍に

C. Federighi の発言 @WWDC2016

“Differential privacy is a research topic in the area of statistics and data analytics that uses hashing, subsampling, and noise injection to enable this kind of crowdsourced learning while keeping the information of each individual user completely private.”

差分プライバシーは：1. 統計学およびデータ解析の研究領域であり2. サブサンプリングやノイズ付加を利用することで3. ユーザーの個人情報を完全に保護したまま

学習を行うことを可能にする！14

研究者の反応：

“ 個人情報を完全に保護”

って何…？

15

実社会への応用に際する疑問

• 差分プライバシーを研究したことがあれば，差分プライバシーは個人情報を完全に保護するものではないことがわかる

16

実社会への応用に際する疑問

• 差分プライバシーを研究したことがあれば，差分プライバシーは個人情報を完全に保護するものではないことがわかる

• とはいえ，実社会での応用を検討したとき，どの程度正当に使われうるかということが（研究者にとっても）未知数

17

実社会への応用に際する疑問次のような疑問が生じる：

A) 個人情報とは何か？（問題のスコープ）

B) 個人情報の保護とは何か？（数理的定式化）

C) 「完全に保護」とは何か？（定量化）

18

実社会への応用に際する疑問次のような疑問が生じる：

A) 個人情報とは何か？（問題のスコープ）• どのようなデータ形式の情報を• 誰に対して漏洩させたくないのか？

B) 個人情報の保護とは何か？（数理的定式化）

C) 「完全に保護」とは何か？（定量化）

19

A. 個人情報のスコープどんな情報を誰に対して漏洩させたくないか？

20

保護すべき情報匿名化済みのユーザーのあらゆるデータ

「匿名化は無意味」

• 単純な匿名化処理（名前を消すのみ）では

プライバシーを保護したことにならない• 例： スポーツデータ

21

「匿名化は無意味」

• 単純な匿名化処理（名前を消すのみ）では

プライバシーを保護したことにならない• 例： スポーツデータ

22

2005 年度のある球技種目の戦績（球技種目名およびチーム名は匿名化済み）

33 - 4チーム A チーム B

「匿名化は無意味」

• 単純な匿名化処理（名前を消すのみ）では

プライバシーを保護したことにならない• 例： スポーツデータ

23

2005 年度のある球技種目の戦績（球技種目名およびチーム名は匿名化済み）

33 - 4チーム A チーム B

特定の理由：1. 外れ値である2. 有名な公開情報である

1

1: [https://ja.wikipedia.org/wiki/2005 年の日本シリーズ ]

「匿名化は無意味」

• 単純な匿名化処理（名前を消すのみ）では

プライバシーを保護したことにならない

特定の危険性がある状況：

1. 外れ値的なデータの存在

2. 他の公開情報との突き合わせ（名寄せ）

24

「匿名化は無意味」

• 単純な匿名化処理（名前を消すのみ）では

プライバシーを保護したことにならない

特定の危険性がある状況：

1. 外れ値的なデータの存在

2. 他の公開情報との突き合わせ（名寄せ）

• 匿名化は前提として，それ以上の高度な

情報漏洩量制御を考える必要がある

25

A. 個人情報のスコープどんな情報を誰に対して漏洩させたくないか？

26

保護すべき情報匿名化済みのユーザーのあらゆるデータ

漏洩させたくない相手(A) データ解析結果利用者 (e.g. 他のユー

ザー )(B)データ収集者 (e.g. Apple 社 )

A. 個人情報のスコープどんな情報を誰に対して漏洩させたくないか？

27

保護すべき情報匿名化済みのユーザーのあらゆるデータ

漏洩させたくない相手(A) データ解析結果利用者 (e.g. 他のユー

ザー )(B)データ収集者 (e.g. Apple 社 ) どちらの相手への漏洩を考慮するかで少なくとも 2種類のアーキテクチャがあ

る

データ解析タスク

28

𝑋 1 𝑋 2 𝑋𝑛

⋯

ユーザーのデータ データ収集 / 解析者 統計量

データ解析タスク

タスク 公開したい量 平均値

線形回帰

分類29

𝑋 1 𝑋 2 𝑋𝑛

⋯

ユーザーのデータ データ収集 / 解析者 統計量

データ収集のアーキテクチャ(A) 出力型プライバシー• データ収集者はユーザーの生データを収集• データを復元できないようにデータ解析結果を加工

30

𝑋 1 𝑋 2 𝑋𝑛

⋯

データ収集のアーキテクチャ(B) 局所型プライバシー• データ収集者も信用しないモデル• ユーザー側でデータを乱雑化してから収集

31• （ Apple がやりたいのはこちら…？）• 本スライド以降は出力型プライバシーに注目

𝑋 1 𝑋 2 𝑋𝑛

⋯

ケーススタディ

1. プライバシーポリシーに同意した

ユーザーの生データを集めた

データから計算した統計量を第三者に公開

出力型プライバシー

32

ケーススタディ

2. ユーザーの生データはそもそも集められない( 例： メール，チャットの文面）

しかし，「ある文脈で多く使われた絵文字」

などのデータマイニングを行いたい

ユーザー側の端末でデータを乱雑化して収集

局所型プライバシー33

実社会への応用に際する疑問次のような疑問が生じる：

A) 個人情報とは何か？（問題のスコープ）

B) 個人情報の保護とは何か？（数理的定式化）• 出力型プライバシーどうやって定式化するのか• どういう風に解釈できるのか or できないのか

C) 「完全に保護」とは何か？（定量化）

34

B. プライバシー保護の定式化例：「 Twitter やってますか？」 (Yes: 1, No:

0)

35

𝑋 1 𝑋 2 𝑋𝑛

⋯

1 と答えた人の割合：

敵対者　

　の個人情報を

暴きたい

B. プライバシー保護の定式化例：「 Twitter やってますか？」 (Yes: 1, No:

0)

36

𝑋 1 𝑋 2 𝑋𝑛

⋯

1 と答えた人の割合：

B. プライバシー保護の定式化例：「 Twitter やってますか？」 (Yes: 1, No:

0)

37

𝑋 1 𝑋 2 𝑋𝑛

⋯

𝑋 1′ 𝑋 2 𝑋𝑛

⋯

1 と答えた人の割合：

補助情報

（運の悪いことに）敵対者は以外は知っている

B. プライバシー保護の定式化例：「 Twitter やってますか？」 (Yes: 1, No:

0)

38

𝑋 1 𝑋 2 𝑋𝑛

⋯

𝑋 1′ 𝑋 2 𝑋𝑛

⋯

1 と答えた人の割合：

補助情報

B. プライバシー保護の定式化例：「 Twitter やってますか？」 (Yes: 1, No:

0)

39

𝑋 1 𝑋 2 𝑋𝑛

⋯

𝑋 1′ 𝑋 2 𝑋𝑛

⋯

1 と答えた人の割合：

補助情報

敵対者の能力として「補助情報つき攻撃」を許すとを決定的に公開してはならない

B. プライバシー保護の定式化対策：統計量の公開を充分に乱雑化する

40

𝑋 1 𝑋 2 𝑋𝑛

⋯

ノイズ

B. プライバシー保護の定式化対策：統計量の公開を充分に乱雑化する

41

𝑋 1 𝑋 2 𝑋𝑛

⋯

𝑋 1′ 𝑋 2 𝑋𝑛

⋯

B. プライバシー保護の定式化対策：統計量の公開を充分に乱雑化する

42

𝑋 1 𝑋 2 𝑋𝑛

⋯

𝑋 1′ 𝑋 2 𝑋𝑛

⋯

ノイズは にとっては小さい 解析には影響なし

ノイズはにとっては大きい プライバシー保護

差分プライバシー：定義アイデア：

1. 統計量は必ずランダムに公開 ( 分布 : )2. 隣接するデータセット（＝ハミング距離

1 ）に対する分布が近い

43

𝑋 1 𝑋 2 𝑋𝑛

⋯

𝑋 1′ 𝑋 2 𝑋𝑛

⋯

分布として近い

差分プライバシー：定義定義： Differential Privacy [DMNS06]

• とする• が - 差分プライバシーを満たすとは，

1. 任意の隣接する 2. 任意の ( 可測 ) 集合

に対して次の不等式が成り立つことをいう：

• 特に のときは - 差分プライバシーともいう

44

例： Laplaceメカニズム観察

• 密度が互いに倍以下なら - 差分プライバシーを達成 :

45

( は の確率密度 )

例： Laplaceメカニズム観察

• 密度が互いに倍以下なら - 差分プライバシーを達成 :

46

( は の確率密度 )

例： Laplaceメカニズム観察

• 密度が互いに倍以下なら - 差分プライバシーを達成 :

Laplace Mechanism1 [DMNS06]

• 平均に Laplace ノイズを加えたものは -DP

47

( は の確率密度 )

1: 本来はもう少し一般的な主張

例： Laplaceメカニズム

48

𝑋 1 𝑋 2 𝑋𝑛

⋯𝑋 1′ 𝑋 2 𝑋𝑛

⋯

Laplace ノイズを足した出力の密度

例： Laplaceメカニズム

49

𝑋 1 𝑋 2 𝑋𝑛

⋯𝑋 1′ 𝑋 2 𝑋𝑛

⋯

Laplace ノイズを足した出力の密度

平均の差を隠蔽できるくらい分散が大きく，

かつ裾が重いノイズ

データ取扱事業者：

“心配ありません”

50

データ取扱事業者：

“ あなたの個人情報は- 差分プライバシーで

保護されています”

51

ユーザー：

“…… ？？？”

52

定義の正当性• や が小さいほどデータは強く保護される

のはまあわかる

53

定義の正当性• や が小さいほどデータは強く保護される

のはまあわかる

• 定義の不等式：

• や が小さいほど不等式はタイトであり，とが大きく変化できない

54

定義の正当性• や が小さいほどデータは強く保護される

のはまあわかる

• 定義の不等式：

• や が小さいほど不等式はタイトであり，とが大きく変化できない

• しかし，特定の が使われたとして，「あなたのデータ」は結局どの程度安全か？

55

定義の正当性• や が小さいほどデータは強く保護される

のはまあわかる

• 定義の不等式：

• や が小さいほど不等式はタイトであり，とが大きく変化できない

• しかし，特定の が使われたとして，「あなたのデータ」は結局どの程度安全か？

56

Q. 情報の復元不可能性という意味で，別の基準（統計学 or 情報理論）からの

意味づけを考えることはできるか？

再掲：補助情報つき攻撃

57

𝑋 1 𝑋 2 𝑋𝑛

⋯

𝑋 1′ 𝑋 2 𝑋𝑛

⋯

再掲：補助情報つき攻撃

58

𝑋 1 𝑋 2 𝑋𝑛

⋯

𝑋 1′ 𝑋 2 𝑋𝑛

⋯

どのような復元手段

を使ったとしても，情報量的な意味である精度以上は復元不可能なことを

（統計的に）保証したい

仮説検定による解釈 [WZ10][BD14]

• は隣接

• 次の検定問題を考える：

• を任意の検定とする• i.e. を入力して， と のどちらが真であるか決定するような可測な判断

59

仮説検定による解釈 [WZ10][BD14]

• 敵対者は を観測して，判断 を行う

定理 ([WZ10] Thm 2.4, 少し改変 )• が -DP のとき，次が成り立つ

• 特に，有意水準 の検定で，検出力が 以上であるものを作ることはできない

• 注： 検出力＝

60

第１種過誤第２種過誤

仮説検定による解釈 [WZ10][BD14]

• 敵対者は を観測して，判断 を行う

定理 ([BD14], Prop 1)• が -DP のとき，次が成り立つ

• さらに

61

第１種過誤 第２種過誤

仮説検定による解釈 [WZ10][BD14]

数値感• 検出力 = 本当はデータセットが であるときに，

「である」という仮説を正しく棄却できる確率 大きい方がよい

• が - 差分プライバシーを満たすとき を見て判断を行う敵対者は，有意水準5% で検出力 5.6% 以上の検定を作れない

• が - 差分プライバシーを満たすとき を見て判断を行う敵対者は，有意水準5% で検出力 10.05% 以上の検定を作れない 62

解釈性に関するメッセージ• 例 : (Yes, No)-値個人情報• 当然ながら，

「コインを投げて表なら Yes と決めつける」という戦略で 50% の確率で個人情報が漏洩

• 差分プライバシーでいくら保護しても「当てずっぽう」で漏洩する可能性はある

「邪推したら当たっていた」というタイプの情報漏洩は絶対に防げない

63

解釈性に関するメッセージ

要点

• 差分プライバシーは，「この人のデータが であるという仮説」に統計学的な信頼を一定量以上与えられないという意味での保護にすぎない

… という事実が理解されないまま普及するといつかどこかで炎上する気がする

64

実社会への応用に際する疑問次のような疑問が生じる：

A) 個人情報とは何か？（問題のスコープ）

B) 個人情報の保護とは何か？（数理的定式化）

C) 「完全に保護」とは何か？（定量化）• そんなうまい話があるのか• うまくいかない場合，（研究上の）課題は何なの

か65

C. プライバシー保護の定量化• 差分プライバシーの枠組みにおける

「完全な保護」とは？

66

定義（再掲）定義： Differential Privacy [DMNS06]

• とする• が - 差分プライバシーを満たすとは，

1. 任意の隣接する 2. 任意の ( 可測 ) 集合

に対して次の不等式が成り立つことをいう：

67

定義（再掲）定義： Differential Privacy [DMNS06]

• とする• が - 差分プライバシーを満たすとは，

1. 任意の隣接する 2. 任意の ( 可測 ) 集合

に対して次の不等式が成り立つことをいう：

68

= プライバシー保護強度

C. プライバシー保護の定量化• 差分プライバシーの枠組みにおける

「完全な保護」とは？• 形式的には のはず

69

C. プライバシー保護の定量化• 差分プライバシーの枠組みにおける

「完全な保護」とは？• 形式的には のはず

70

C. プライバシー保護の定量化• 差分プライバシーの枠組みにおける

「完全な保護」とは？• 形式的には のはず

71

「データの情報を全て捨てる」

C. プライバシー保護の定量化• 差分プライバシーの枠組みにおける

「完全な保護」とは？• 形式的には のはず

72

「データの情報を全て捨てる」

• データ解析を行う以上，完全な保護は不可能！

• 解析精度とプライバシーの双方の定量化が必要

「完全に保護」したままで解析は無理

一般にはトレードオフがあると考えるのが自然

73 （小さいほど保護が強い）

学習

の損失

達成可能な領域

「完全に保護」したままで解析は無理

一般にはトレードオフがあると考えるのが自然

74 （小さいほど保護が強い）

学習

の損失

達成可能な領域

「完全に保護」したままで解析は無理

一般にはトレードオフがあると考えるのが自然

75 （小さいほど保護が強い）

学習

の損失

達成可能な領域

• ある保護強度を決めたとき，理想的にはどれだけの精度でデータ解析が可能か？

解析タスクに依存するはず

プライバシー制約下での最適性

最適なトレードオフ（赤線）を特定する

• 図の縦軸

＝「小さくしたい量」

＝損失関数 or リスク

76

研究上の課題• を固定して，達成可能な中での最適値の性質について考える：

• 2006 年から研究が進められてきたものの，依然として未解決な部分が多い• どのようなタスクであればプライバシーを充分に

保護したままで実行できるか？

77

研究上の課題• を固定して，達成可能な中での最適値の性質について考える：

• 2006 年から研究が進められてきたものの，依然として未解決な部分が多い• どのようなタスクであればプライバシーを充分に

保護したままで実行できるか？• 平均などの統計値の算出• 線形回帰• 2値分類 (SVM, Logistic回帰， etc.)• Deep learning (?)• … 78

研究動向のまとめもいずれ作りたいです…（生命力があれば）

まとめ

A) 個人情報とは何か？（問題のスコープ）

匿名化済みデータを出力型プライバシーの枠組みで

ランダム化によって保護する

B) 個人情報の保護とは何か？（数理的定式化）

- 差分プライバシー：

隣接するデータセットの間での出力分布のロバスト性

C) 「完全に保護」とは何か？（定量化）

データを「使う」以上，完全な保護は不可能

保護強度と解析精度のトレードオフの見極めが重要

79

参考文献論文[BD14] Barber and Duchi. Privacy and statistical risk: formalisms and minimax bounds. Arxiv preprint, 2014.[DMNS06] Dwork, McSherry, Nissim and Smith. Calibrating noise to sensitivity in private data analysis. In Theory of Criptography Conference, 2006.[WZ10] Wasserman and Zhou. A statistical framework for differential privacy. The Journal of the American Statistical Association, 105:375--289, 2010

画像いらすとや [http://www.irasutoya.com]

80