愛知学院大学『経営管理研究所紀要』第 18 号 2011 年 12 月 35

回帰分析における相関係数と回帰係数の対応関係について

A Note on Correspondence between Correlation Coefficients and Regression Coefficients in Regression Analysis

田中浩光

Hiromitsu TANAKA

和文要旨

回帰分析では，最小二乗推定回帰式について解釈上の問題が指摘されている。本稿では ， 回帰デー

タの基本情報である相関係数と回帰分析後の最小二乗推定回帰係数の対応関係に着目する 。 準共線

性の現象(田中 (2003) ) と抑制 (suppression) ，高揚(enhancement) の現象について，上記の

視点に基づき整理を試みる 。 相関係数と回帰係数の対応関係の 1 例として 単相関係数の比が偏回

帰係数の比にどのように影響を及ぼすかを考察・吟味する 。

英文要旨

In linear regression analysis , we have a lot of troubles with the interpretation of least

squares estimates of regression coefficients. In this article, we consider the correspondence

between correlation coefficients and least squares estimates of regression coefficients.

According to this point of view, we consider and examine the phenomina of near collinearity,

suppression and enhancement. As a example, we numerically examine the influence of the

ratio between correlation coefficients on partial coefficients of regression.

和文キーワード:回帰診断，標本上の解釈，抑制，冗長性，高揚

英文キーワード: Regression diagnostic , Interpretation over sample, Suppression,

Redundancy , Enhancement

目次

1 .はじめに

2. 回帰分析に関連する統計量

3. 相関係数と回帰係数の対応関係

4. Suppression と Enhancement

5. Suppression の分類、

6. 例示:単相関係数比と偏回帰係数比の 1 つの対応関係

7. おわりに

36 『経営管理研究所紀要J 第 18 号 2011 年 12 月

1 .はじめに

回帰分析では，説明変数間の相関が高いとき，

最小二乗法による推定回帰式の解釈に際して，

不整合な結果に遭遇することが多く見られる 。

所謂，多重共線性問題が生じる 。 この難題に対

する技法上の対策は多様に研究されているが決

定的解決となる方策は未だない。近年，Hamilton

(1987) により，多重共線性問題と異なる新た

に奇異な現象として 2 個の説明変数の重回帰

分析における回帰平方和に関する再指摘がなさ

れることで，注目されることになった(関連する最

初の指摘は Horst(1941) )。この抑制 (suppression)

の研究は Hamilton の再指摘以前に，教育統計

領域・心理統計領域の研究者によって，精力的

に研究がなされている(参考文献を参照)。彼

らの関心は，相関係数が回帰分析の実施後の偏

回帰係数にどのように影響を及ぼしているかに

集中する。同様な視点から，回帰分析での説明

力となる決定係数にも関心が見られ， Currie

& Korabinski (1984) は，高揚 (enhancemet)

の現象を定義しているが，決定係数の意味で，

後年の Hamilton (1987) の抑制 (suppression)

と同一である 。

本稿では，回帰データの基本情報である相関

係数と回帰分析後の最小二乗推定回帰係数の対

応関係に着目する。準共線性の現象の特定(田

中 (2003)) と suppresslOn の現象，そして高

揚 (Enhancement) について，上記の視点に

基づき再整理を試みる 。 6 節では，相関係数と

回帰係数の対応関係の 1 例として，単相関係数

の比が偏回帰係数の比にどのように影響を及ぼ

すかを数値的に考察・吟味する 。

2. 回帰分析に関連する統計量

本稿では， 目的変数 y を設定したとき，二つ

の説明変数 Xb X2 で，被説明変数である目的

変数 y を記述することを考える。本稿では，標

本のみに着目して考察を進める。標本サイズは

n とする。また，計算の便宜上，切片項を省略

し，相関形式のデータとする。すなわち， Yi ,

Xli, X2i については，それぞれゼロとする 。 また，

I X1i2 1 , I X2/ = 1

I Yi2

= 1

とする 。 観測値形式では， Y, Xl, X2 はそれぞれ Yi ， X1i, X2i からなる n X 1 ベクトル

である 。

説明変数を単一にするときの回帰係数の推定

値を b1 んとし説明変数を 2 個とする回帰係

数の推定値を b1 . 0,2) , b2. 0,2) とする 。 Y と

X1, Y と X2 ， X1 と X2 の相関係数をそれぞれ

ry1 , ry2, r12 とする。

単回帰係数の推定値 b1 ，b2 を，重回帰係数の推定値 b1 . 0,2) , b2. ( 1 ， 2 ) を相関係数で次のよう

に表すことができる 。

b1 = ry1 (1)

b2 ry2 (2)

b1 . 0,2) (ry1 -r12ry2) / 1 (1 -r1/) (3)

b2. (リ (ry2 -r12ry1) / 1 (1 -r122) (4)

X1 の影響を取り除くときの Y と X2 の偏相関係数は，次式で与えられる。

ry2' 1 = (ry2 -r12ry1) / 1 (1-ry/) (1-r1/) f 2

(5)

同様に， X2 の影響を取り除くときの Y と X1の偏相関係数は，次式で与えられる 。

ry1 '2= (ry1 -ry2r12) / 1 (1-ry12) (1-r1/) f 2

(6)

重相関係数の二乗は 次式で与えられる 。

、、

-aJ'

ヴt

〆rst\

門ノ“

qL

vd

r

、I

P

ノ

つ白

'i

vd

r

1i

〆，，，、、+

η4

vd

r

一一

η4 R

ここに， Y を X1 で説明すときの寄与率(決定係数)は ry12 で表される 。 同様に， Y を X2で説明すときの寄与率(決定係数)は ry12 で表

される。等式 (6) の右辺の第 2 項は説明変数

値ベクトルである X2 が X1 に及ぼす影響の大きさ，すなわち抑制効果として捉えることができ

る 。

相関係数(値)行列の存在条件として次の半

定値条件があることに注意する 。

1 + 2ry内

(8)

以下に，相関係数 (ryb ry2, r12) が存在す

回帰分析における相関係数と回帰係数の対応関係について

る領域を与える(図 1a ~図 1h を参照)。この

とき， r12=α ( - 1 孟 α 孟 1) を固定して， (rYl'

ry2) の存在を与える 。 いずれの図も，式 (8)

を満足する領域は灰色部分が相当する 。 視察に

よると，相関係数 r12 の絶対値が大きくなるに

したがい，存在領域が小さくなることがわかる 。

注意すべきは，いずれの場合 (α に対して)も，

相関行列の存在条件である不等式 (8) の成立

に対して， (rYl' ry2) が全区間で存在することである。

37

(1)符号の意味で 同一に保たれているか。

(2) 大小関係でどのように変化するか。

3 節 .4 節で取り上げる抑制の問題，準共線

性現象の特定の問題は(1)に相当する。

4. Suppression と Enhancement

Hamilton (1987) の再指摘により，説明変数

の回帰平方和 SSR (X.) に関する，次の不等

- 1 豆 ryl 孟 l

-1 玉 ry2 三五 1

(9a) 式が成立するとき， X2 は X1 を suppress する

(9b) と呼ばれる (Hamilton (1987)) 。

(r12 =-1.0)

¥

(r12 = 1.0) r" '

/

r ,. '

/

図 1 a. (ry1 , ry2): r12 = 0.0 図 1 b. (ry1. ry2): r12 = 1.0 (ry1. ry2) : r12 = -1.0

図 1c. (rY1' ry2) :r12 = 0 . 1 図 1d. (ry1 , ry2) :r12 =-0.1

げ 1ro. U¥lr [J7í' I-'~ J

一一

恥

図Ru

nu

r

e

図

図 1 g. (ry1. ry2) : r12 = 0.8 図 1 h. (ry1. ry2) :r12 =ー 0.8

3. 相関係数と回帰係数の対応関係

単相関係数，偏相関係数と最小二乗推定での

単回帰係数，偏回帰係数の対応関係に着目する。

6 節で検討する，相関係数の比と最小二乗推定

回帰係数の比の関係について，下記の視点に基

づいて考察する。

SSR (Xlo X2) > SSR (X1) + SSR (X2)

また，回帰標本 (Y， X1, X2) を相関形式に直すとき. Suppression の生起は次式となる。

R2> ry/ + ry2

Suppression の生起領域は，通常，相関係数

の比 y (= ry2 / ryl) と r12 を用いて，

Rs= 1( y , r12) I r12>0 , (1 + Y 2)r12>2 y f u j( y , r12) I r12<0 , (1 + Y 2)r12<2 y f

を得る(図 2 ， Hamilton (1987) ，田中 (2007)).

図 2 の視察に基づき，回帰診断の観点から，

suppression は次のように解釈できる(田中

(2008) )。

① 説明変数値 X1 ， X2 間の相関係数 r12 の絶対

値が大きいほど，すなわち r12 の絶対値が 1

に近づくほど Suppression が生じる 。

② ryl と ry2 の相関が， r12 の符号・大きさに対

し著しく整合性を欠くときに， suppreSSlOn

が生じる 。 また， ryl と ry2 のいずれか一方の

みが小さいときに，すなわち y の絶対値が l

から離れるにしたがって， suppression は生

じる 。

③ 説明寄与の程度の大きさは， suppreSSlOn

の生起について，影響を及ぼさない。

とくに，説明変数の選定は suppression の生

起に及ぼす影響が大きいことを示唆する 。

38 『経営管理研究所紀要』第 18 号 2011 年 12 月

本節では，説明変数値行列が準共線性を有す

る現象を，相関係数 r12 と回帰係数の最小二乗

推定値の対応関係で特定化する。準共線性の現

象の解釈として，相関係数領域 (r12 ， y) に基

づく suppression の生起領域が，準共線性の現

象を特定する領域 (2004a) ，田中 (2005)) を

包含することに着目する。準共線性の現象を生

起する領域を図 3 に示す。図 3 での灰色部分が

準共線性の現象の生起領域である。

(1) 推定単回帰係数の符号

r12> 0 のとき，

b1 • b2 > 0

r12 < 0 のとき，b1 • b2 < 0

(2) 推定重回帰係数の符号

r12> 0 のとき，

b1 • b2 > 0

b1. (1，2) ・ b2 ・ (1，2) < 0

r12 < 0 のとき，b1 • b2 < 0

b1 ・ (1，2 ) . b2. (1,2) > 0

図 3 と図 4 の視察から，抑制 (suppression)

の生起領域 Rs と準共線現象を生起する領域 Rc

の聞には包含関係が成立する (Currie & Korabinski (1984)) ，田中 (2003a) )。

Rs C Rc

γ

1rgE

噌ー

ト84

2

-噌A

』

図 2. Suppression の領域Rs: (r12, y)

γ

③ ④

r12 噌i

噌im

4・a'

句細'

噂句'

明暗ー『噌i

Eb

図 3. 準共線性の現象の領域Rc: (r12, y)

5 闘 Suppression の分類

Hamilton (1987) 以前に，教育統計分野，心

理統計分野を中心として抑制 (suppression)

に関する研究がみられる (Cohen，J & Cohen,P

(1975) , Lewis & Escobar (1986) など)。

ここでは，抑制 (suppression) についての

総合文献として， Lewis & Escobar (1986) 文

献を中心に紹介する。

Cohen,J & Cohen,P (1975) により，

Suppression と Redundancy が生起する条件

が与えられている。相関形式のデータに基づき，

非負の値に限定している。回帰分析の状況を第

l の変数を主要な変数として捉える。すなわち，

第 l の変数を所与のものとして固定する。その

上で第 2 の変数を選択する問題して考える。前

提として，

ry1 孟 ry2を設定する (r 亘1)。

以下に， suppression, redundancy が生起す

る条件を，相関係数の情報に基づいて，回帰係

数と最小二乗推定値の関係で整理する(表 1) 。

以下，表 l に基づいて各現象を図 3 に照らし

て説明する (1 ミ r 孟 0) 。

(1) X1, X2 が直交する。すなわち説明変数値として理想的な選定となっている。この場合，

下記の式が成立することは周知である。

R2 ニ ry12 + ry22

(2)現象②は古典的抑制 (classical suppression)

と呼ばれる (Horst (1941) )。

(3)現象③は協同的抑制 (cooperative suppression)

回帰分析における相関係数と回帰係数の対応関係について 39

表 1. 抑制，冗長性に対する条件

相関条件現象 標準化回帰係数に関する影響

r12 ry2

二。 X1 と X2 が直交① b1 = b10 0.2)

b2 = b20 0.2)

ヰ O ry2 ニ O 古典的抑制② 0 く b2 く b1 く b1 0 (1.2)

く O ry2> 0 協同的抑制③ b1 = b10 0.2)

b2 = b20 0.2)

>0 0 く ry2 く ry1r12 純抑制④ b20 ( 1.2) く O く b2 く b1 く b 1 o O .2 )

>0 ry2 > ry1r12 冗長l空⑤ 0 く b1 0 ( 1 . 2) く b 10 く b2 0 ( 1.2) く b2

Cohen & Cohen (1975)

表 2. 抑制，冗長性に対する一般条件

相関係数 現象 回帰係数に関する影響

r12 = 0 X1 と X2 が直交①b1 = b10 (1.2) b2 = b2 0 (1.2)

ryl ry2 二 o ( r12 ヰ O のとき) 古典的抑制②

ry1 ry2 r12 = 0 協同的抑制③

Iryil > Ir刀 I Ir121 > 0 純抑制④

I ryj I く I ryi I I r121

I ry11 > I ry21 I r121 > 0 冗長性⑤

I ry21 > I ry11 I r121

と呼ばれる(図 3) 。

(4)現象④は純抑制 (net suppression) と呼ば

れる(図 3) 。

(5)現象⑤は冗長性(redundancy) と呼ばれる(図 3) 。

Lewis & Escobar ( 1986) に より，

Suppression と Redundancy が生起する条件

が与えられている 。相関形式のデータに基づき，

非負の値に限定している 。 回帰分析の状況は，

Cohen,J & Cohen,P (1975) と同様に，第 1 の

変数を主要な変数として捉えているが，相関係

数 ry1 . ry2. r12 の範囲については， 制限がな さ

れていない。

6. 例示:単相関係数比と偏回帰係数比の

1 つの対応関係

本節では，単相関係数の比 ryz/rY12 が偏回帰

係数の比であ る b2 0 (1.2) fb1 0 (1 .2) に及ぼす影響に

ついて数値的吟味を通 して調べる。田中

b1 b2 = 0 (b1 0 (1.2) b2 0 ( 1 . 2) ヰ O のとき)

Ib11 = Ib10 0.2) I

I b2 I = I b2 0 0.2) I

b20 ( 1 .2) く O く b2 く b1 く b10 (1,2)

0 く I b10 0.2) I く Ib11

0 く I b2 00.2) I く Ib2 1

Lewis & Escobar (1986)

(2007a) の指摘 (4 節②)により，単相関係数

の対 (ry2. ryJ においてバランスを欠くとき ，

抑制 (suppression) の現象を惹起するこ とが

知られている。

「想定J

単相関係数の対 (ry2. ry12) が良好なバラン

スを有するとき，すなわち単相関係数の比

ryz/rY12 が l に近いとき は偏回帰係数の比であ

る b2 0 (1,2) /b1 0 ( 1 .2) は l に近くなる。また，単相

関係数の対 (ry2. ry1) のバランスが悪いとき，すなわち ry2/ry12 が l から離れるにしたがって，

偏回帰係数の比である b2 0 (1,2) fb1 0 0.2) について

も l から大きく変化する 。

上記の想定のもと. ryz/rY12 が b2 0 (1.2) fb1 0 0.2)

に及ぼす影響について数値的に調べる 。

単相関係数の比 ryz/rY1 を y として，偏回帰係

数の比である b2 ・ 0 ， 2) /b1 0 0 ，2) を ゆとおく 。

40 『経営管理研究所紀要』第 18 号 2011 年 12 月

y rY2/ry

φ= b2 ・ ( 1 ，2 ) 1b 1 ・ 0 ，2)

(10)

(ll)

のを相関係数であらわすとき， (3) ， (4) を用

いて次式を得る 。

ゆ= (ry2 - r12ry1) I (ry1 - r12ry2) (ll)

ここに， ry1 ヰ O であるので，

(ry2/ry1 -r12) I 1 (1 -r12 ryzlry1) (12)

( y -r12) I 1 (1 -r12 y) (13)

を得る。このとき，ゆが y と r12 で記述できる

ことから，以降では φ を φ( y , r12) で表示する。

φ ( y , r12) = ( Y -r12) I 1 (1 -r12 y) (14)

また，数値的吟味の際， r12 を固定 して y が

のに及ぼす影響を調べるこ とから，次式の記述

が有用である。

ゆ (y I r12) = ( Y -r12) I 1 (1 -r12 y) (15)

以下，下記の事項にしたがい Y ryzlrY12

がゆ (y I r12) = b2. 0 ,2) 1b1 . 0 ，2) に及ぼす影響について調べる。

φ

-2 IY

同 2

図 5a r 12=0 のときの φ の振舞

b 制

2

(y 12=-1)

-2 e 1 2 Y

(y 12= 1)

-2

一図 5b r12=1 , - 1 のときの φ の振舞

1)

‘ -3 -2 :シ 1 12 s 4 15 s 7 18 19 V

一::::::F -1

-2 トー一

片ートー-3 V〆

-,‘ / -5

-� ノ〆

-7 レ/

-8 レ/-9 _ ll.ω叩'--い崎町

図 5b r 1 2=0.5 のときの φの振舞

φ

/ s

/ g

F

s

/ き

4 /'

一一一3

「

2 t..,:::::: /一/ t---t-""

r ー9 1-8 -71-& -5 -41-3 21f' o 11 2 13 14 Y

げ -2

-3

-4

図 5b r12= - 0.5 のときの φ の振舞

(1)説明変数聞の単相関係数日が O のとき，

すなわち説明変数聞が直交しているとき

の b2 . (1,2) 1b1. ( 1 ， 2) に及ぼす影響を調べる(図

5a 参照)。

(2) 説明変数聞の単相関係数日が 1 もしく

は- 1 のとき，すなわち 2 つの説明変数

ルが完全に冗長になるときの b2 . 0 ,2) 1b1

( 1 ， 2) に及ぼす影響を調べる(図 5b 参照) 。

(3) 説明変数聞の単相関係数 r12 が正値のと

き，すなわち説明変数聞が正の意味で

冗長になるときの b2 . 0 ,2) 1b1 . 0 ，2) に及 ぼ

す影響を調べる(図 5c 参照)。

(4) 説明変数間の単相関係数 r12 が負値の と

き，すなわち説明変数聞が負の意味で

冗長になるときの b2 . (1,2) 1b1 ・ (1 ， 2) に及 ぼ

す影響を調べる(図 5d 参照) 。

以下，上記の図 5a ~ 5d の視察にもとづき，

Y ry2/ry12 が ゆ (y I r12) 二 b2 . 0,2) 1b1 . ( 1 ，2) に

回帰分析における相関係数と回帰係数の対応関係について 41

及ぼす影響について考察・吟味する 。

(1) r12 が O のとき，ゆ = y となる 。 すなわち

説明変数聞が直交しているときの単相関

係数の比 ry2/ry1 は偏回帰係数の比である

b2. (1,2) /b1. 0，2) に一致し，理想的である(図

5a 参照) 。

(2) r12 カ宝 l のとき， ゆ= - 1 となる 。 また，

r12 が- 1 のとき，ゆ= - 1 となる 。 すな

わち 2 つの説明変数ルが完全に冗長にな

るとき b2 . 0 ,2) /b1 . ( 1 ， 2 ) に及ぼす影響は反対

になり，想定しにくいものであったる(図

5b 参照) 。

(3) r12 が =0.5 のときの曲線( y ， φ) は， ( y ,

φ) = (2, - 2) で対称となることがわ

かる(図 5c 参照) 。

(4) r12 が= -0.5 のときの曲線( y ， ゆ)は，

( y ， ゆ(-2 ，2) で対称となること

がわかる(図 5d 参照) 。

7. おわりに

回帰分析は実質科学分野での研究主題の解決

に有力な道具である 。 一方，実地の適用では，

固有知識と分析結果が合致しないことに，往々

にして遭遇する 。 本稿では 回帰分析の適用上

の問題， とくに説明変数の選定に関わる多重共

線性問題とその周辺をとりあげた。 奇異な現象

を惹起する抑制 (suppression) の問題を中心

にして，解釈可能性を確保する視点に基づき考

察・吟味した。とくに 回帰デー タの基本情報

である相関係数と最小二乗回帰係数の対応関係

に着目した。 とりわけ，単相関係数の比 ry2/ry12

が偏回帰係数の比である b2 . 0,2) /b1 . 0 ，2) に及ぼ

す影響について数値的吟味を通して検討した。

説明変数聞の相関係数日の符号が負のとき偏

回帰係数の比は想定外の振舞いを示し興味深

い結果を得ることになった。 より実地に合致す

る回帰分析を指向するとき 相関係数の符号が

負値となる回帰分析での適用上の問題について

考察・吟味が必須となる 。

参考文献

1 .Horst,P. (1941) The prediction of personal

adjustment, Social Science Research Council

Bulletin (New York) No.48.

2 .Lubin ,A. (1957) Some formulae for use

with suppressor variables ,Educational and

Psychological Measurement,17,pp.286-296.

3 .Darlington,R. (1968) Multiple regression

in psychological research and practice ,

Psychological Bulletin,69,pp.161-182.

4 .Conger ,A. (1974) Arevised definition

for suppressor variables A guide to

their identification and interpretation ,

Educational and Psychological Measurement,

34,pp.35-46.

5.Cohen ,J. and Cohen ,P. (1975) Applied

Multiple Regression/Correlation Analysis

for the Behavioral Sciences (New Jersey ,

Lawrence Erlbaum Associates)

6 .Hoerl,A.E.and Kennard,R.W. (1980) .A note

on least squares estimates. Communication

in Statistics,9,pp.315-317.

7 .Currie ,I.and Korabinski ,A. (1984) .Some

comments on bivariate regression , The

Statistician,33,pp.283-293.

8.Lewis ,J.W. and Escobar ,L ,A. (1986) .

Suppression and enhancement in bivariate

regression,The Statistician,35,pp.17-26.

9 .Hamilton,D (1987) .Some Times R2 > ry12

+ ry/, Correlated variables are not always

redundant.The American Statistician,Vo1.41 ,

mNo.2,pp.129-132.

10.Holland,L.S. (1987) .On the interpretation

and use of R2 in regression analysis,Biomet

rics ,43,pp.61-69.

1l .Schey,H.M. (1993) .The relationship between

the magnitude of SSR (X2) and SSR

(X21 X1) ,The American Statistician,47,pp.14.

12.Sharpe,N.R. and R.A.Roberts (1997) . The

relationship among sums of squares, correlation

coefficients and suppression. The American

Statistician,51,1,pp.46-49.

13.Shieh,G. (2001) .The inequality between the

coefficients of determination and the sum of

squared simple correlation coefficients.The

American Statistician,55,2,pp.121-124.

14. 田中浩光 (2003a) .最小二乗推定回帰係数の

幾何学的解釈-抑制と準共線性一.愛知学院大

学論叢経営学研究，l2 巻，4号，pp.87-97.

42 『経営管理研究所紀要J 第 18 号 2011 年 12 月

15. 田中浩光 (2003b) .回帰分析における

Suppression と準共線性 .2003 年度統計関連学

会連合大会(第 71 回日本統計学会)講演報告

集，pp.96-97.

16. 田中浩光 (2003c) . 回帰分析における準共線

性の影響最小二乗推定回帰係数の符号の

変化一.愛知学院大学経営管理研究所紀要，10

号，pp .87-94.

17. 田中浩光 (2004a) .回帰分析における

Suppression の解釈，2004 年度統計関連学会連

合大会(第 72 回日本統計学会)講演報告集

18. 田中浩光 (2004b) .回帰分析における

Suppression. 愛知学院大学論叢経営学研究，13

巻，3 ・ 4 合併号，pp.33-52.

19. 田中浩光 (2005) .主成分回帰推定量の選定一

固有値基準と Suppression-. 愛知学院大学経

営管理研究所紀要，11 号，pp.65-73.

20. 田中浩光 (2006a) .回帰分析における整合性

について .2006 年度統計関連学会連合大会(第

74 回日本統計学会)講演報告集，pp.157.

21.田中浩光 (2006b) .最小二乗回帰推定値の整

合性について . 愛知学院大学経営管理研究所紀

要，13 号，pp.59-68.

22. 田中浩光 (2007) .回帰診断と Suppression，

2007 年度統計関連学会連合大会(第 75 回日本

統計学会)講演報告集，pp11.