作者贾俊平

作者贾俊平作者贾俊平统计学

统统计计学学(( 第三版第三版 ))

20082008

11 - 11 - 22 20082008 年年 88月月

统计学统计学STATISTICSSTATISTICS

(( 第三版第三版 ))

模型选择是艺术，而不是科学。模型选择是艺术，而不是科学。

—— ——William NavidiWilliam Navidi

统计名言统计名言

第 11 章主成分分析和因子分析

11.111.1 主成分分析主成分分析11.2 11.2 因子分析因子分析

11 - 11 - 44 20082008 年年 88月月


(( 第三版第三版 ))学习目标学习目标

主成分分析和因子分析的基本原理主成分分析和因子分析的基本原理主成分分析和因子分析的异同主成分分析和因子分析的异同主成分分析和因子分析的数学模型主成分分析和因子分析的数学模型用用 SPSSSPSS 进行主成分分析和因子分析进行主成分分析和因子分析用主成分分析和因子分析对实际问题进行用主成分分析和因子分析对实际问题进行

综合评价综合评价

11 - 11 - 55 20082008 年年 88月月



在研究实际问题时，往往需要收集多个变量。但这在研究实际问题时，往往需要收集多个变量。但这样会使多个变量间存在较强的相关关系，即这些变样会使多个变量间存在较强的相关关系，即这些变量间存在较多的信息重复，直接利用它们进行分析量间存在较多的信息重复，直接利用它们进行分析，不但模型复杂，还会因为变量间存在多重共线性，不但模型复杂，还会因为变量间存在多重共线性而引起较大的误差而引起较大的误差

为能够充分利用数据，通常希望用较少的新变量代为能够充分利用数据，通常希望用较少的新变量代替原来较多的旧变量，同时要求这些新变量尽可能替原来较多的旧变量，同时要求这些新变量尽可能反映原变量的信息反映原变量的信息

主成分分析和因子分子正式解决这类问题的有效方主成分分析和因子分子正式解决这类问题的有效方法。它们能够提取信息，使变量简化降维，从而使法。它们能够提取信息，使变量简化降维，从而使问题更加简单直观问题更加简单直观

主成分分析和因子分析主成分分析和因子分析(Principal Component Analysis & Factor Analysis)(Principal Component Analysis & Factor Analysis)

11 - 11 - 66 20082008 年年 88月月


(( 第三版第三版 ))因子分析得到的是什么？因子分析得到的是什么？

因子分析方法在部分领域应用的一些例子因子分析方法在部分领域应用的一些例子心理学：心理学：心理学家瑟斯登对心理学家瑟斯登对 5656 项测验的得分进行因子分项测验的得分进行因子分

析，得出了析，得出了 77 中主要智利因子：词语理解能力，语言流中主要智利因子：词语理解能力，语言流畅能力、计数能力、空间能力、记忆力、知觉速度和推畅能力、计数能力、空间能力、记忆力、知觉速度和推理能力理能力

教育学：教育学：某师范大学在对以幼儿园某师范大学在对以幼儿园 33 ～～ 66 岁幼儿为对象，岁幼儿为对象，通过通过 8080 名幼儿教师对名幼儿教师对 480480 名幼儿好奇心行为特征描述的名幼儿好奇心行为特征描述的开放式问卷调查，编制出开放式问卷调查，编制出 6060 个项目的初始问卷，对个项目的初始问卷，对 500500名幼儿的初测结果进行探索性因子分析后，形成了名幼儿的初测结果进行探索性因子分析后，形成了 3333 个个项目的正式问卷，对项目的正式问卷，对 10001000 名幼儿的评价结果进行验证性名幼儿的评价结果进行验证性因子分析，结果表明：教师评价的因子分析，结果表明：教师评价的 33 ～～ 66 岁幼儿好奇心岁幼儿好奇心结构包括敏感、对未知事物的关注、好问、喜欢摆弄、结构包括敏感、对未知事物的关注、好问、喜欢摆弄、探索持久和好奇体验探索持久和好奇体验 66 个因子个因子

11 - 11 - 77 20082008 年年 88月月



医学：医学：一位研究者对山东某县一位研究者对山东某县 20002000 ～～ 20022002 年年 33年的全死因调查资料中不同地区各恶性肿瘤标化年的全死因调查资料中不同地区各恶性肿瘤标化死亡率进行因子分析后发现，该县居民恶性肿瘤死亡率进行因子分析后发现，该县居民恶性肿瘤的发病和死亡具有明显的地区分布。在地区分布的发病和死亡具有明显的地区分布。在地区分布中，各种恶性肿瘤的死亡具有一定程度的聚集性。中，各种恶性肿瘤的死亡具有一定程度的聚集性。经因子分析得到的经因子分析得到的 44 个主因子可以解释个主因子可以解释 1010 种恶种恶性肿瘤死亡率的性肿瘤死亡率的 74.5474.54 ％；％； 1010 种恶性肿瘤中，种恶性肿瘤中，被解释的比例最小也在被解释的比例最小也在 6262 ％以上；而胃癌、白％以上；而胃癌、白血病、膀胱癌、乳腺癌、结肠癌死亡率被解释的血病、膀胱癌、乳腺癌、结肠癌死亡率被解释的比例均在比例均在 7777 ％以上，表明这％以上，表明这 1010 种恶性肿瘤之间种恶性肿瘤之间存在中等偏强的内在联系和地区分布特点存在中等偏强的内在联系和地区分布特点

11 - 11 - 88 20082008 年年 88月月



地质学：地质学：海南岛的石绿铁矿及外围地区有透辉石透闪岩石和阳海南岛的石绿铁矿及外围地区有透辉石透闪岩石和阳起石两种岩石。地质工作者对两种岩石标本的起石两种岩石。地质工作者对两种岩石标本的 1111 种化验数据种化验数据进行了因子分析，分别得到进行了因子分析，分别得到 55 种和种和 44 种主要因子。结果表明，种主要因子。结果表明，透辉石透闪岩石与阳起石有明显区别，前者的元素组合属碳酸透辉石透闪岩石与阳起石有明显区别，前者的元素组合属碳酸盐沉积型，后者属岩浆分异型。透辉石透闪岩石中铁的沉积与盐沉积型，后者属岩浆分异型。透辉石透闪岩石中铁的沉积与泥质成分有关，属于正常沉积。由此推断石绿铁矿的主要成矿泥质成分有关，属于正常沉积。由此推断石绿铁矿的主要成矿为沉积作用，并据此提出了找矿标志和找矿方向为沉积作用，并据此提出了找矿标志和找矿方向

上市公司评价：上市公司评价：某研究者选择某研究者选择 3535 家能源类上市公司，根据家能源类上市公司，根据 20200707 年的年的 1212 项经营指标数据，采用因子分析法分别按盈利能力、项经营指标数据，采用因子分析法分别按盈利能力、资产管理能力、偿债能力及经营业绩综合评分等方面对资产管理能力、偿债能力及经营业绩综合评分等方面对 3535 家家上市公司进行了排名。其中：盈利能力排在前上市公司进行了排名。其中：盈利能力排在前 55 位的是：神火位的是：神火股份、海油工程、兰花科创、潞安环能和中国石油；经营业绩股份、海油工程、兰花科创、潞安环能和中国石油；经营业绩综合得分排在前综合得分排在前 55 位的是：神火股份、潞安环能、兰花科创、位的是：神火股份、潞安环能、兰花科创、海油工程和开滦股份海油工程和开滦股份

11.1 11.1 主成分分析主成分分析

11.1.1 11.1.1 主成分分析的基本原理主成分分析的基本原理 11.1.2 11.1.2 主成分分析的数学模型主成分分析的数学模型 11.1.3 11.1.3 主成分分析的步骤主成分分析的步骤

第第 11 11 章主成分分析和因子分析章主成分分析和因子分析

11.1.1 11.1.1 主成分分析的基本原理主成分分析的基本原理


11 - 11 - 1111 20082008 年年 88月月



主成分的概念由主成分的概念由 Karl PearsonKarl Pearson 在在 19011901 年提出年提出考察多个变量间相关性一种多元统计方法考察多个变量间相关性一种多元统计方法研究如何通过少数几个主成分研究如何通过少数几个主成分 (principal compon(principal compon

ent)ent) 来解释多个变量间的内部结构。即从原始变来解释多个变量间的内部结构。即从原始变量中导出少数几个主分量，使它们尽可能多地保量中导出少数几个主分量，使它们尽可能多地保留原始变量的信息，且彼此间互不相关留原始变量的信息，且彼此间互不相关

主成分分析的目的：数据的压缩；数据的解释主成分分析的目的：数据的压缩；数据的解释常被用来寻找判断事物或现象的综合指标，并对综常被用来寻找判断事物或现象的综合指标，并对综合指标所包含的信息进行适当的解释合指标所包含的信息进行适当的解释

什么是主成分分析？什么是主成分分析？(principal component analysis)(principal component analysis)

11 - 11 - 1212 20082008 年年 88月月



对这两个相关变量所携带的信息对这两个相关变量所携带的信息 (( 在统计上信息往往在统计上信息往往是指数据的变异是指数据的变异 )) 进行浓缩处理进行浓缩处理

假定只有两个变量假定只有两个变量 xx11 和和 xx22 ，从散点图可见两个变量，从散点图可见两个变量存在相关关系，这意味着两个变量提供的信息有重叠存在相关关系，这意味着两个变量提供的信息有重叠

主成分分析的基本思想主成分分析的基本思想 (( 以两个变量为例以两个变量为例 ))

如果把两个变量用如果把两个变量用一个变量来表示，一个变量来表示，同时这一个新的变同时这一个新的变量又尽可能包含原量又尽可能包含原来的两个变量的信来的两个变量的信息，这就是降维的息，这就是降维的过程过程

11 - 11 - 1313 20082008 年年 88月月



椭圆中有一个长轴和一个短轴，称为主轴。在长轴方向，数据椭圆中有一个长轴和一个短轴，称为主轴。在长轴方向，数据的变化明显较大，而短轴方向变化则较小的变化明显较大，而短轴方向变化则较小

如果沿着长轴方向设定一个新的坐标系，则新产生的两个变量如果沿着长轴方向设定一个新的坐标系，则新产生的两个变量和原始变量间存在一定的数学换算关系，同时这两个新变量之和原始变量间存在一定的数学换算关系，同时这两个新变量之间彼此不相关，而且长轴变量携带了大部分的数据变化信息，间彼此不相关，而且长轴变量携带了大部分的数据变化信息，而而


短轴变量只携带了一小部短轴变量只携带了一小部分变化的信息分变化的信息 (( 变异变异 ))

此时，只需要用长轴方此时，只需要用长轴方向的变量就可以代表原向的变量就可以代表原来两个变量的信息。这来两个变量的信息。这样也就把原来的两个变样也就把原来的两个变量降维成了一个变量。量降维成了一个变量。长短轴相差越大，降维长短轴相差越大，降维也就越合理也就越合理

11 - 11 - 1414 20082008 年年 88月月



多维变量的情形类似，只不过是一个高维椭球，无法多维变量的情形类似，只不过是一个高维椭球，无法直观地观察直观地观察

每个变量都有一个坐标轴，所以有几个变量就有几主每个变量都有一个坐标轴，所以有几个变量就有几主轴。首先把椭球的各个主轴都找出来，再用代表大多轴。首先把椭球的各个主轴都找出来，再用代表大多数数据信息的最长的几个轴作为新变量，这样，降维数数据信息的最长的几个轴作为新变量，这样，降维过程也就完成了过程也就完成了


找出的这些新变量找出的这些新变量是原来变量的线性是原来变量的线性组合，叫做主成分组合，叫做主成分

11.1.2 11.1.2 主成分分析的数学模型主成分分析的数学模型


11 - 11 - 1616 20082008 年年 88月月



数学上的处理是将原始的数学上的处理是将原始的 pp 个变量作线性组合，作为新的个变量作线性组合，作为新的变量变量

设设 pp 个原始变量为，新的变量个原始变量为，新的变量 (( 即主成分即主成分 ))为，主成分和原始变量之间的关系表示为为，主成分和原始变量之间的关系表示为

主成分分析的数学模型主成分分析的数学模型

pxxx ，，， 21 pxxx ，，， 21

pyyy ，，， 21 pyyy ，，， 21

pppppp

pp

pp

xaxaxay

xaxaxay

xaxaxay

2211

22221212

12121111

主成分分析的数学模型主成分分析的数学模型

aij 为第 i 个主成分 yi 和原来的第 j 个变量 xj 之间的线性相关系数，称为载荷 (loading) 。比如， a11 表示第 1 主成分和原来的第 1 个变量之间的相关系数， a21

表示第 2 主成分和原来的第 1 个变量之间的相关系数

aij 为第 i 个主成分 yi 和原来的第 j 个变量 xj 之间的线性相关系数，称为载荷 (loading) 。比如， a11 表示第 1 主成分和原来的第 1 个变量之间的相关系数， a21

表示第 2 主成分和原来的第 1 个变量之间的相关系数

11 - 11 - 1717 20082008 年年 88月月



选择几个主成分？选择标准是什么？选择几个主成分？选择标准是什么？被选的主成分所代表的主轴的长度之和占了主轴被选的主成分所代表的主轴的长度之和占了主轴总程度之和的大部分总程度之和的大部分

在统计上，主成分所代表的原始变量的信息用其在统计上，主成分所代表的原始变量的信息用其方差来表示。因此，所选择的第一个主成分是所方差来表示。因此，所选择的第一个主成分是所有主成分中的方差最大者，即有主成分中的方差最大者，即 Var(yVar(yii)) 最大最大

如果第一个主成分不足以代表原来的个变量，在如果第一个主成分不足以代表原来的个变量，在考虑选择第二个主成分，依次类推考虑选择第二个主成分，依次类推

这些主成分互不相关，且方差递减这些主成分互不相关，且方差递减

主成分的选择主成分的选择

11 - 11 - 1818 20082008 年年 88月月



究竟选择几个主成分才合适呢？究竟选择几个主成分才合适呢？一般要求所选主成分的方差总和占全部方差的一般要求所选主成分的方差总和占全部方差的 8080

%% 以上就可以了。当然，这只是一个大体标准，以上就可以了。当然，这只是一个大体标准，具体选择几个要看实际情况具体选择几个要看实际情况

如果原来的变量之间的相关程度高，降维的效果如果原来的变量之间的相关程度高，降维的效果就会好一些，所选的主成分就会少一些，如果原就会好一些，所选的主成分就会少一些，如果原来的变量之间本身就不怎么相关，降维的效果自来的变量之间本身就不怎么相关，降维的效果自然就不好然就不好

不相关的变量就只能自己代表自己了不相关的变量就只能自己代表自己了

主成分的选择主成分的选择

11.1.3 11.1.3 主成分分析的步骤主成分分析的步骤


11 - 11 - 2020 20082008 年年 88月月



对原来的对原来的 pp 个指标进行标准化，以消除变个指标进行标准化，以消除变量在水平和量纲上的影响量在水平和量纲上的影响

根据标准化后的数据矩阵求出相关系数矩根据标准化后的数据矩阵求出相关系数矩阵阵

求出协方差矩阵的特征根和特征向量求出协方差矩阵的特征根和特征向量确定主成分，并对各主成分所包含的信息确定主成分，并对各主成分所包含的信息给予适当的解释给予适当的解释

主成分分析的步骤主成分分析的步骤

11 - 11 - 2121 20082008 年年 88月月



【例】【例】根据我国根据我国 3131 个省市自治区个省市自治区 20062006 年的年的 66 项项主要经济指标数据，进行主成分分析，找出主主要经济指标数据，进行主成分分析，找出主成分并进行适当的解释成分并进行适当的解释

主成分分析主成分分析 (( 实例分析实例分析 ))

11 - 11 - 2222 20082008 年年 88月月



第 1 步选择【 Analyze】下拉菜单，并选择【 Data Reduction-

Factor】，进入主对话框第 2 步在主对话框中将所有原始变量选入【 Variables】第 3 步点击【 Descriptives】，在【 correlation Matrix】下

选择【 Coefficirnts】，点击【 Continue】回到主对话框第 4 步点击【 Extraction】，在【 Display】下选择【 Scree Plot】，点击【 Continue】回到主对话框第 5 步点击【 Rotation】，在【 Display】下选择【 Loading Plot】，点击【 Continue】回到主对话框点击【 OK】

用用 SPSSSPSS 进行主成分分析进行主成分分析

11 - 11 - 2323 20082008 年年 88月月


(( 第三版第三版 ))SPSSSPSS 的输出结果的输出结果

各变量之间的相关系数矩阵各变量之间的相关系数矩阵

变量之间的存在较强的相关关系，适合作主成分分析

11 - 11 - 2424 20082008 年年 88月月



SPSSSPSS 的输出结果的输出结果(( 选择主成分选择主成分 ))

各主成分所解释的原始变量的方差各主成分所解释的原始变量的方差

该表是选则主成分的主要依据

11 - 11 - 2525 20082008 年年 88月月



““Initial EigenvaluesInitial Eigenvalues””(( 初始特征根初始特征根 )) 实际上就是本例中的实际上就是本例中的 66 个主轴的长度个主轴的长度特征根反映了主成分对原始变量的影响程度，表示引入特征根反映了主成分对原始变量的影响程度，表示引入

该主成分后可以解释原始变量的信息该主成分后可以解释原始变量的信息特征根又叫特征根又叫方差方差，某个特征根占总特征根的比例称，某个特征根占总特征根的比例称为主为主

成分方差贡献率成分方差贡献率设特征根为设特征根为，则第，则第 ii 个主成分的方差贡献率为个主成分的方差贡献率为

比如，第一个主成分的特征根为比如，第一个主成分的特征根为 3.9633.963 ，占总特征根的的，占总特征根的的比例比例 (( 方差贡献率方差贡献率 )) 为为 66.052%66.052% ，这表示第一个主成分，这表示第一个主成分解释了原始解释了原始 66 个变量个变量 66.052%66.052% 的信息，可见第一个主成的信息，可见第一个主成分对原来的分对原来的 66 个变量解释的已经很充分了个变量解释的已经很充分了

根据什么选择主成分？根据什么选择主成分？

p

iii

1

p

iii

1

11 - 11 - 2626 20082008 年年 88月月



根据主成分贡献率根据主成分贡献率一般来说，主成分的累计方差贡献率达到一般来说，主成分的累计方差贡献率达到 80%80% 以上的前以上的前几个主成分，都可以选作最后的主成分几个主成分，都可以选作最后的主成分

比如表比如表 13.313.3 中前两个主成分的累计方差贡献率为中前两个主成分的累计方差贡献率为 95.5795.57%%

根据特特征根的大小根据特特征根的大小一般情况下，当特征根小于一般情况下，当特征根小于 11 时，就不再选作主成分了时，就不再选作主成分了

，因为该主成分的解释力度还不如直接用原始变量解的，因为该主成分的解释力度还不如直接用原始变量解的释力度大释力度大

比如表比如表 13.313.3 中除前两个外，其他主成分的特征根都小于中除前两个外，其他主成分的特征根都小于11 。所以。所以 SPSSSPSS只选择了两个主成分只选择了两个主成分

就本例而言，两个主成分就足以说明各地区的经济发展就本例而言，两个主成分就足以说明各地区的经济发展状况了状况了

根据什么选择主成分？根据什么选择主成分？

11 - 11 - 2727 20082008 年年 88月月



SPSS 还提供了一个更为直观的图形工具来帮助选择主成分，即碎石图 (Scree Plot)

从碎石图可以看到 6 个主轴长度变化的趋势

实践中，通常结合具体情况，选择碎石图中变化趋势出现拐点的前几个主成分作为原先变量的代表，该例中选择前两个主成分即可

根据什么选择主成分？根据什么选择主成分？ (Scree Plot)(Scree Plot)

拐点

11 - 11 - 2828 20082008 年年 88月月


(( 第三版第三版 ))怎样解释主成分？怎样解释主成分？

主成分的因子载荷矩阵主成分的因子载荷矩阵

表 1 中的每一列表示一个主成分作为原来变量线性组合的系数，也就是主成分分析模型中的系数 aij

比如，第一主成分所在列的系数 0.670 表示第 1 个主成分和原来的第一个变量 ( 人均 GDP) 之间的线性相关系数。这个系数越大，说明主成分对该变量的代表性就越大

11 - 11 - 2929 20082008 年年 88月月



根据主成分分析模型和因子载荷，可以得到根据主成分分析模型和因子载荷，可以得到两个主成分与原来两个主成分与原来 66 个变量之间的线性组合个变量之间的线性组合表达式如下表达式如下

怎样解释主成分？怎样解释主成分？(( 主成分与原始变量的关系主成分与原始变量的关系 ))

6543212

6543211

263.0721.0728.0351.0055.0725.0

950.0674.0633.0896.0976.0670.0

xxxxxxy

xxxxxxy

注意：表达式中的不是原始变量，而是标准化变量注意：表达式中的不是原始变量，而是标准化变量

11 - 11 - 3030 20082008 年年 88月月



载荷图 (Loading Plot) 直观显示主成分对原始 6 变量的解释情况

图中横轴表示第一个主成分与原始变量间的相关系数；纵轴表示第二个主成分与原始变量之间的相关系数

每一个变量对应的主成分载荷就对应坐标系中的一个点，比如，人均 GDP 变量对应的点是 (0.670 ， 0.725)

第一个主成分很充分地解释了原始的 6 个变量 ( 与每个原始变量都有较强的正相关关系 ) ，第二个主成分则较好地解释了居民消费水平、人均 GDP 和年末总人口这 3 个变量 ( 与它们的相关关系较高 ) ，而与其他变量的关系则较弱 ( 相关系数的点靠近坐标轴 )

怎样解释主成分？怎样解释主成分？ (Loading Plot)(Loading Plot)

相关系数的点越远离坐标轴，主成分对原始变量的代表性就越大。这 3个点远离主成分 2的坐标

11.2 11.2 因子分析因子分析

11.2.1 11.2.1 因子分析的意义和数学模型因子分析的意义和数学模型 11.2.2 11.2.2 因子分析的步骤因子分析的步骤 11.2.3 11.2.3 因子分析的应用因子分析的应用

第第 11 11 章主成分分析和因子分析章主成分分析和因子分析

11.2.1 11.2.1 因子分析的意义和数学模型因子分析的意义和数学模型


11 - 11 - 3333 20082008 年年 88月月



由由 Charles SpearmanCharles Spearman 于于 19041904 年首次提出的年首次提出的与主成分分析类似，它们都是要找出少数几个新的与主成分分析类似，它们都是要找出少数几个新的

变量来代替原始变量变量来代替原始变量不同之处：主成分分析中的主成分个数与原始变量不同之处：主成分分析中的主成分个数与原始变量

个数是一样的，即有几个变量就有几个主成分，只个数是一样的，即有几个变量就有几个主成分，只不过最后我们确定了少数几个主成分而已。而因子不过最后我们确定了少数几个主成分而已。而因子分析则需要事先确定要找几个成分，也称为因子分析则需要事先确定要找几个成分，也称为因子 (fa(factor)ctor) ，然后将原始变量综合为少数的几个因子，以，然后将原始变量综合为少数的几个因子，以再现原始变量与因子之间的关系，一般来说，因子再现原始变量与因子之间的关系，一般来说，因子的个数会远远少于原始变量的个数的个数会远远少于原始变量的个数

什么是因子分析？什么是因子分析？ (factor analysis)(factor analysis)

11 - 11 - 3434 20082008 年年 88月月



因子分析可以看作是主成分分析的推广和扩展，但因子分析可以看作是主成分分析的推广和扩展，但它对问题的研究更深入、更细致一些。实际上，主它对问题的研究更深入、更细致一些。实际上，主成分分析可以看作是因子分析的一个特例成分分析可以看作是因子分析的一个特例

简言之，因子分析是通过对变量之间关系的研究，简言之，因子分析是通过对变量之间关系的研究，找出能综合原始变量的少数几个因子，使得少数因找出能综合原始变量的少数几个因子，使得少数因子能够反映原始变量的绝大部分信息，然后根据相子能够反映原始变量的绝大部分信息，然后根据相关性的大小将原始变量分组，使得组内的变量之间关性的大小将原始变量分组，使得组内的变量之间相关性较高，而不同组的变量之间相关性较低。因相关性较高，而不同组的变量之间相关性较低。因此，因子分析属于多元统计中处理降维的一种统计此，因子分析属于多元统计中处理降维的一种统计方法，其目的就是要减少变量的个数，用少数因子方法，其目的就是要减少变量的个数，用少数因子代表多个原始变量代表多个原始变量

什么是因子分析？什么是因子分析？ (factor analysis)(factor analysis)

11 - 11 - 3535 20082008 年年 88月月



因变量和因子个数的不一致，使得不仅在数学模因变量和因子个数的不一致，使得不仅在数学模型上，而且在实际求解过程中，因子分析和主成型上，而且在实际求解过程中，因子分析和主成分分析都有着一定的区别，计算上因子分析更为分分析都有着一定的区别，计算上因子分析更为复杂复杂

因子分析可能存在的一个优点是：在对主成分和因子分析可能存在的一个优点是：在对主成分和原始变量之间的关系进行描述时，如果主成分的原始变量之间的关系进行描述时，如果主成分的直观意义比较模糊不易解释，主成分分析没有更直观意义比较模糊不易解释，主成分分析没有更好的改进方法；因子分析则额外提供了“好的改进方法；因子分析则额外提供了“因子旋因子旋转转 (factor rotation)”(factor rotation)” 这样一个步骤，可以使分析这样一个步骤，可以使分析结果尽可能达到易于解释且更为合理的目的结果尽可能达到易于解释且更为合理的目的

因子分析的数学模型因子分析的数学模型

11 - 11 - 3636 20082008 年年 88月月



原始的原始的 pp 个变量表达为个变量表达为 kk 个因子的线性组合变量个因子的线性组合变量设设 pp 个原始变量为，要寻找的个原始变量为，要寻找的 kk 个因子个因子 ((kk<<pp))

为，主成分和原始变量之间的关系表示为为，主成分和原始变量之间的关系表示为


pxxx ，，， 21 pxxx ，，， 21

kfff ，，， 21 kfff ，，， 21


系数 aij 为第个 i 变量与第k 个因子之间的线性相关系数，反映变量与因子之间的相关程度，也称为载荷(loading) 。由于因子出现在每个原始变量与因子的线性组合中，因此也称为公因子。为特殊因子，代表公因子以外的因素影响

系数 aij 为第个 i 变量与第k 个因子之间的线性相关系数，反映变量与因子之间的相关程度，也称为载荷(loading) 。由于因子出现在每个原始变量与因子的线性组合中，因此也称为公因子。为特殊因子，代表公因子以外的因素影响

pkpkppp

kk

kk

fafafax

fafafax

fafafax

2211

222221212

112121111

11 - 11 - 3737 20082008 年年 88月月



共同度量共同度量 (Communality)(Communality)

因子的方差贡献率因子的方差贡献率

因子分析的数学模型因子分析的数学模型(( 共同度量共同度量 CommunalityCommunality 和公因子的方差贡献和公因子的方差贡献

率率 ))

)21(1

22 kjahp

iiji ，，，

)21(1

22 piagk

jijj ，，，

变量 xi 的信息能够被 k个公因子解释的程度，用 k 个公因子对第 i 个变量 xi 的方差贡献率表示

变量 xi 的信息能够被 k个公因子解释的程度，用 k 个公因子对第 i 个变量 xi 的方差贡献率表示

第 j 个公因子对变量 xi

的提供的方差总和，反映第 j 个公因子的相对重要程度

第 j 个公因子对变量 xi

的提供的方差总和，反映第 j 个公因子的相对重要程度

11.2.2 11.2.2 因子分析的步骤因子分析的步骤


11 - 11 - 3939 20082008 年年 88月月



因子分析要求样本的个数要足够多因子分析要求样本的个数要足够多一般要求样本的个数至少是变量的一般要求样本的个数至少是变量的 55 倍以上。同时，样本倍以上。同时，样本总数据量理论要求应该在总数据量理论要求应该在 100100 以上以上

用于因子分析的变量必须是相关的用于因子分析的变量必须是相关的如果原始变量都是独立的，意味着每个变量的作用都是不如果原始变量都是独立的，意味着每个变量的作用都是不

可替代的，则无法降维可替代的，则无法降维检验方法检验方法

计算各变量之间的相关矩阵，观察各相关系数。若相关矩计算各变量之间的相关矩阵，观察各相关系数。若相关矩阵中的大部分相关系数小于阵中的大部分相关系数小于 0.30.3 ，则不适合作因子分析，则不适合作因子分析

使用使用 Kaiser-Meyer-OlkinKaiser-Meyer-Olkin 检验检验 (( 简称简称 KMOKMO 检验检验 )) 和和 BartlBartlettett 球度检验球度检验 ((Bartlett’s test of sphericityBartlett’s test of sphericity)) 来判断来判断 (SPSS(SPSS将两种检验统称为“将两种检验统称为“ KMO and Bartlett’s test of sphericityKMO and Bartlett’s test of sphericity”)”)

因子分析的步骤因子分析的步骤(( 数据检验数据检验 ))

11 - 11 - 4040 20082008 年年 88月月



BartlettBartlett 球度检验球度检验以变量的相关系数矩阵为基础，假设相关系数矩阵是单位以变量的相关系数矩阵为基础，假设相关系数矩阵是单位阵阵 (( 对角线元素不为对角线元素不为 00 ，非对角线元素均为，非对角线元素均为 0)0) 。如果相。如果相关矩阵是单位阵，则各变量是独立的，无法进行因子分析关矩阵是单位阵，则各变量是独立的，无法进行因子分析

KMOKMO 检验检验用于检验变量间的偏相关性，用于检验变量间的偏相关性， KMOKMO 统计量的取值在统计量的取值在 00 ～～

11之间之间如果统计量取值越接近如果统计量取值越接近 11 ，变量间的偏相关性越强，因子，变量间的偏相关性越强，因子

分析的效果就越好分析的效果就越好 KMOKMO统计量在统计量在 0.70.7 以上时，因子分析效果较好；以上时，因子分析效果较好； KMOKMO统统

计量在计量在 0.50.5 以下时，因子分析效果很差以下时，因子分析效果很差

因子分析的步骤因子分析的步骤(( 数据检验数据检验 ))

11 - 11 - 4141 20082008 年年 88月月



Principal components(Principal components( 主成分法主成分法 )) ：：多数情况下可以使用该多数情况下可以使用该方法方法 (( 这也是这也是 SPSSSPSS 的默认选项的默认选项 )) 。通过主成分分析的思想提。通过主成分分析的思想提取公因子，它假设变量是因子的线性组合取公因子，它假设变量是因子的线性组合

Unweight Least Square(Unweight Least Square( 不加权最小平方法不加权最小平方法 )) ：：该方法使实该方法使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小际的相关矩阵和再生的相关矩阵之差的平方和达到最小

Generalized Least Square(Generalized Least Square( 加权最小平方法加权最小平方法 )) ：：用变量值进用变量值进行加权，该方法也是使实际的相关矩阵和再生的相关矩阵之差行加权，该方法也是使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小的平方和达到最小

Maximum Likelihood(Maximum Likelihood( 最大似然法最大似然法 )) ：：该方法不要求数据服该方法不要求数据服从正态分布，在样本量较大时使用较好从正态分布，在样本量较大时使用较好

Principal Axis Factoring(Principal Axis Factoring( 主轴因子法主轴因子法 )) ：：该方法从原始变量该方法从原始变量的相关性出发，使得变量间的相关程度尽可能地被公因子解释的相关性出发，使得变量间的相关程度尽可能地被公因子解释

因子分析的步骤因子分析的步骤(( 因子提取因子提取 ))

11 - 11 - 4242 20082008 年年 88月月



因子数量的确定因子数量的确定用公因子方差贡献率提取：与主成分分析类似，用公因子方差贡献率提取：与主成分分析类似，

一般累计方差贡献率达到一般累计方差贡献率达到 80%80% 以上的前几个因以上的前几个因子可以作为最后的公因子子可以作为最后的公因子

用特征根提取：一般要求因子对应的特征根要大用特征根提取：一般要求因子对应的特征根要大于于 11 ，因为特征根小于，因为特征根小于 11 说明该共因子的解释力说明该共因子的解释力度太弱，还不如使用原始变量的解释力度大度太弱，还不如使用原始变量的解释力度大

实际应用中，因子的提取要结合具体问题而定实际应用中，因子的提取要结合具体问题而定，在某种程度上，取决于研究者自身的知识和，在某种程度上，取决于研究者自身的知识和经验经验

因子分析的步骤因子分析的步骤(( 因子提取因子提取 ))

11 - 11 - 4343 20082008 年年 88月月



因子命名是因子分析重要一步因子命名是因子分析重要一步一个因子包含了多个原始变量的信息，它究一个因子包含了多个原始变量的信息，它究竟反映了原始变量的哪些共同信息？竟反映了原始变量的哪些共同信息？

因子分析得到的因子的含义是模糊的，需要因子分析得到的因子的含义是模糊的，需要重新命名，以便对研究的问题作出合理解释重新命名，以便对研究的问题作出合理解释

可通过考察观察因子载荷矩阵并结合实际问可通过考察观察因子载荷矩阵并结合实际问题完成题完成

命名已经不是统计问题。它需要研究者自身命名已经不是统计问题。它需要研究者自身的专业素质和对实际问题背景的了解程度，的专业素质和对实际问题背景的了解程度，这需要更多的实践经验这需要更多的实践经验

因子分析的步骤因子分析的步骤(( 因子命名因子命名 ))

11 - 11 - 4444 20082008 年年 88月月



观察因子载荷矩阵观察因子载荷矩阵如果因子载荷如果因子载荷 aaijij 的绝对值在第的绝对值在第 ii 行的多个列上都有较行的多个列上都有较

大的取值大的取值 (( 通常大于通常大于 0.5)0.5) ，表明原始变量与多个因子，表明原始变量与多个因子都有较大的相关关系，意味着原始变量都有较大的相关关系，意味着原始变量 xxii 需要由多需要由多个因子来共同解释个因子来共同解释

如果因子载荷如果因子载荷 aaijij 的绝对值在第的绝对值在第 jj列的多个行上都有较列的多个行上都有较大的取值，则表因子大的取值，则表因子 ffii 能共同解释许多变量的信息，能共同解释许多变量的信息，而对每个原始变量只能解释其中的少部分信息，表明而对每个原始变量只能解释其中的少部分信息，表明因子不能有效代表任何一个原始变量，因子的含义模因子不能有效代表任何一个原始变量，因子的含义模糊不清，难以对因子给出一个合理的解释糊不清，难以对因子给出一个合理的解释

需要进行因子旋转，以便得到更加合理的解释需要进行因子旋转，以便得到更加合理的解释

因子分析的步骤因子分析的步骤(( 因子命名因子命名 ))

11 - 11 - 4545 20082008 年年 88月月



因子旋转因子旋转 (factor rotation)(factor rotation) 的目的是使因子的含义的目的是使因子的含义更加清楚，以便于对因子的命名和解释更加清楚，以便于对因子的命名和解释

旋转的方法有正交旋转和斜交旋转两种旋转的方法有正交旋转和斜交旋转两种正交旋转是指坐标轴始终保持垂直正交旋转是指坐标轴始终保持垂直 9090 度旋转，这样度旋转，这样

新生成的因子仍可保持不相关新生成的因子仍可保持不相关斜交旋转坐标轴的夹角可以是任意的，因此新生成的斜交旋转坐标轴的夹角可以是任意的，因此新生成的

因子不能保证不相关。因此实际应用中更多地使用正因子不能保证不相关。因此实际应用中更多地使用正交旋转交旋转

SPSSSPSS 提供提供 55 种旋转方法，其中最常用的是种旋转方法，其中最常用的是 VarimaxVarimax(( 方差最大正交旋转方差最大正交旋转 )) 法法

因子分析的步骤因子分析的步骤(( 因子命名—旋转因子命名—旋转 ))

11 - 11 - 4646 20082008 年年 88月月



Varimax(Varimax( 方差最大正交旋转方差最大正交旋转 )) ：：最常用的旋转方法。使最常用的旋转方法。使各因子保持正交状态，但尽量使各因子的方法达到最大各因子保持正交状态，但尽量使各因子的方法达到最大，即相对的载荷平方和达到最大，从而方便对因子的解，即相对的载荷平方和达到最大，从而方便对因子的解释释

Quartimax(Quartimax( 四次方最大正交旋转四次方最大正交旋转 )) ：：该方法倾向于减少该方法倾向于减少和每个变量有关的因子数，从而简化对原变量的解释和每个变量有关的因子数，从而简化对原变量的解释

Equamax(Equamax( 平方最大正交旋转平方最大正交旋转 )) ：：该方法介于方差最大正该方法介于方差最大正交旋转和四次方最大正交旋转之间交旋转和四次方最大正交旋转之间

Direct Oblimin(Direct Oblimin( 斜交旋转斜交旋转 )) ：：该方法需要事先指定一个该方法需要事先指定一个因子映像的自相关范围因子映像的自相关范围

PromaxPromax ：：该方法在方差最大正交旋转的基础上进行斜交该方法在方差最大正交旋转的基础上进行斜交旋转旋转

因子分析的步骤因子分析的步骤(( 因子命名—旋转因子命名—旋转 ))

11 - 11 - 4747 20082008 年年 88月月



因子得分因子得分 (factor score)(factor score) 是每个因子在每个样是每个因子在每个样本上的具体取值，它由下列因子得分函数给本上的具体取值，它由下列因子得分函数给出出

因子分析的步骤因子分析的步骤(( 计算因子得分计算因子得分 ))

因子得分函数因子得分函数

因子得分是各变量的线性组合因子得分是各变量的线性组合

pkpkkk

pp

pp

xbxbxbf

xbxbxbf

xbxbxbf

2211

22221212

12121111

pkpkkk

pp

pp

xbxbxbf

xbxbxbf

xbxbxbf

2211

22221212

12121111

11.2.3 11.2.3 因子分析的应用因子分析的应用


11 - 11 - 4949 20082008 年年 88月月



【例】【例】根据我国根据我国 3131 个省市自治区个省市自治区 20062006 年的年的 66 项项主要经济指标数据，进行因子分析，对因子进主要经济指标数据，进行因子分析，对因子进行命名和解释，并计算因子得分和排序行命名和解释，并计算因子得分和排序

因子分析因子分析 (( 实例分析实例分析 ))

11 - 11 - 5050 20082008 年年 88月月


(( 第三版第三版 )) 用用 SPSSSPSS 进行因子分析进行因子分析第 1 步选择【 Analyze】【 Data Reduction-Factor】主对话框。将所有原始变量选入【 Variables】第 2 步点击【 Descriptives】【 correlation Matrix】【 KMO and Bartlett’s test of sphericity 】 (其他选项根据需要 ) 【 Continu

e】第 3 步点击【 Extraction】，在【Method】框中选择因子的提取方法 (本

例使用隐含的 Principal components) ；在【 Extract】中输入选择因子的最小特征根 (隐含的是特征根大于 1) ；在【 Display】下选择【 Scree Plot】【 Continue】第 4 步点击【 Rotation】，在【 Method】框中选择因子旋转方法 (隐含

的不旋转，本例选择【 Varimax】 ) ；在【 Display】下选择【 Loading Plot】【 Continue】第 5 步点击【 Scores】，并选中【 Display factor Score coefficient matrix】 (SPSS隐含的估计因子得分系数的方法是 Regression) 【 Continue】【 OK】

11 - 11 - 5151 20082008 年年 88月月



数据的相关性检验数据的相关性检验


KMO 检验和 Bartlett 球度检验

Bartlett 球度检验统计量为 277.025 。检验的 P 值接近 0 。表明 6 个变量之间有较强的相关关系。而 KMO 统计量为 0.695 ，接近 0.7 。适合作因子分析

Bartlett 球度检验统计量为 277.025 。检验的 P 值接近 0 。表明 6 个变量之间有较强的相关关系。而 KMO 统计量为 0.695 ，接近 0.7 。适合作因子分析

11 - 11 - 5252 20082008 年年 88月月



共同度量共同度量


变量共同度量

所有变量的共同度量都在 80% 以上，因此，提取出的公因子对原始变量的解释能力应该是很强的所有变量的共同度量都在 80% 以上，因此，提取出的公因子对原始变量的解释能力应该是很强的

11 - 11 - 5353 20082008 年年 88月月



因子方差贡献率因子方差贡献率


各因子所解释的原始变量的方差

除最后 3 列外，其余部分与主成分分析中的表相同。 “ Rotation Sums of Squared Loadings”部分是因子旋转后对原始变量方差的解释情况。旋转后的累计方差没有改变，只是两个因子所解释的原始变量的方差发生了一些变化。

除最后 3 列外，其余部分与主成分分析中的表相同。 “ Rotation Sums of Squared Loadings”部分是因子旋转后对原始变量方差的解释情况。旋转后的累计方差没有改变，只是两个因子所解释的原始变量的方差发生了一些变化。

11 - 11 - 5454 20082008 年年 88月月



VarimaxVarimax 法得到的旋转后的因子载荷矩阵法得到的旋转后的因子载荷矩阵


旋转后的因子载荷矩阵

第一个因子与年末总人口、固定资产投资、社会消费品零售总额、财政收入这几个载荷系数较大，主要解释了这几个变量。从实际意义上看，可以把因子 1姑且命名为“经济水平”因子。而第二个因子与人均 GDP 、居民消水平这两个变量的载荷系数较大，主要解释了这两个变量，从实际意义看，可以将因子2姑且命名为“消费水平”因子 (( 是否合理读者自己评判是否合理读者自己评判 ))

第一个因子与年末总人口、固定资产投资、社会消费品零售总额、财政收入这几个载荷系数较大，主要解释了这几个变量。从实际意义上看，可以把因子 1姑且命名为“经济水平”因子。而第二个因子与人均 GDP 、居民消水平这两个变量的载荷系数较大，主要解释了这两个变量，从实际意义看，可以将因子2姑且命名为“消费水平”因子 (( 是否合理读者自己评判是否合理读者自己评判 ))

11 - 11 - 5555 20082008 年年 88月月



原始的原始的 66 个变量与两个因子的关系个变量与两个因子的关系 (( 模型表达模型表达) )

因子分析因子分析(( 实例分析实例分析 ))


表达式中的 xi 已经不是原始变量，而是标准化变量

表达式中的 xi 已经不是原始变量，而是标准化变量

216

215

214

213

212

211

349.0922.0

980.0117.0

213.0941.0

247.0931.0

622.0755.0

981.0112.0

ffx

ffx

ffx

ffx

ffx

ffx

11 - 11 - 5656 20082008 年年 88月月



旋转后的因子载荷图旋转后的因子载荷图


旋转后的因子载荷系数更加接近于 1( 如果旋转后的因子载荷系数向 0—1分化越明显，说明旋转的效果越好 ) ，从而使因子的意义更加清楚了

旋转后的因子载荷系数更加接近于 1( 如果旋转后的因子载荷系数向 0—1分化越明显，说明旋转的效果越好 ) ，从而使因子的意义更加清楚了

11 - 11 - 5757 20082008 年年 88月月



按回归法按回归法 (Regression)(Regression) 估计的因子得分系数矩阵估计的因子得分系数矩阵


因子得分系数矩阵

根据因子得分系数矩阵可将因子表示为变量的线性组合根据因子得分系数矩阵可将因子表示为变量的线性组合

11 - 11 - 5858 20082008 年年 88月月



由因子得分系数矩阵，可以将公因子表示为各变量的由因子得分系数矩阵，可以将公因子表示为各变量的线性组合。得到的因子得分函数为线性组合。得到的因子得分函数为


上面表达式中的 xi 标准化变量。根据这一表达式便可以计算每个地区对应的第一个因子和第二个因子的取值，也称为因子得分 (factor score) 。有了因子得分，就可以对每个地区分别按照前面命名的“经济水平”因子和“消费水平”因子进行评价和排序

上面表达式中的 xi 标准化变量。根据这一表达式便可以计算每个地区对应的第一个因子和第二个因子的取值，也称为因子得分 (factor score) 。有了因子得分，就可以对每个地区分别按照前面命名的“经济水平”因子和“消费水平”因子进行评价和排序

6543212

6543211

022.0429.0237.0026.0171.0430.0

281.0104.0372.0300.0180.0105.0

xxxxxxf

xxxxxxf

因子得分函数

11 - 11 - 5959 20082008 年年 88月月



综合评价综合评价计算每个地区的因子得计算每个地区的因子得

分分每个地区的因子得分计每个地区的因子得分计

算方法是：用每个共因算方法是：用每个共因子的方差贡献率做权数子的方差贡献率做权数，对每个因子进行加权，对每个因子进行加权，然后加总得到每个地，然后加总得到每个地区的总因子得分区的总因子得分

按总得分的多少进行排按总得分的多少进行排序，以反映各地区经济序，以反映各地区经济发展的差异发展的差异


要由 SPSS 得出各样本的不同因子得分，点击【 Scores 】【 Save as variables 】即可。 SPSS会计算出每个因子的得分，并保存在工作表的 FAC1_1 和 FAC2_1 中

因子综合得分

221

21

21

1 FFF

21 308859.0691141.0 FFF

11 - 11 - 6060 20082008 年年 88月月



各地区的因子得分及排名各地区的因子得分及排名


11 - 11 - 6161 20082008 年年 88月月



地区两个因子得分的散点图地区两个因子得分的散点图


因子 1 得分最高的是广东，最低的西藏，这说明广东是经济发展水平较高的地区，西藏是经济发展水平较低的地区；因子 2 得分最高的是上海，最低的是贵州，说明上海是消费水平较高的地区，而贵州则是消费水平较低的地区

11 - 11 - 6262 20082008 年年 88月月



主成分分析和因子分析都是多元分析中处理降维的两种统计方法主成分分析和因子分析都是多元分析中处理降维的两种统计方法。只有当原始数据中的变量之间具有较强的相关关系时，降维的。只有当原始数据中的变量之间具有较强的相关关系时，降维的效果才会明显，否则不适合进行主成分分析和因子分析效果才会明显，否则不适合进行主成分分析和因子分析

主成分和因子的选择标准应结合具体问题而定。在某种程度上取主成分和因子的选择标准应结合具体问题而定。在某种程度上取决于研究者的知识和经验，而不是方法本身决于研究者的知识和经验，而不是方法本身

即使得到了满意的主成分或因子，在运用它们对实际问题进行评即使得到了满意的主成分或因子，在运用它们对实际问题进行评价、排序等分析时，仍然要保持谨慎，因为主成分和因子毕竟是价、排序等分析时，仍然要保持谨慎，因为主成分和因子毕竟是高度抽象的量，无论如何，它们的含义都不如原始变量清晰高度抽象的量，无论如何，它们的含义都不如原始变量清晰

因子分析可以看作是主成分分析的推广和扩展，而主成分分析则因子分析可以看作是主成分分析的推广和扩展，而主成分分析则可以看作是因子分析的一个特例。目前因子分析在实际中被广泛可以看作是因子分析的一个特例。目前因子分析在实际中被广泛应用，而主成分分析通常只作为大型统计分析的中间步骤，几乎应用，而主成分分析通常只作为大型统计分析的中间步骤，几乎不再单独使用不再单独使用

几点说明几点说明

11 - 11 - 6363 20082008 年年 88月月


(( 第三版第三版 ))本章小节本章小节

主成分分析和因子分析的基本原理主成分分析和因子分析的基本原理主成分分析和因子分析的异同主成分分析和因子分析的异同主成分分析和因子分析的数学模型主成分分析和因子分析的数学模型用用 SPSSSPSS 进行主成分分析和因子分析进行主成分分析和因子分析用主成分分析和因子分析对实际问题进用主成分分析和因子分析对实际问题进

行综合评价行综合评价

结束

作者贾俊平

Documents

Transcript of 作者贾俊平

作者 贾俊平

Documents

Transcript of 作者 贾俊平

作者贾俊平

Transcript of 作者贾俊平