第十五章 定量分析：推断性统计

推断统计是一种研究变量之间关系的统计程序。他们与描述性统计的差别在于他们是专门为检验假设而设计的。许多的统计程序都是属于推断统计，他们其中的大部分都可以通过现代统计软件实现，比如 SPSS和 SAS。这一章仅提供一个简短的关于最为基本和常用的程序的初级读本，建议读者查阅关于统计的正式文献或者选修一门关于统计的课程来了解更为高级的程序。

基本概念

英国的哲学家卡尔·波普尔曾经说过理论永远不能被证实，只能被证伪。比如说，我们如何能够证明明天太阳会升起来？波普尔认为仅仅因为太阳在我们所记得的每一天都升起来了不足以说明它在明天也会升起来，因为归纳得出的理论仅仅是猜想，对未来的现象可能有预测作用，也可能没有。然而，他认为我们也许可以假设太阳每天都会升起而不需要证明它，当太阳有一天没有升起的时候，这个理论就被推翻了。同样地，我们能在相反的事实上拒绝一个假设而永远不能完全地接受一个假设。因为支持性证据的出现并不意味着我们在后面不会观察到反对性证据。因为我们永远不能真正接受一个我们所关心的假设（被择假设），因而我们拟定一个与被择假设相反的原假设，然后通过用实证证据来拒绝原假设的方式来间接地、概率性地支持我们的被择假设。

在进行社会科学的研究时，第二个与检验假设的关系有关的问题在于因变量可能被无数个无关变量所影响，然而我们不可能测量和控制所有的这些外来影响，因此，即使在我们的观测样本中，两个变量似乎是有关系的，但是他们在总体中可能并不是真正相关的，因而推断统计永远不是确定的，只能是概率性的。

我们怎样才能确定我们从样本中观察到的两个变量之间的关系是显著的（有意义的），而不是一种巧合呢？历史上最为杰出的统计学家之一，罗纳德·费舍尔制定了显著性检验的基本准则。他说当一种统计结果被拒绝的概率等于或者小于 5%的时候，这个结果就是显著的。在推断统计中，这个概率被称为P值，而 5%被称为显著性水平（α），P值和α之间的理想关系是 p≤0.05。这个显著性水平是我们使用从样本来推断总体这一本来就存在不确定性的方法时愿意承担的最大风险水平。如果 P 值小于或者等于 5%，意味着我们拒绝原假设有 5%的可能性是错误的，这种错误也被称为I类错误。如果P值大于 0.05，我们就没有充分的理由去拒绝原假设或者接受被择假设。

同时，我们必须理解这三个有关的统计概念：抽样分布、标准误差和置信区间。抽样分布是从你所感兴趣的总体中抽取无限数量的样本时，这些样本的理论分布，然而，由于一个样本永远不可能跟总体完全一样，每一个样本都会有一些固有水平的错误，这被称为标准误差。如果这个标准误差很小，那么从样本中得出的统计估计量（比如样本均值），就是总体的合理估计量。我们的样本估计量的精确性被定义为置信区间。一个 95%的置信区间被定义为在均值估计量的基础上加上或者减去两个标准差的一段区域，这段区域内的数值可以被看作来自于一个抽样分布中的不同样本。因此，当我们说我们的观察样本的置信区间为 95%的时候，我们的意思是我们可以肯定，在 95%的置信区间下，总体参数的值会落在我们观测样本的估计量加减两个标准差的区间内。P 值和置信区间共同给了我们一个好方法来确定我们的结果是正确的概率，以及它与相应的总体参数的接近程度。

一般线性模型

社会科学研究中的大部分推断统计程序都来源于一组统计模型，叫做一般线性模型

（general linear model，GLM）。一个模型是指一个估计的数学方程，它可以用来代表一组数据，而线性是指一条直线。因此，一个 GLM是指可以用来代表观察数据中的一种线性关系的一个方程组。

图15.1 双变量线性模型

最简单的 GLM 是研究自变量（原因或者预测因素）与因变量（影响或者结果）之间关系的双变量线性模型。我们假设这两个变量分别是年龄和自尊，二者关系的二元散点图见图15.1，水平线或者 X 轴表示年龄（预测因素），垂直线或者 Y 轴表示自尊（结果）。散点图显示，代表同时被标注出年龄和自尊的个体观测者的点在图中沿着一条虚构的向上倾斜的直线分布。我们可以通过 GLM估计这条线的参数，比如它的斜率和截距。从高中的代数中我们知道，这条线可以用数学方程y = mx + c来代表，其中m是这条直线的斜率（x每变动一个单位，y变动的值），c是截距项（当 x等于 0的时候，y的值）。在 GLM中，这个方程正式地表示为：

y = β + β x + ε

0 1

其中 β 是斜率，β 是截距项，ε是误差项。由于大部分观测值都很接近那条线但并不是刚

0 1刚落到那条线上（即 GLM不是完美的），所以存在 ε来表示实际观察值与它们的估计值之间的偏差。注意一个线性模型可以有两个以上的预测因素。为了形象地表示一个有两个预测因素的线性模型。我们一个想象一个三维的立方体，结果（y）用垂直轴表示，两个预测因素

（比如，x 和 x ）用立方体的两条水平轴表示。一条描述两个或者更多变量之间关系的线叫

1 2做回归线，β 和 β （以及其他的贝塔值）都被称为回归系数，而估计回归系数的过程被叫做

0 1回归分析。有 n个预测因素的回归分析GLM见下：

y = β + β x + β x + β x + … + β x + ε

0 1 1 2 2 3 3 n n

在上面的方程中，预测变量 x 可以代表自变量或者协变量（控制变量）。协变量是我们

i在理论上不感兴趣的变量，但是它们可能会对因变量 y 有影响，所以应该被控制，这样我们感兴趣的自变量的残余影响能够被更加精确地检测出来。协变量抓住了一个回归方程中的系统误差，而误差项（ε）则抓住了随机误差。虽然 GLM 中的大部分变量往往是等距或者等比变量，但也不必要总是这样。一些预测变量甚至可以是名义变量（例如，性别：男性或女性），他们被编码为虚拟变量。这些变量假定只能从两个可能的值当中取其中之一，这两个可能的值为 0或 1（在性别的例子中，“男性”被指定为 0，“女性”被指定为 1；反之亦然）。n个定类变量用 n-1个虚拟变量来表示。比如，包括农业、制造业和服务业的产业类别，可以用两个联合的虚拟变量（x , x ）来表示，（0,0）代表农业，（0,1）代表制造业，（1,1）代表服

1 2务业。我们不用关心赋予不用的类别多大的值，是 0还是 1，因为 0和 1被认为是两个截然不同的组，而不是数字量（就像在一个实验设计中的实验组和对照组一样），而每一个组的统计参数都是分别估计的。

GLM 是一个非常强有力的统计工具，因为它不是一个单一的统计方法，而是一组可以被用来分析不同种类和大量预测变量与结果变量之间复杂关系的方法。如果我们有一个虚拟预测变量，同时我们在比较这个变量的两个取值（0 和 1）对结果变量的影响，那么我们在进行一个方差分析。如果我们在控制了一个或者多个协变量之后进行方差分析，那么我们在进行一个协方差分析。我们也可以有多个结果变量（比如， y , y , …y ），可以用一个方程组来表

1 1 n示，对于方程组中的每个结果变量都对应着一个不同的方程（每个方程都有自己的回归系数）。如果多个结果变量都被同一组预测变量来解释，这种分析被称为多变量回归。如果我们使用多个结果变量来进行方差分析或者协方差分析，这种分析被称为多变量方差分析或者是多变量协方差分析。如果我们在一个相关联的方程组中使用一个回归方程的结果作为另外一个回归方程的预测因素，那么我们就得到一个非常复杂的类型的分析，被称为结构方程模型。在 GLM中最为重要的问题就是模型设定，即怎么确定一个回归方程（或一个方程组）来最好地描述我们所关心的现象。模型设定应该基于对所研究的现象的理论思考，而不是什么模型能够最好地拟合观测数据。数据是用来验证模型的，而不是用来设定模型的。

双组比较

最简单的推理分析之一就是比较事后测试的实验组和对照组的结果，比如进入一项特别数学项目的学生是否比那些传统数学课程的学生表现得更好。在这个例子中，预测变量是一个虚拟变量（1=实验组，0=对照组），同时结果变量，即表现，是一个定比变量（比如，在特别项目之后的一个数学测试的分数）。这个简单设计的分析技术是单因素方差分析（单因素是因为它只包含了一个预测变量），统计检验被称为学生（Student）t 检验（或者简略地成为t检验）。

t 检验于 1908 年被一个在爱尔兰都柏林的吉尼斯啤酒厂工作的化学家威廉·西利·戈塞特用于控制烈性黑啤酒的质量，这种黑啤酒在 19 世纪伦敦的守门人中很受欢迎。因为他的雇主不想暴露他们使用了统计方法来控制质量的事实，戈塞特在《生物统计学》上使用自己的笔名“学生”发表了这个检验方法（他曾经是罗纳德·费舍尔爵士的学生），同时这个检验需要计算 t值，t 这个字母经常被费舍尔用来表示两组之间的差异。因此，这个检验被称为学生 t 检验，虽然这个学生的身份对于统计学家而言都是熟知的。

t 检验研究两组的均值是否在统计上有差别（非定向或双尾检验），或者一组的均值在统计上比另外一组要大（或小）（定向或者单尾检验）。在我们的例子中，如果我们想检验在特殊数学课程中学习的学生是否比那些在传统课程中学习的学生表现更好，我们需要一个单尾检验。这个假设可以这样写：

H : μ ≤ μ （原假设）

0 1 2 H : μ > μ （被择假设）

1 1 2

μ 表示参加了特别课程的学生的表现的均值（实验组），μ 表示参加了传统课程的学生的

1 2表现的均值（对照组）。注意，原假设永远是有等于号的那一个，所有的统计显著性检验都是为了拒绝原假设。

我们怎样能够用从不同总体中抽取的样本来推测出总体均值的差别呢？从图 15.2 中的假设的实验组和对照组分数的频数分布中我们可以看到，对照组似乎有一个平均分数为 45（在0-100的区间上）的钟形（正态）分布，而实验组看起来平均分数为 65。这两个均值看起来是有差异的，但是他们实际上是样本的均值（ ），由于抽样误差的存在，这可能与它们所对应的总体均值（μ）有差异。样本均值是在一定置信区间对总体参数的概率估计（95%的置信区间是样本均值+两个标准误差，其中标准误是从总体中抽取出的无限个样本的均值的分布的标准差）。因此，总体均值的统计显著性不仅仅依赖于样本均值的数值，也依赖于标准误或者说样本均值频数分布的发散度。如果发散度很大（比如，这两条钟形曲线有很多重叠），那么这两个均值的95%的置信区间也可能会重叠，这样我们就不能得出高可能性的（p<0.05）他们相对应的总体均值显著不同的结论。然而，如果这两条曲线的发散度较低（即，他们重叠的部分很少），那么每个均值的置信区间就可能不会重叠，这样我们就可以拒绝原假设，认为这两个总体均值在p<0.05的水平下显著不同。

图 15.2 学生t检验

为了进行 t 检验，我们必须首先计算一个 t统计量，表示这两组样本均值的差别。这个统计量是两个样本均值的差与它们的分数之差的变异程度（标准误）的比值：

其中分子是实验组（组 1）和对照组（组 2）的样本均值之间的差异，分母是这两组之间差异的标准误，分母也可以这样来估计：

s2 是方差，n 是每一组的样本规模。如果实验组的均值比对照组的均值大，t 统计量会为正。为了确定 t统计量是否足够大而不是偶然地为正，我们必须从标准统计课本中的统计表中或者因特网上查阅与我们计算出的 t 统计量相关的概率或 p 值，或者使用统计软件程序比如SAS和 SPSS来计算。这个值是一个关于 t统计量，t检验是单尾还是双尾，和自由度（df）或者在计算这个统计量时能够自由变动的值的数量的函数（通常是一个样本容量和所进行的检验的类型的函数）。t检验的自由度的计算方法如下：

通常接近于（n +n –2）。如果 p 值比理想的显著性水平（例如 α=0.05），或者得出有实

1 2验处理效应而实质上没有（I 类错误）的结论时我们愿意承担的最大风险（可能性）要小，我们就可以拒绝原假设。

在研究了实验组是否显著地比对照组有更高的均值之后，通常来说，下一个问题是效应规模或者是相对于对照组的试验处理效应的大小是多少？我们可以通过进行一个代表表现分数的结果变量（y）与一个代表是否是实验组的虚拟预测变量（x）的双变量一般线性回归来进行回归分析。实验变量的回归系数（β ）同时也是回归线的斜率（β = Δy/Δx），就是对效应

1 1规模的预测值。在上面的例子中，由于 x是一个只有两个值（0和 1）的虚拟变量，因此效应规模或者 β1就是实验组和对照组均值的差异（Δy = y- y ）。

1 2

因子设计

沿用上面的例子，我们假设特别课程（实验）相对于传统课程（对照）的效应依赖于教学时间（每周 3小时或者 6小时）。现在，我们有了一个 2 x 2的因子设计，其中两个因子分别是课程类型（特别还是传统）和教学时间（每周3小时还是6小时）。这样一个设计不仅仅帮助我们估计每一个因子的独立效应，称为主效应，也估计出两个因子的联合效应，称为交互效应。为这种双因素因子设计而设计的一般线性模型如下：

y = β + β x + β x + β x x + ε

0 1 1 2 2 3 1 2

其中 y代表学生实验之后的表现分数，x 是课程类型（特别还是传统课程），x 是教学时

1 2间（每周 3小时还是 6小时）。注意 x 和 x 都是虚拟变量，虽然 x 看起来像是等比变量（3

1 2 2或 6），它实际上代表了在因子设计中的两个不同的组。回归系数 β 和 β 提供了主效应的效

1 2应规模估计值，β 则提供了交互效应的效应规模估计值。此外，也可以使用一个双因素方差

3分析来进行同样的因子模型分析。有多个预测变量的回归分析有时候被称为多元回归，这与有多个结果变量的多变量回归是不同的。

以下是关于解读交互效应的注意事项。如果 β 是显著的，那么意味着课程类型对学生

3表现的影响有赖于教学时间。在这个例子中，我们就不能显著地解读出课程类型（β ）或者教

1学时间（β ）的独立效应，因为这两个效应不能被区分开来。只有当交互效应不显著的时候，

2主效应才能被解读出来。

协变量也可以连同新的回归系数（比如，β ）一起被当作新的变量加入到因子设计中。协

4变量可以是定距或定性变量，即使我们关心的预测变量都是虚拟变量。协变量的解读与其他的预测变量的解读遵循同样的准则。

其他定量分析

有很多其他基于一般线性模型变形的有用的推断统计技巧，下面将简单地介绍一些。有兴趣的读者可以去更为高级的教科书或者是统计学课程中查阅更多关于这些技巧的信息。

• 因子分析是一种基于大量的观测到的观测值（项目）与较小的不可观测的（隐性的）

被称为因子的变量组之间潜在的双变量相关模式，将前者转化为后者的数据缩减技

术。这种技术在社会科学研究的多项目测量尺度中被广泛的用于评价收敛和判别的有效性。

• 判别分析是基于预测变量的线性组合将给定的观测值分类到一些名义的类别当中去的

一种分类技术。除了因变量是分类变量，这种技术与多元回归很相似，在市场营销中

的应用很广泛，比如说根据从大规模的问卷中识别出的突出属性将客户或者产品进行分类。

• Logistic回归（或logit模型）是一种结果变量为二进制的（0或 1）并且符合logistic 分

布的一种一般线性模型，这种回归分析的目的是通过将数据与一个 logistic 曲线进行拟

合来预测某种结果发生的可能性。比如说基于预测因素比如年龄、身体质量指数、养

生法等等来预测在一段时期内心脏病发作的可能性。Logistic 回归在医学研究中运用非

常广泛。效应规模估计是基于 “胜算比”，这表示一件事情在一个组中相对于其他事情发生的胜算。

• Probit回归（或 probit模型）是一种结果变量在 0和 1之间变动（或者可以假定为 0或

1），并且符合标准正态分布的一般线性模型。回归的目的在于预测各个结果出现的可

能性。这种技术是在精算学、金融服务、保险和其他行业中非常流行的预测分析技

术。被用于比如说根据一个人贷款申请上的信用等级、薪水、负债和其他信息来给他

进行信用评分。Probit 和 logit 回归在比较应用（二进制结果）中倾向于得出相似的回

归系数；然而logit模型更加容易计算和解释。

• 路径分析是一种用来分析一组变量的定向关系的一种多变量一般线性回归技术。它可

以进行复杂的规律模型的研究，在这种模型中，一个方程中的因变量是另外一个方程

的自变量。它被广泛地应用于当代的社会科学研究中。

• 时间序列分析是一种研究时间序列数据或者会随着时间逐渐改变的变量的技术。应用

的例子包括预测股票市场的波动和城市犯罪率。这种技术在计量经济学、数理金融学

和信号处理中很流行。特别的技术被用来修正自相关性，或者同一变量在时间趋势上的相关性。