第七章 量表的信度和效度

前一章讨论了社会科学研究中构念测量的一些困难。例如，我们如何知道我们所测量的是“同情心”而不是“同理心”，因为这两个构念在含义上比较接近？或者同情心和同理心是一样的吗？更复杂的是，有时候这些构念是想象中的概念（也就是说，它们在现实中并不存在），并且是多维的（在这种情况下，我们又多了一个难题，即确定它们的构成维度）。因此，仅用任何我们所喜好的量表来测量社会科学的构念是不够的，我们必须测试这些量表以保证：

（1）这些量表确实测量了我们想要测量的潜变量（也就是说，这些量表是“有效的”）；（2）它们一致而精确地测量了这些构念（即量表是“可靠的”）。信度和效度（合在一起被称为测量量表的“心理计量特性”）是科学研究中测量程序的充分性和精确性的评价尺度。

一个量表可以是可靠但无效的，例如当一个量表非常一致地测量某个错误的构念。同样地， 一个量表也可以是有效但不可靠的，例如一个量表测量的是正确的构念，但结果却并不总是一致。以射击做类比（如图 7.1所示），一个构念的可靠而有效的多指标量表由聚集在靠近靶心的较窄范围内的射点所构成。有效但不可靠的量表由那些在靶心附近，但并没聚集在较窄的范围内，而是在靶心周围零散分布的射点所构成。最后，可靠但无效的量表由聚集在较窄范围内却偏离靶心的射点所构成。因此，为确保对构念进行充分地测量，信度和效度这两个属性都是必不可少的。

图 7.1信度和效度的比较

信度

信度是指在多大程度上对某个构念的测量是一致的或可靠的。换句话说，如果我们用这个量表多次测量相同的构念，在潜在现象没有发生变化的情况下，我们是否每次都能得出相同的结果？不可靠测量的一个例子是让别人猜你的体重。人们的猜测很可能是不同的，不同的测量将会不一致，因此，通过“猜测”来进行测量是不可靠的。一个更可靠的测量是使用体重表，这样除非你的体重在测量间隔期发生了实际的变化，否则你每次踏上体重计都有可能得到相同的数值。

注意，信度是指一致性而不是精确性。前例中的体重计，如果体重计校准错了（比如，为了使你感觉较好，从你真实的体重中减去 10 磅），这将无法衡量你的真实体重，因此这不是一个有效的测量。然而，校准错误的体重计在每次称量时都会给出相同的重量（比真实重量少 10磅），因此该量表是可靠的。

社会科学计量中不可靠观测的来源是什么？观测者（或研究者）的主观性是主要来源之一。如果公司的员工士气用观察员工是否互相微笑、是否开玩笑等等来衡量，若观测者在非常繁忙的工作日（没时间开玩笑、交谈）或是在非常轻松的工作日（有更多交谈和玩笑的时间）观察员工，那么不同的观测者对士气水平有不同的推测。即使在同一天，两个观测者对士气水平形成不同的推测，这取决于他们认为什么是笑话、什么不是笑话。 “观测”是一个定性的测量手段。有时，运用定量测量可以提高可靠性。例如，通过计算一个月内提出不满的次数来衡量（逆）士气。当然，无论不满是否是一个有效测量，它更少受制于人类的主观性，因此更可靠。第二个不可靠观测的来源是提出不准确、含糊不清的问题。例如，如果询问人们的工资是多少，不同的人对这个问题有不同的理解：月薪、年薪、或每小时的工资，因此，导致结果可能会大不相同并且不可靠。不可靠的第三个来源是提出的问题是受访者不熟悉或不关心的问题，如问一个美国大学毕业生对斯洛文尼亚和加拿大的关系是否满意，或者要求公司的首席执行官评价公司技术策略的有效性——而他很可能将技术策略委派给技术主管。

那么如何才能创造可靠的测量呢？正如许多社会科学研究一样， 如果测量需要向其他人征集信息，那么就可以从替换数据收集方式开始，即用主观性低的方法（如问卷）替代主观性高的方法（如观察）；只询问受访者知道答案的问题或他们关心的事件；在测量时避免模糊不清的指标（即清楚地界定收集的信息是否是年薪）；简化指标的措辞确保受访者不会错误理解（即避免使用受访者不理解的复杂文字）。这些措施即使不会使测量完全可靠，也会提高我们测量的可靠性。尽管如此还是需要对测量指标的可靠性进行检测。有很多种方法可以评估信度，下面将讨论这个问题。

评判间信度。评判间信度，也称为观测者间信度，是对两个或两个以上独立评判（观测者）关于同一构念一致性的测量。通常在试验研究中对此进行评估，并且根据构念的测量类型可采用两种方式来实现。如果测量是分类的，而且对所有类别都进行了界定，评判核查每个观察落在哪一类，评判间一致性的比例可作为评判间信度的估值。例如，如果两个评判将100 个观测分到三种可能类别中的一类中，他们分类的重合度为 75%，那么评判间信度是0.75。如果这种方法是测量区间或是比例 （例如，两个评判每隔5分钟用1-7级的量表测量课堂活动），两个评价者衡量之间简单的相关也可用来评估评判间信度。

重测信度。重测信度衡量了不同时点对相同样本的同一构念进行两次测试的一致性。如果观测在两次测试间没有发生实质的变化，这种测量是可靠的。两次测验得到的观察值的相关系数是重测信度的估计。这里指出两次测试的时间间隔是至关重要的。一般来说，时间间隔越长，这段时间内（由于随机误差）两个观察值发生变化的可能性越大。

分半信度。分半信度是构念测量的两个一半之间一致性的衡量。例如，如果对一个构念有一个 10 个指标的测量，首先，将这 10 个项目随机等分为两组 （如果整个数字是奇数可以不等分），并且在相同的受访者中实施测试。然后，计算出每个受访者在每组测试中的总分，每组之间的相关系数作为分半信度的衡量。指标越多，每组测量的相似性越大（因为随着更多指标的加入误差降低了），因此，该技术倾向于系统性地低估长量表的信度。

内部一致信度。内部一致信度是对同一构念不同测量指标一致性的衡量。如果对受访者采用一个多指标量表，那么受访者在多大程度上采用相似的方式来评价这些指标反映了内部一致性。该信度可以用指标间的相关系数均值、单个指标与总体指标间的相关系数均值、或更普遍地用 Cronbach’s α来估计。例如，如果有一个包含六个指标的量表，那么，将有十五种不同的指标配对方式，即这六个指标之间的十五个相关系数。指标间相关系数均值是这十五个相关系数的平均数。为计算单个指标与总体指标的相关系数均值，首先应对六个项目赋值创建一个“总体”指标，然后计算每个指标与总体指标的相关系数，最后再计算这六个相关系数的均值。上述两种测量都没有考虑测量指标的个数（在这个例子中是六个指标）。李·克隆巴赫在 1951年提出了信度测量——Cronbach’s α，该指标在信度估计时注重量表规模，用以下的公式计算：

K 是测量指标的数量， 是观测到的总评分的方差（标准差的平方）， 是观察指标 i的方差。

标准化的 Cronbach’s α可以用一个简单公式计算：

K 是指标的的数量， 是指标间相关系数的均值，即矩阵的上三角（或下三角） K（K-1）/ 2个系数的均值。

效度

效度，常被称为构念效度，是指测量在多大程度上反映了想要研究的构念。举例来说，同情心的测量是否真的反映了同情心，而不是衡量另一个构念同理心。效度可以用理论或实证的方法来评估，并且最好结合二者来评估。理论评估主要关注于操作性的测量在多大程度上转化了或表示了理论构念。这种类型的效度称为转化效度（或表示效度），包括两大类：表面效度和内容效度。转化效度通常用专家组的判断以及称作 Q-sort 的定性技术来评估，专家组对每个测量项 （指标）进行打分以评价其与构念的概念化定义的匹配程度。

效度的实证评估基于实际观察检验既定的测量与一个或多个外部标准相关的程度。这种类型效度被称为效标关联效度，包括四种类型：聚合效度、区效度分、同时效度以及预测效度。转化效度检验了测量是否是潜在构念的有效反映，效标关联效度则是根据构念的理论来检验给定的测量是否以应该的方式进行。这种评估是基于观测数据的定量分析，使用了诸如相关分析、因子分析等统计技术。图 7.2表明了效度的理论与实证评估的区别。然而，为充分保证社会科学研究测量的效度，这两种方法都是必要的。

注意这里讨论的不同类型的效度是指测量过程中的效度，这不同于假设检验过程的效度，如内部效度 （因果关系），外部效度（普遍性），或统计结论的效度。假设检验过程的效度将在后续章节中讨论。

表面效度。表面效度指一个指标是否在“表面上”对潜在构念的合理测量。例如，无需做过多解释就可以理解一个人参加宗教祈祷仪式的频率可以作为一个人虔诚的指标。因此这一指标具有表面效度。然而，如果我们想要把员工从单位图书馆借书量作为测量员工士气的指标，那么这种测量很可能缺乏表面效度，因为这讲不通。有趣的是，一些在组织研究中广泛应用的测量似乎也缺乏表面效度。例如，一个组织的吸收能力（为改进组织流程而能吸收的新知识的数量）经常用研发能力（即，研发费用除以总收入）来测量。如果研究包含非常抽象的构念或难以区分的构念（如同情心和同理心），则值得考虑邀请一组专家来评估构念测量的表面效度。

图7.2效度评估的两种方法

内容效度。内容效度是对一系列测量项与构念欲测的内容范围的匹配程度的评价。例如，若要对“饭店服务满意度”进行测量，可将其饭店服务的内容范围限定为食物的质量、侍者的态度、以及饭店的整体环境（是否嘈杂、有烟味等）；为了达到足够的内容效度，需要建立一系列的指标来衡量饭店内顾客对食物质量、侍者态度以及等待时间长短、饭店整体环境等的满意度。当然，这种方法需要对一个构念的内容范围进行描述，这对诸如自尊、智力等较复杂的构念而言是非常困难的，所以对内容效度不太可能进行充分的评价。像表面效度一样，可以请一组专家来对构念的内容效度进行评价。

聚合效度是指测量与其意图测量的构念之间的接近程度，区分效度是指测量与未意图测量的构念之间的分歧程度，通常，聚合效度与区分效度被运用于一组相联系的构念。例如，如果你期望组织知识与组织组织绩效是相关的，那么该如何确定对组织知识的测量确实测量了组织知识（聚合效度）而不是组织绩效（区分效度）呢？聚合效度可以通过比较同一构念的各不同指标观测值之间的相似度（或高相关性）来衡量。区分效度则可以通过比较不同构念的指标差异来衡量，即具有较低的相关性。在上例中，如果组织知识和组织绩效各有三个项目，根据样本数据，我们可以通过软件对组织知识和组织绩效的每对项目做二元相关分析，如果组内的相似度很高，而组间的相似度很低，那么我们就同时实现了聚合效度和区分效度

（如表 7.1所示）。

表 7.1 聚合效度与区分效度二元相关分析

另一个替代的方法也是更普遍使用的方法，即采用探索性因子分析来评价聚合效度和区分效度。作为一种数据精简方法，该分析基于上文中所提到二元相关系数结构，并通过主成分分析方法将一组给定指标聚合成更少的因子集。这些因子应完美地对应于我们所试图测量的理论构念。因子提取的一般标准是每个被提取的因子其特征值应高于 1。根据潜在构念是否相关，可以对被提取的因子进行斜交旋转或正交旋转，以获得可用于将各构念的指标聚合为复合测量的因子权重。

正如图 7.2 中旋转负荷矩阵的例子，为了达到足够高的聚合效度，同一构念的各指标应在单个因子上具有 0.6或更高的因子负荷（也叫做同因子负荷）。而为了达到更高的区分效度，这些指标应在所有其他因子上具有0.3或更低的因子负荷（也叫做跨因子负荷）。

多质多法（MTMM）方法是评价聚合效度和区分效度的更为精细的方法，它要求对每个构念运用两种以上的方法（如调查、个体观察，或者对教师和父母两组不同的被试进行调查）。这是一种比较繁琐并且实际运用不多的方法，所以在这里不再赘述。

效标关联效度通过变量是否能很好与当下或将来的标准相关联来衡量，包括同时效度和预测效度。预测效度是指测量在多大程度上预测了理论的预期结果，例如：成绩（SAT 成绩）是否能用来预测学生将来的学术成就(GPA)？ 衡量预测效度需要设计反映构念理论联系的关系网。同时效度衡量的是某个指标在多大程度上与同时发生的其他标准相关联，例如：学生的微积分成绩与线性代数成绩之间是否有关联，这两门课程都属于数学课程，因此其成绩应同时相关。与聚合效度和区分效度不同的是，同时效度与预测效度在实证研究中通常忽略不计。

表 7.2 聚合效度与区分效度的探索性因子分析

测量理论

了解各种效度与信度之后，让我来用数学表示的方法（经典检验理论或真值理论）对信度与效度的相关理解进行综合。这是一个用来研究测量是如何工作的，其测量了什么以及没有测量什么的一个心理测量理论。该理论假设每次观测有一个真实值T，这个真实值可以在没有测量误差的情况下精确观测得到，然而，观测过程通常会存在误差E，这些误差的存在使得观测值 X与真实值T之间存在偏离。

X = T + E

观测值 真实值 误差

根据观测结果，观测值与真实值方差的关系可以用相似的公式来表达：

var（X）= var（T）+ var（E）

心理测量分析的目标是估计并尽可能地减小 var（E），这样观测值 X可作为真实值 T的一个好的测量。

测量误差分为两种类型：随机误差和系统误差。随机误差是指由不可预知和不可控制的偶发外部因素所引起的误差。比如，在测量过程中，一些被试的情绪状态可能比其他被试好一些，这将会影响被试对测量项目的反应，情绪好的被试对自尊、满意度以及幸福指数等构念项目的反应可能比情绪状态差的人积极，然而，预测或者控制被试的情绪状态是不可能的；同理，在进行组织层面的测量时，如测量企业绩效，制度和环境变化可能会影响观测样本中的一些企业，而其他的企业则不受影响，因此，随机误差被视为测量中的“噪音”，通常忽略不计。

系统误差是指由系统整体因素所引起的，影响样本中所有个体观测值所形成的普遍误差。接我们前面的例子，相比于制造业或者服务业企业，金融危机更多的影响了金融企业的绩效，假设样本只包含金融企业，我们预期金融危机给样本带来了普遍性的绩效下降。随机误差可能是正向、负向或者是零，然而系统误差则会表现为样本中所有个体观测值的同向变化

（正向或者负向），因此，系统误差通常被认为是偏差，且需要得到修正。

由于观测值可能包含随机误差和系统误差，可将上述的真实值等式修正如下：

X = T + Er + Es

Er 、Es 分别代表随机误差和系统误差，随机误差会对观测值分布的差异性指标（如方差）产生影响，不会影响居中趋势；而系统误差则会影响居中趋势（如均值），不会影响差异性指标（如图7.3所示）：

图 7.3 随机误差与系统误差对分布的影响

随机误差和系统误差对测量过程意味着什么呢？随机误差通过增加观测值的变异程度使得测量的信度降低，相反地，系统误差通过影响居中趋势降低测量的效度。

在测量中，效度通常比信度更重要，这是由于低效度的测量意味着可能测量的并不是我们试图测量的构念，因此，效度对基于数据分析的研究特别关键。

由于信度是真实值与观测值之间的比例关系，因此，信度可以由下式表示：

var（T） / var（X） = var（T） / [ var（T） + var（E） ]

如果真实值与观测值的方差相等，那么信度为1。测量效度的整合方法

对效度进行充分的测量需要同时使用理论方法和实证方法。图 7.4 是一个评价量表信度与效度的流程图。

图 7.4 测量有效性的整合方法

整合测量始于理论方法，第一个步骤是将构念概念化，这包括给构念下定义并限定构念范围（维度）；接下来需要根据概念化的过程来确定指标或者项目（如第 5 章的量表过程所述）。在确定指标的过程中，文献述评是非常有益的，应以简单易懂的文字对每个项目进行一致描述。

接下来的一步是评判小组进行评测（研究方法领域的学者或具有典型性的一组被试），这个测评小组将对每个指标进行检验并进行 Q 分类分析。评判会得到写有构念及其概念化定义和操作指标的卡片（每张卡片上写有一个指标），然后他们将独立地阅读每张指标卡，检验其明晰度、可读性以及指标语义，并根据所得到的构念定义，将每张指标卡归类到最合适的构念之中。

评判间信度用以测量评判对分类的一致性。多个评判未领会的具有歧义的项目可能需要重新检验、重述或者剔除。评判间信度较高的项目（一般10到 15个）可以保留以备进一步的分析。保留的项目需经过评判对表面效度和内容效度进行进一步检验，如果在这一阶段达标的项目不够，则需根据概念化的定义引进新的项目，一般来讲，要得到最能代表构念且评判间信度高的一系列项目需要两到三轮的Q分类。

随后进行的是实证领域的有效性考察，量表需包含所有精确的项目，并从目标人群中选取具有代表性的被试组成试验性被试组进行试验，由此收集到的数据应以表格列示并运用软件程序（如 SAS 或者 SPSS）进行相关分析或者探索性因子分析来评价聚合效度和区分效度。不满足因子载荷标准的项目（同因子载荷高于 0.6，交互因子负荷低于 0.3），剩下的项目需利用内在一致性系数（如克隆巴赫系数）进行信度测量。

量表维度也需要校验，这取决于目标构念被概念化为单维度还是多维度。然后，运用回归分析和结构方程模型对特定理论关系网中构念的预测能力进行评价，如果构念测量满足了本章中所述的大部分信度和效度，那么基本可以确信量表是精确和合理的。

对量表有效性的综合测量需要花费研究者大量的时间和精力，不过，为了确保量表符合研究规范，上示测量程序是不可或缺的，由于有缺陷的量表会导致无意义的结果，量表的有效性测量仍然是实证研究中的重要领域。