第 6 / 18 章

第五章 研究设计

《社会科学研究:原理、方法与实践》· 阿诺·巴塔查尔吉

《社会科学研究:原理、方法与实践》封面
原文

第五章 研究设计

在实证研究中,研究设计是指全面的数据收集计划。研究设计是实证研究的“蓝图”,它旨在回答特定的研究问题或者检验特定的研究假设,并且必须至少详细说明如下三个过程:

(1)数据收集过程,(2)量表开发过程,和(3)采样过程。这一章主要介绍数据收集过程

(一般也叫做“研究设计”), 后续两章介绍量表开发和采样过程。在第 9-12 章,我们会对数据收集过程作更详尽的描述。

大致说来, 数据采集方法可分为两大类:实证与诠释。实证方法,例如实验研究和调查研究,的目的在于检验理论(或假设);而诠释方法(如行动研究和人种志研究)的目的在于构建理论。实证研究采用演绎的方法,从一个理论开始并通过经验数据来检验理论假设。相反,诠释研究采用归纳的方法,通过所观察到的数据来试图获得与某个现象相关的理论。通常,这些方法被错误地等同于定量和定性研究。定量和定性的方法是指数据收集(定量数据包括数值型数据、指标型数据等,而定性数据包括访谈、观察等)和数据分析(即利用定量技术,如回归,或定性方法,如编码)的类型。实证性研究主要采用定量数据,但也可以使用定性数据。诠释性研究很大程度上依赖于定性数据,但有时也会使用定量数据。采用定性和定量数据相结合的方法可以帮助研究人员获取对某些复杂社会现象的独特见解。这种见解并不能通过单独使用任何一类数据来获知。因此,使用定性和定量数据的混合研究模式常常是非常必要的。

研究设计的关键属性

研究设计的质量取决于四个关键设计属性:内部效度,外部效度,构念效度和统计结论效度。

内部效度,也被称为因果关系,它研究因变量的变化是否确实由假定的自变量的变化所造成,而不是由与研究背景毫无关联的外生变量所引起的。因果关系的存在需要三个条件:

(1)原因和结果相互关联(也就是说,如果原因发生了,那么也会产生相应的结果;如果原因不发生,那么也不会产生相应的结果);(2)时间优先:原因必须先于结果而发生;

(3)没有其他看似合理的解释(或伪相关)。某些研究设计,例如实验室实验,具有较高的内部效度。这是因为实验室实验能够在控制外生变量影响的同时,通过某些控制条件对自变量(即原因)进行操控,并在控制施加的一段时间后观察结果(因变量)的变化。其他的研究设计,如现场调查,由于无法操控自变量(即原因),而且原因和结果都是在相同的时间点观察到的(这与原因必须优先于结果的条件相违背,并造成似乎是预期的结果影响到原因,而不是原因影响结果),因而缺乏内部效度。虽然实验研究与其他研究方法相比具有较高的内部效度,但是实验研究易受到历史记录、测试、试验设备、回归和其他因素的影响。我们将在实验设计这一章中对该内容进行详细地阐述。尽管如此,不同的研究设计在各自的内部效度水平上差异还是很大的。

外部效度或可推广性主要指所观察的相关性是否可以从样本推广到总体(总体效度),或是否适用于其他人、其他组织、其他情境,或其他时间(即生态效度)。比如,从美国金融公司样本推出的结论是否可以推广至所有金融公司(总体效度)或美国的其它公司(生态效度)?调查研究的数据来源于各种各样的个人、企业或者其他分析单位。这种研究往往比实验研究更具普遍性。这是因为实验研究会严格地人为控制外生变量,但在现实环境下这些外生变量是不可控的,因而导致实验研究的结论很难得到推广。各种研究设计的内部效度和外部效度如图5.1所示。

效度锥体

单案例 多案例

研究 研究

现场

试验

人种论

纵向实

外部

效度 横向实 地调查

地调查

多实验

仿真

室试验

效度

边界

数学

单实验、

论证

室实验

内部效度

图5.1. 内部效度和外部效度

一些研究人员认为内部效度和外部效度之间存在着权衡关系,即只有在牺牲内部效度的情况下才能获得高的外部效度,反之亦然。但是,也未必总是如此。如现场实验、纵向现场调查、以及多案例研究等研究设计就可以同时实现较高的内部效度和外部效度。就我个人而言,我更倾向于兼具合理的内部效度和外部效度的研究设计,即落于如图 5.1所示的锥形区域内的研究设计。但这并不能表明位于锥形区域之外的研究设计的价值或有用性更低。研究者最终将根据个人的偏好和能力,以及他想获得的内部效度和外部效度水平来选择研究设计。

构念效度衡量的是给定的量表在多大程度上测量了该理论构念。社会科学研究中的许多构念,如移情、变革阻力以及组织学习等都是难以界定的,更不用说去衡量了。例如,构念效度必须保证对移情这一构念的衡量确实反映的是共同感受而不是同情怜悯。要做到这一点可能会比较困难,这是因为这些构念在意义上比较相近。在下一章节中,我们描述了如何在实证研究中通过相关分析和因子分析来评估构念效度。

统计结论效度检验的是在多大程度上由统计方法所推导出的结论是有效的。例如,统计结论效度会分析假设检验是否使用了正确的统计方法、所使用的研究变量是否符合统计检验的假定条件(如样本大小或分布要求)等。因为诠释性研究设计并不使用统计检验,所以诠释性研究不存在统计结论效度的问题。在图 5.2中,我们给出了不同的效度及其在理论和实证研究层面所处的位置。

图 5.2. 科学研究中的不同效度类型

提高内外部效度

最好的研究设计应该能同时保证高水平的内部效度和外部效度。这样的设计能防止伪相关,增加假设检验的可信度,并确保小样本中所得出的结论可以推广至总体样本。研究人员可以通过以下五种控制方式来保证研究设计中的内部效度(即因果关系):(1)操控、

(2)剔除、(3)包含、(4)统计控制、(5)随机试验。

在操控方面,研究人员在一个或多个层面对自变量进行操控(称为“处理”),并与没有接受处理的对照组进行比较,以发现结果的差异。这种处理可能是医学治疗研究中对研究对象采用一种新的药物或不同剂量的药物,或是在教育领域对学生采取不同的教学风格等。这种类型的操控可以在实验研究或准实验研究中实现,但并不能在非实验研究(如调查研究)中实现。值得注意的是,如果研究对象不能充分地辨别出不同实验处理的操控的差异,则他们对于不同操控的反应可能相同,那么这样的操控是失败的。

剔除方法可通过在不同处理过程中保持外生变量的一致性来实现,比如将研究对象限定为同性别或处于相同社会经济地位的主体。包含方法可通过在研究设计中包含外生变量,并分别评估其对因变量的作用(比如包含性别因素的因子设计)来实现。这种方法得出的结论具有普遍推广性,但同时也需要更大的研究样本。在统计控制中,外生变量在统计检验过程里被用作为协变量。

最后,若能保证外生变量的影响是随机(非系统化)产生的,则可以通过随机抽样过程来消除这种影响,我们称这种方法为随机方法。随机方法有两种类型:(1)随机选择,即在总体样本中随机选取样本;(2)随机分配,即把由非随机方式选取的研究主体随机分配到试验组和对照组中。

随机化也可以确保外部效度,并能把目标样本中所获得的结论推广到相应的总体样本中。需要注意的是,由于资源或数据获取的限制而无法进行随机选择时,需要强制进行随机分配。然而,我们很难保证研究结果在不同群体中也可以得到推广。这是因为群体之间存在多个维度上的差异,而我们只能控制其中很少的一些维度。

流行研究设计

如前文所述,基于科学研究目的,研究设计可以被分为两大类:实证研究和诠释研究。实证研究是指理论检验,而诠释研究是指理论构建。实证研究基于客观现实探索出广义的模式,而诠释研究是以参与主体的视角来寻求对社会现象的主观解释。一些流行的实证研究设计包括实验室实验、现场实验、现场调查、二手数据分析和案例研究等。而较为流行的诠释研究主要包括案例研究、现象研究和人种志研究等。需要注意的是,案例研究可用于理论构建或理论检验(虽然不可以同时进行)。并不是所有的方法都适合于各种类型的科学研究。一些研究方法,如焦点组访谈,特别适用于探索性研究,而另一些研究方法,如人种志研究,特别适用于描述性研究,还有一些其他的研究方法,如实验室实验对于解释性研究非常合适。我们将在下面的内容中对其中一些研究设计进行简单的描述。更详尽的细节会在第 9-12章提供。

实验研究是一种在严格控制的环境下测试因果关系(即假设)的方法。实验研究可以将原因从结果中分离出来,并对接受实验处理的一组(以下简称“实验组”或“处理组”)而不是另一组(即“对照组”)施加原因因素,进而观察两组主体在原因因素影响下的差异。例如,如果我们设计一个实验来测试新药在治疗某些疾病时的功效,我们可以得到一个这类病人的随机样本,并把他们随机分配成两组(实验组和对照组),对实验组主体实施药物治疗,但另一组只服用安慰剂(比如服用没有医疗价值的糖丸)。更复杂的设计可能包括多个实验组,如根据给予药物剂量的高低进行分组,或者多种治疗方式,如将药物治疗与饮食干预治疗相结合。在真实验研究中,研究人员必须对研究主体进行随机分组。如果没有进行随机分组,那么这种研究就只能是准实验研究。实验研究可以在人工环境或在如大学这样的实验室环境下进行(实验室实验),或在现象实际发生的场所,如组织中进行(现场实验)。实验室实验允许研究者分离出感兴趣的变量并控制外生变量,而这在现场实验中是不可能实现的。因此,从实验研究中推出的结论往往具有较高的内部效度,而从现场实验中推出的结论往往具有较高的外部效度。实验数据采用定量统计方法进行分析。实验研究的主要优势在于其可以分离、控制和深入检验一些变量,因此具有较高的内部效度,而它的主要缺点在于其有限的外部可推广性,这是因为现实生活往往比人为设置下的实验环境更加复杂(例如包含更多的外生变量)。此外,如果实验研究不能事先识别和控制相关外生变量,这也有可能降低它的内部效度, 进而可能导致伪相关。

现场调查属于非实验研究,它不能控制自变量进行相关实验,而是测量相关变量并运用统计方法检验这些变量的影响。现场调查通过在现场发放问卷或偶尔通过结构化访谈来捕捉随机抽样主体的实践、信仰等相关信息。在横截面现场调查中,研究人员在同一时间点对自变量和因变量进行观测(例如通过同一份问卷进行调查),而在纵向现场调查中,因变量的测量应晚于自变量。现场调查的优势在于其具有较高的外部效度(因为数据是在现场进行收集的),以及可以捕捉并控制多个变量,并从多个角度或运用多种理论来研究某个问题。然而,由于现场调查缺少时序性的特点,研究人员很难保证它的内部效度(因果关系),并且调查主体也可能存在应答偏差(例如,调查对象会提供一个社会所期望的反应,而不是他们真实的反应),这也进一步降低了其内部效度。

二手数据分析指对之前通过其他来源所获取的数据进行分析。这些数据可能包含从政府机构获得的数据,诸如来自美国劳工局的就业统计数据或来自联合国发展计划署的国家发展统计数据,其他研究人员所收集的数据(常用于元分析研究),或者可公开获取的第三方数据,如股票市场的财务数据或来自 eBay 的实时拍卖数据等。这与大多数由研究者搜集原始数据进行的研究形成了鲜明的对比。当原始数据搜集的成本太高或不可行,并且二手数据可用于回答面向具体分析层面的研究问题时,二手数据分析不失为一个有效的研究方法。这种研究的局限性在于二手数据可能不是用系统而科学的方法所搜集的,因此可能不适用于科学研究。而且由于二手数据基于不同目的而搜集,这些数据也可能无法充分地解决研究人员所感兴趣的研究问题。同时,原因和结果的时间顺序很模糊,这也降低了研究的内部效度。

案例研究是指对一个或多个真实情境(案例现场)所进行的长期而深入的调查。数据可通过访谈、个人观察和内部或外部文档进行收集。案例研究可以是实证研究(假设检验)或诠释研究(理论构建)。这种研究方法的优势在于它能发掘出与未知现象相关的各种社会、文化和政治因素。案例研究往往是定性研究,但是它在很大程度上更加情境化和细致化。然而,对于调查结果的解释可能取决于研究人员的观测和综合能力。控制条件的缺乏也可能会导致难以确立相应的因果关系,而来自于单个案例的调查结果同样难以推广至其他案例。我们可以通过在多案例研究中对不同案例的分析结果进行比较来提高案例的可推广性。

焦点组访谈研究是指一组受访对象(通常是6到 10人)聚在一起对某个特定现象讨论1.5到 2 个小时。在研究的过程中,一名受过专门训练的协助人员将主持和引导讨论,并为参与者确立讨论议程及提供讨论的初始问题集。主持人应确保所有参与者都表达了自己的观点和经验,并最终基于参与者的意见和经验对研究问题构建一个全面的理解。由于控制条件的缺乏,该类研究将无法保证其内部效度,同时由于较小的样本量,研究结果也不能被推广至其他情境。因此,焦点组访谈一般不会用于解释性或描述性研究,而较多地用于探索性研究。

行动研究认为对于复杂社会现象的最好理解方式是引入相关干预措施或采取相关行动,来观察这些行动对于社会现象的影响。在该方法中,研究人员通常以咨询顾问或组织成员的身份参与到某个社会情境(如组织)中,并发起一项行动(如新的组织流程或新的技术)来应对真实环境下的问题(如利润下降或运营瓶颈)。研究人员对于行动的选择必须立足于理论,并且这种理论应解释该行动为何以及如何带来预期的变化。之后,研究人员观察这种行动的结果,并在必要的时候对其进行修正,同时通过对该行动结果的观测,提出对目标问题和外部干预的理论见解。研究人员可以通过所选择的行动在何种程度上成功地解决了目标问题来对原始理论进行验证。行动研究区别于所有其它研究方法的核心特征是行动研究能够同时解决问题并产生观点。因此,行动研究可以很好地衔接研究与实践。该方法也适用于研究特定情境下的社会问题,但是这种研究方法会受到研究者偏见和主观性的影响,并且研究结果通常只适用于具体实施该研究的情境。

人种志研究是基于人类学研究的一种诠释性研究设计。人类学研究强调必须在一定的文化背景下对现象进行研究。研究人员需要在很长一段时间内(8个月至 2年)融入于特定的文化中,并在此期间体验、观察并记录该文化下的日常生活,最终构建关于这种文化下的变革和行为的理论。研究数据主要通过观测、与其他参与者之间正式和非正式的互动,以及个人的现场记录来收集。数据分析是一种“意会”的过程。研究人员必须极其详尽地叙述自己的经历,这样可以让读者不必身临其境就可以体验到同样的文化。该方法的优点在于它的情境敏感性及由此而引发的丰富而又细致入微的理解,并可以最大程度地减少应答偏差。然而,这也是一个极其耗时和占用大量资源的方法,并且研究结果只针对特定的文化背景,而对于其他文化则具有较低的可推广性。

选择研究设计

考虑到上述众多的研究设计,研究人员在他们的研究工作中应如何选择呢?一般而言,研究人员更倾向于选择那些他们感觉良好并最有能力操作的研究设计,但是理想的选择应取决于研究现象本身。在研究问题还不是很清楚的初步阶段,研究人员主要想弄清楚特定研究问题的性质和范围,这时焦点组访谈(用于个体层面的分析)或者案例研究(用于组织层面的分析)是探索性研究中的理想选择。当我们深入到某个研究领域中,但是又没有发现好的理论可以去解释这种现象时,我们就想建立一个理论来填补这个领域的研究缺口,诠释性研究

(如案例研究或者人种志研究)可能是更好的研究设计。如果存在不同的理论,并且研究人员希望检验这些不同的理论以将其整合成一个更广泛的理论时,使用实证研究如实验研究、调查研究、或二手数据分析是比较合适的。

无论选择何种研究设计,研究人员应努力通过混合研究方法,如问卷、访谈、观察、文档或二手数据来获取定性和定量数据。比如,即使是在为了搜集定量数据而设计的高度结构化问卷中,研究人员也能通过设置开放性问题来搜集定性数据,并能从中获得结构化定量数据无法得到的见解。同样地,尽管案例研究大多采用面对面的访谈来收集定性数据,但也不应忽视定量数据搜集的潜力和价值。以组织决策制定过程研究为例,案例访谈者可以记录下数值型数据,如组织耗费了几个月来制定某个决策,多少人参与了决策制定过程,以及有多少种决策可供选择等。这些数据为我们提供了大量有价值的,且无法从受访者叙述性的回答中获取的见解。无论采取哪种研究设计,研究人员应尽可能多地搜集各种数据来加深对目标现象的了解。