问卷调查法是教育研究中广泛采用的一种调查方法,为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷架构,从而提升问卷的信度和效度。
说了这么多,我们先对一些调研小白解释一下,什么是信度和效度?
信度:
可靠性、一致性或稳定性。比如说,在对同一对象进行测量,多次测量结果都很接近,我们就认为这个结果是可信的,也就是信度高。如果每次测量的结果都有很大的差异,则说明信度较低。
效度:
正确性程度,效度越高表示测量结果越能显示出所要测量对象的真正特征。
他们两的差别在于信度度量的是问卷测量结果是否一致的可靠程度,而不涉及结果是否正确的问题;效度则针对问卷测量的目的,重点考察测量结果的有效性。对于量表来说,效度是首要条件,而信度是效度的必要条件。也就是说有效的问卷必定是可信的问卷,但可信的问卷未必是有效的问卷。
了解了定义后,我们来聊一聊检测调查问卷信效度的方法。
信度分析(可靠性分析)
1. 重测信度法
用同样的问卷对同一被测间隔一定时间的重复测试,也可称作测试——再测方法,计算两次测试结果的相关系数。很显然这是稳定系数,即跨时间的一致性。
重测信度法适用于事实性的问卷,也可用于不易受环境影响的态度、意见式问卷。由于重测信度需要对同一样本试测两次,而被测容易受到各种事件、活动的影响,所以间隔时间需要适当。较常用者为间隔二星期或一个月。
2. 复本信度法
复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述模式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。
3. 折半信度法
折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的一致性。
这种方法一般不适用于事实式问卷,常用于态度、意见式问卷的信度分析。进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以确保各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数,最后求出整个量表的信度系数。
4. α信度系数法
Cronbachα信度系数是目前最常用的信度系数,其公式为︰α=(n/n-1)*(1-(∑Si2)/ST2)其中,n为量表中题项的总数,Si2为第i题得分的题内方差,ST2为全部题项总得分的方差。从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。
效度分析
1. 单项与总和相关效度分析
也称为内容效度或逻辑效度,指的是测量的内容与测量目标之间是否适合,也可以说是指测量所选择的项目是否“看起来”符合测量的目的和要求。主要依据调查设计人员的主观判断。
这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度,它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。
2. 准则效度分析
准则效度又称为效标效度或预测效度。准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则,分析问卷题项与准则的联系,若二者相关显著,或者问卷题项对准则的不同取值、特性表现出显著差异,则为有效的题项。
评价准则效度的方法是相关分析或差异显著性检验。在调查问卷的效度分析中,选择一个合适的准则往往十分困难,使这种方法的应用受到一定限制。
3. 结构效度分析
结构效度是为了说明从量表所获得的结果与设计该量表时所假定的理论之间的符合程度。研究者在设计量表时,通常会事先假定一定的量表结构(n个维度),这种结构是否与测量的数据相符合(是否确定存在上述几个维度),需要进行验证。
为了提升调查问卷的质量,进而提升整个研究的价值,问卷的信度和效度分析绝非赘疣蛇足,而是研究过程中必不可少的重要环节。