问卷是否可信——基于体育核心期刊论文(2010—2018年)的系统分析

作者

柯友枝

1

孙建刚

1

张业安

2

李博

1

刘阳

1

1. 上海体育学院体育教育训练学院2. 上海体育学院期刊中心

(同学们看文章结构有哪些部分组成,一些术语理解)

摘要

问卷调查法是体育科学研究实践中常用的研究方法,保证问卷的信度是确保研究科学可靠性的前提。通过检索2010—2018年间《中文社会科学引文索引》(CSSCI)收录的9本体育类期刊,对采用问卷调查法的1 221篇体育研究领域学术论文的信度检验情况进行分析。结果发现:问卷信度的报告存 在缺失现象或报告不严谨;问卷信度的检验方法运用有误或规范性欠缺;问卷信度的结果及评价标准描述较为模糊。鉴于此,提出运用问卷调查法进行信度检验的一般流程及不同信度应用的要素和方法,以提升我国体育科学研究中问卷调查法的运用质量。

前言

问卷是指研究者为了收集调查对象的行为、态度及观念等社会资料或信息,将所要调查的内容和问题编排成统一形式,从而用以解释所研究的问题和验证所提出的研究假设的一种测量工具(徐建华 等,2015)。问卷调查法,即以问卷为测量工具来收集资料的一种调查方法,在体育人文社会调查、运动心理测量等体育学研究中得到了广泛的应用(黄汉升 等,2009)。在体育科学研究中,问卷调查研究最为重要的前提是确保问卷的可靠性和准确性,即信度和效度(曾五一 等,2005)。作为评价调查问卷的两个重要指标,信度和效度的高低既是一个问卷的基本特征,也是衡量问卷的关键指标。一个信度和效度较好的问卷是调查研究结果可信可靠、准确真实的重要前提,对研究的整体质量有着至关重要的作用,因此,提高信度和效度是研究者追求的目标。在这两个基本特征中,信度是效度的基础,好的问卷首先应具备较高的信度,如果信度低,效度必然低(张力为,2002a)。因此,调查问卷的信度往往是研究者重视的首要问题。信度(reliability)是指测验的可靠程度,它表现为测验结果的稳定性和一致性(Carmines et al.,2009),是表明问卷调查科学性的一个重要因素(李灿 等,2008)。对于使用问卷法的研究者来说,对所使用的问卷进行信度检验是保障研究结果科学性的重要前提(方千华,2008;齐红梅 等,2013)。另外,进行正确的信度分析可以帮助研究者识别与整个问卷关联性不大的题项,为进一步修改问卷提供理论依据(张虎 等,2007)。因此,体育科学研究人员掌握体育研究调查问卷信度检验的一般流程,了解不同信度检验方法并进行合理选择与应用是极有必要的。本研究检索了 2010—2018 年体育科学研究领域《中文社会科学引文索引》(CSSCI)刊发的使用问卷调查法的学术论文,对其中信度测评情况进行总结与分析。

1 研究对象与方法

1.1 研究对象

以问卷信度测评方法在我国体育研究领域中的应用情况为研究对象,以 2010—2018 年 CSSCI 收录的 9 本体育类期刊采用问卷调查法的学术论文为调查对象,纳入研究的 9 本期刊分别是《体育科学》《中国体育科技》《北京体育大学报》《上海体育学院学报》《体育学刊》《体育与科学》《天津体育学院学报》《武汉体育学院学报》《西安体育学院学报》。

1.2 研究方法

通过文献资料调研收集相关文献,运用数理统计法对研究信息进行统计与分析。以中国知网(CNKI)高级检索程序为检索工具,以中国社会科学索引(CSSCI)收录的 9本体育类期刊为论文来源,论文的刊发时间段为2010年1月1日—2018年12月31日。在精确论文来源期刊和刊发时间的基础上,将符合研究条件的各期刊所有论文导入文献阅读与管理软件,通过对文献题目、摘要和全文阅读的方式进行人工筛选,检索流程如图 1 所示,最终纳入 1 221 篇研究论文。以数理统计法对纳入文献进行信息提取与整理分析。

1.3 纳入与排除标准

纳入标准:纳入 2010 年 1 月 1 日—2018 年 12 月 31 日,在 9 本指定刊物上刊发的论文,其中运用问卷调查法(包括使用各类量表)的全部纳入。剔除标准:未采用问卷调查法的论文;仅采用由询问事实性问题组成问卷的论文;所有作者均为国外研究者的论文;非定量研究范式的论文;会议论文、刊讯、题录、通知等。

2 结果与分析

2.1 运用问卷法的期刊概况

问卷调查法是当前体育研究领域常用的研究方法之一,在体育科学研究中占有重要地位(黄汉升 等,2009)。由表 1 可知,2010—2018 年采用问卷法的论文总数有所下降,一方面说明我国体育科学研究条件逐渐提升、研究方法逐渐充盈;另一方面,从运用问卷法作为研究方法的论文占比可以看出,问卷调查法仍然是体育研究领域中不可忽视的一种重要的研究方法。使用问卷调查法的论文数目最多的刊物是《北京体育大学学报》(349 篇),其次是《武汉体育学院学报》(208 篇),两者数量相差较大且明显多于其他刊物,比排在第 3 位的《上海体育学院学报》多出75 篇。问卷法论文刊登数量最少的是《体育与科学》(75篇),其次是《体育科学》与《体育学刊》(78 篇),两者差别较小。从各刊物发表问卷调查论文数量占本刊物所有论文总数的百分比来看,《上海体育学院学报》《北京体育大学学报》《武汉体育学院学报》所刊发的论文中问卷调查研究论文所占权重相对较高,《体育学刊》《体育科学》《体育与科学》所刊发的论文中问卷调查研究论文所占权重相对较低。总体而言,问卷调查法在体育研究领域体现出了运用的广泛性和实用性,体现了体育学科研究的定量化趋势,符合体育科学研究发展的要求。

2.2 应用问卷法的规范性

2.2.1 问卷名称的报告

近年来,问卷的编制逐渐引起了体育科学工作者的关注,其编制方法的科学性、规范性和合理性不仅影响到各种测量的准确性,更彰显了体育学科的发展水平(戴俭慧等,2014)。问卷具备清晰明确的名称是问卷规范性的标志之一,其对于研究目的的表达以及研究方法的展现具有重要作用。而在本研究中却发现,纳入的 1 221 篇使用问卷调查法的论文中,具有(或提到)所使用问卷名称的比例仅为 56.8%(693 篇),有 43.2%(528 篇)的论文没有或没有说明问卷的名称,不但给阅读者带来了诸多不便,同时也对于研究者之间的学习交流造成了阻碍。从数据上看,问卷法应用的规范性问题仍然存在改进空间。使用问卷调查法对研究对象进行调查之前,对所使用的问卷进行基本情况的介绍是研究规范性的一种体现。本研究发现,部分研究者对问卷信息交代不全或者不够重视的情况,反映出研究者在研究方法运用过程中对一些细节问题的轻视或者认识不到位。张力为(2006)对 91 篇采用问卷调查为主要方法的硕士论文进行分析,发现问卷调查法在运用过程中缺乏科学的系统性和继承性。事实上,问卷法与其他方法一样,是一种严谨的研究方法,各环节都应体现出研究的科学性与规范性(刘朝杰,1997)。反之,研究者对学术的怠慢会影响到公众对科学研究的学术尊重。人既作为研究的主体和客体,制约和影响着问卷调查的可靠性和适用性,作为一种具体的社会调查方法,问卷调查法有着特定的方法学范式(徐建华 等,2015)。事实证明,只要研究者们规范科学地运用问卷调查法,保证问卷调查的质量,更易于获得有价值的研究成果(徐建华 等,2019)。

2.2.2 问卷类型的选择

纳入本研究的文献中,多数(60.2%)论文采用“自编问卷”,但需注意的是,使用自己编制的问卷,其难度远大于借用前人研制且已认可的问卷(张力为,2006)。部分研 究 使 用 的 是“ 引 用 问 卷 ”(21.8%)和“ 改 编 问 卷 ”(10.1%),还有部分研究对采用问卷的来源性质交代不清(7.9%)。调查结果显示,自编问卷占据大多数,但其潜在的问题需要引起注意,最为突出的是问卷的信效度检验问题。使用未经(或未正确)进行信度测评的问卷,将会使研究结果的可靠性和客观性受到质疑(李曼,2013)。部分研究者借用或移植国外问卷,将先前研究的信度估计方法作为自己当前研究的信度估计方法,这在一定程度上可减轻研究者的负担(张立敏 等,2008)。但由于地区文化的差异以及样本的特点,借用或移植问卷存在着一定的弊端,表现在语言、测量和功能等值性上。这就涉及到测验的本土化问题,即测量的方法、标准与程序等必须要与特定语言或文化背景条件下对象的特殊性相一致(叶国雄 等,1994)。另外,在研究中应用前人研制的问卷时,不仅要考虑和报告研制者最初研制该问卷时的信度,还应检验和报告该问卷在本项研究中的信度(张力为,2002a)。还有部分论文仅仅提到运用问卷法进行研究,对问卷的来源描述不清,体现出研究者们的科学研究素养有待提高。总之,标准化的问卷是一个不断发展和演变的过程,尤其当借用和移植国外的问卷时,还会衍生出本土化的问题,因此须正确谨慎的运用问卷调查法。2.3 问卷信度的测评情况问 卷 是 用 于 测 量 人 们 某 些 特 征 的 工 具(风 笑 天 ,1994),而信度是评价问卷测验质量的最基本指标(张力为,2002b)。本研究发现,在所检索到的 1 221 篇文献中,报告信度结果的有 740 篇(占总数的 60.6%),有 481 篇(占总数的 39.4%)文献未对信度进行报告(表 2)。对于只问询事实类的问卷,例如,仅采用由社会人口学信息或基本情况所组成的问卷,一般而言,是不需要进行信度检验的(张力为,2002a)。因此,本研究在文章筛选中剔除了仅使用问询客观事实问卷的研究,以保证本研究结果的准确性。虽然对信度进行报告的比例较高,但对于体育科研的严谨性来说,60.6% 的比例不足以令人满意。对问卷信度进行清楚合理的评价,是国内科学研究者们进行问卷调查时常常容易忽略的问题(张虎 等,2007)。问卷设计者往往注重的是数据收集的难易程度以及问卷设计的逻辑性问题,很少会关注问卷的可信度问题。然而,测评问卷信度是问卷调查法研究中非常重要的一步(叶宝娟等,2012),只有信度被接受时,问卷的数据分析才是可靠的(徐万里,2008),以问卷法为主的体育科学调查研究均应提高对这一环节的重视程度。呈现具体的信度结果是对问卷进行信度检验科学性的表征,相同功能问卷之间信度的对比,需要以问卷的信度结果以及信度计算方法为依据。本研究发现,纳入研究的论文中对问卷信度结果的描述有 3 种情况,“有具体值”说明的论文数为 524 篇(占论文总数的 42.9%)(表 2),此类论文有信度检验的具体数值,因此,某些检验方法相同的论文之间可以进行信度对比,读者也能够通过具体的数值了解问卷的信度程度。然而遗憾的是,部分论文仅交代了信度值,而具体的信度检验程序却不得而知。对信度结果进行“主观描述”的论文数为 149 篇(占论文总数的 12.2%),此类论文没有报告信度结果的具体值,仅对信度进行了主观描述,例如,使用“信度较高”等词汇。此类论文虽然对问卷的信度进行了说明,但读者很难把握问卷的具体信度程度,且不同问卷信度之间不能进行对照与对比,研究者们若想参考、改良或使用此问卷比较困难。对所使用的问卷信度结果“无任何说明”的论文为548 篇(占论文总数的 44.9%),这些论文虽然使用了问卷调查法,但对问卷信度结果完全没有提及,对同领域的研究者来说,通过此类论文获取的研究结果和经验的可靠性得不到保证。有研究表明,以问卷调查为主要研究方法的硕士论文对信度的运用也存在较多误区(毛志雄,2014;张力为,2006)。由此可见,研究者们对自身使用的问卷信度信息掌握并不充分,对问卷信度的重视程度不足,对问卷调查法的使用方法还需进一步的了解。综上说明,研究者缺乏专业的研究技能,问卷法被滥用的情形并不少见。

图片正在加载中,请稍后

图片正在加载中,请稍后

因篇幅限制中间省略一部分

4 小结

随着体育科学定量研究范式的普及,问卷调查法仍然是目前常用的体育社会科学研究方法之一,在本研究纳入的 9 本刊物中均占有较高比例,但同时也揭示了我国科学研究者在使用问卷调查法过程中所潜在的一些问题。在提倡学术规范的今天,科学研究者在运用问卷调查法时,须重视并加强问卷的编制修订工作,遵循信度检验的一般流程,正确应用信度检验方法,从而有效地利用问卷调查法得出科学客观的研究结论,保证学术论文的质量。

图片正在加载中,请稍后

最新资讯

文档百科

CopyRight © 2000~2023 一和一学习网 Inc.All Rights Reserved.
一和一学习网:让父母和孩子一起爱上学习