学术争鸣|刘宝权&胡芳芳：英语专业四级阅读测试效度研究——以TEM4(2016)新大纲样题阅读任务为例
点击蓝字丨关注我们
学术争鸣
外语电化教学TEFLE
第179期2018年2月
英语专业四级阅读测试效度研究
——以TEM4(2016)新大纲样题阅读任务为例
上海财经大学
刘宝权 胡芳芳
摘 要
本研究选取上海财经大学104名商务英语专业学生为受试者，采用改革后的2016年TEM4样卷作为研究对象，分析该样卷阅读理解考试任务的内容效度，并对阅读理解任务中多项选择题和简答题两种题型进行效度验证。研究结果表明，2016年TEM4样卷阅读理解测试具有较高的内容效度;简答题和多项选择题两者的内部一致性较高，且简答题比多项选择题具有更高的效度。部分受试者认为简答题难度较高，因此从自身利益出发认为不必在TEM4中增加简答题，但是同时他们也承认简答题能更有效地测量出他们对文章的理解能力。本研究的相关结果可为TEM4未来的开发和完善提供实证依据。
关键词:TEM4;阅读理解;效度;多项选择题;简答题
中图分类号:H319.3 文献标识码:A
文章编号:1001-5795(2018)01-0070-0006
1 引 言
为进一步深化外语类专业本科教学综合改革，全面提高外语人才培养质量，教育部高等学校外语专业教学指导委员会英语组于2016年对高等学校英语专业四级考试(以下简称TEM4)实施新一轮改革。TEM4的第一次改革发生在1997年，第二次改革发生在2004年，2016年开始进行第三次改革。TEM4根据《高等学校英语专业英语教学大纲》(以下简称《教学大纲》)的要求，全面检查已完成英语专业基础阶段课程的学生是否达到《教学大纲》所规定的各项语言技能/能力、语言知识和专业知识的目标。作为针对我国高校英语专业大二学生的一项全国性标准参照考试，TEM4每年举行一次。考试由教育部高等学校外语专业教学指导委员会英语组组织有关测试专家命题，外语专业教学指导委员会办公室负责考试的实施(邹申，2005)。据统计，近年来每年参加TEM4笔试的考生人数在23万左右。
2016年高校外语专业教学测试办公室公布了《关于英语专业四级考试(TEM4)题型调整的说明》(以下简称《TEM4题型调整说明》)。根据《TEM4题型调整说明》，考试大纲和样题较之往年有较大幅度的调整。其中阅读理解部分的变革较大，增加了一项全新的测试形式——简答题，并将沿用已久的20道多项选择题改为10道多项选择题和5道简答题形式。不同考试形式对于测试效度产生较大的影响(Shohamy，1984;刘建达，1998)。目前国内文献中阅读理解的效度验证多数以多项选择题作为研究对象，简答题题型的效度验证相对较少。因此有必要开展围绕阅读理解简答题题型进行的效度验证，以确保考试的公平性和有效性。
2 文献综述
Shohamy(1984)尝试从阅读理解的测试方法角度分析两种不同的测试形式对受试者成绩的影响以及对阅读理解测试本身效果的影响。Alderson(2000)、Kobayashi(2002)、Taboada et al.(2009)则从影响阅读理解测试的外界因素(如语篇、受试者的背景、回答形式等)分析其对阅读理解测试结果的影响以及这些因素在区分受试者语言水平上的差异。
国内阅读理解测试研究多试图从影响阅读理解测试的外界因素及测试方法分析其效度。刘建达(1998)研究测试阅读理解的三种最常用方法(选择填空、正误判断和简答)对阅读测试的影响。实验结果显示，测试方法会影响考生在阅读测试中的表现。在三种方法中，简答最难，选择填空和正误判断较容易。邹申等(2002)通过探讨题目类型(按照考试规范设计)、调查对象采用的阅读策略以及考试分数之间的关系来论证TEM4阅读测试的效度。研究结果表明，在不同的题目类型、阅读策略和考试分数之间的确存在着一定的关系模式。孔文(2011)运用有声思维的研究方法从考生答题过程验证TEM4阅读理解任务的构念效度。王海军(2012)通过实证研究对多项选择题、填空题和问答题这三种常见的阅读题型的效标关联效度进行了全面的检验。结果表明，在内容效度和建构效度相同的情况下，填空题和问答题的效标关联效度均令人满意，其中，填空题的效度更高，而多项选择题的效标关联效度不尽如人意。侯艳萍(2012)从考试任务特征模式的语篇输入和预期应答两方面对2005-2011年间TEM4阅读理解的内容效度进行了探究。
国内外文献梳理发现，既分析阅读理解的内容效度又对比不同测试方法的效度的著作和文献并不多见，相关研究并不充分。基于此，本文从阅读理解部分入手，结合《TEM4题型调整说明》及相关测试理论，揭示TEM4阅读理解测试的内容效度差异，并验证两种测试方法的效度差异。本文主要回答以下两个研究问题:①2016年TEM4新大纲样题阅读理解测试的内容效度如何?②阅读理解测试中简答题和多项选择题的效度是否存在差异?
3 研究设计
本研究主要从两个角度验证2016年TEM4阅读理解测试的有效性。对内容效度的分析采用的是Bachman & Palmer(1996)提出的考试任务特点框架，并结合《TEM4题型调整说明》，主要从TEM4阅读任务特征因素的角度开展分析，包括以下两个方面:输入语篇特征(语篇篇幅、生词数、题材、体裁、易读度)和预期回答特征(阅读技能覆盖)。同时，使用2016年TEM4阅读理解测试样题对商务英语专业学生进行测试，考察多项选择题和简答题的内部一致性及效度差异。
3.1 研究对象及受试
本研究采用2016年TEM4样卷作为研究对象，选取上海财经大学104名在校商务英语专业学生作为受试者。其中101名受试者阅读理解分数有效。试后对所有受试者进行问卷调查，问卷包含21个问题。前两道题目了解学生是否熟悉阅读题目，3-16题采用5级量表形式了解学生对于选择题和简答题的态度。后五个问题为访谈题目。实际收回92份有效问卷，最后随机抽取21名受试者进行访谈。
3.2 数据收集
本研究采用调查问卷和访谈进行数据收集，主要对阅读理解测试部分的样题效度和受试者的阅读理解测试成绩展开分析。首先以2016年TEM4样题阅读理解部分考试内容对考生进行了测试，试卷收集后由上海财经大学英语测试研究中心组织具有丰富TEM4阅卷经验的评卷员按照统一培训的标准进行批改，得出数据。考试结束后对所有考生发放调查问卷，问卷收集后，使用SPSS19.0对数据进行统计与分析。
4 结果和讨论
4.1阅读理解测试的内容效度
根据《TEM4题型调整说明》，TEM4阅读理解中阅读材料共长1800个单词左右，要求测试者的阅读速度为每分钟120个单词。由表1可知此次阅读理解测试样题符合《TEM4题型调整说明》中的要求。
《TEM4题型调整说明》规定阅读材料的语言难度要中等。本次阅读理解测试中，生词比重远远低于3%。同时，考试样题对于某些超纲的生词已经做标注，不会给学生理解带来太大障碍。
根据《TEM4题型调整说明》，TEM4阅读理解选材要题材广泛，包括社会、科技、文化、学习、常识、人物传记等;体裁多样，包括记叙文、描写文、说明文、议论文、广告、说明书、图表等。本次测试样题阅读材料如表3和表4所示，题材广泛，体裁多样，代表性较强，基本符合《TEM4题型调整说明》中的要求。
根据《TEM4题型调整说明》，阅读理解测试要求受试者能掌握所读材料的主旨大意，了解说明主旨大意的事实和细节;既理解字面意义，又能根据所读材料进行判断和推理;既理解个别句子的意义，也理解上下文的逻辑关系。本次阅读理解测试基本包含可以测试受试者阅读能力的试题类型，符合《TEM4题型调整说明》的基本要求。
《TEM4题型调整说明》规定测试者要能读懂英美国家出版的中等难度的文章和材料，能读懂难度相当于美国Newsweek的国际新闻报道，能读懂难度相当于Sons and Lovers的文章原著。根据Flesh阅读度指标公式，表6表明阅读理解测试的平均难度是66.26。阅读理解的难度较为合适，基本符合Flesh指标中等难度的要求，即介于Standard和Fairly Difficult之间。
以上分析说明，2016TEM4样题内容效度符合《TEM4题型调整说明》中的要求。无论是从输入语篇特征，还是从预期回答特征的维度衡量，都展示了较高的内容效度。但是也不能否认其中的不足，如题目设计和篇幅控制的平衡等。
4.2阅读理解测试的信度和效度
由表7可知，本次研究采用的阅读理解测试样题的信度较高，阅读理解测试有效性和科学性较高，所以研究对象的测试成绩可以用来分析研究问题。
由表8可知，就研究对象阅读理解成绩来说，多项选择题(MCQs)的平均成绩高于简答题(SAQs)的平均成绩，但是标准差低于简答题的标准差，表明简答题比多项选择题更能测试出受试者的英语学习水平。对受试者来说，此次阅读理解测试多项选择题易于简答题，他们在多项选择题表现更好或者得分更高。这可能与之前大部分受试者已经习惯并花费时间练习多项选择题有关。
由表9可知，多项选择题与简答题显著相关，说明阅读理解测试样题的效度较高，也说明此次阅读理解测试的内部一致性较高。阅读理解测试题型的不同会对阅读理解成绩造成一定的影响。表9显示，较之多项选择题，简答题与阅读理解成绩的相关性更高，说明简答题更能测试出受试者的英语阅读水平。
4.3阅读理解测试题型的效度分析
由表10可知，多项选择题和简答题存在显著差异，表明阅读理解测试题型或测试形式对阅读理解测试成绩存在较大影响。
4.4调查问卷数据分析
调查问卷中第3-16题采用5级量表的形式，请受试者评判关于测试任务表面效度的指标，包括两种题型与日常生活的相似度(Q3，Q4)，受试者对于两种题型的偏好程度(Q5，Q6)，对两种题型的难度判断(Q7，Q8)以及两种题型对于受试者阅读能力测量的有效性判断(Q9，Q10)等。
11-16题采用选择题的形式，主要关注TEM4阅读理解测试任务的答题效度，如两种题型具体答题策略、所涉及的其他学科能力等。对以上题目求取均值和标准差，平均值越高，代表该题目的效度就越高;标准差越高，受试者在这道题上的看法差异度就越高。由表11可知，受试者认为简答题的提问方式与日常生活更加相似，因此具有更高的真实性;此研究发现与王海军(2012)的研究发现相吻合。王海军的研究结果表明，最接近现实生活的考查方式是问答题，因此问答题的表面效度和答题效度都明显高于多项选择题。考生对于选择题形式更为熟悉，因此更加偏好选择题的作答方式;受试者认为简答题比多项选择题更有难度。此结果与刘建达(1998)的研究结果大致相符，简答题是阅读理解测试方法中相对较难的题目。受试者认为简答题能够真实地测量学生的阅读理解能力。选择题的应答过程更多依赖上下文线索，这是因为选择题多涉及猜测、背景知识和选择项提示等应试技巧;而简答题要求考生在理解文本的基础上用自己的语言对答案进行表述，不仅考查考生的英语阅读理解能力，也牵涉到考生的写作能力，所以该题型能够有效减少应试技巧的使用，更加有效和真实地反映出考生对文本的理解能力。
4.5访谈数据分析
访谈采用五个开放性问题，主要涉及受试者关于阅读理解不同测试方法和阅读策略的看法和观点。问题一关于受试者更喜欢的阅读理解测试题型及其原因。大部分受试者更喜欢选择题，认为做选择题时他们可以使用已经掌握的测试技巧和阅读策略“得个高分”。受试者不喜欢简答题的原因主要是简答题不像选择题那样明确，有选项可供选择，因而不容易得分，此外，做简答题时要花费更多的时间去原文中寻找线索。这说明受试者因为经常练习阅读理解中的选择题，已经形成自己的解题技巧和策略，这也从侧面说明了阅读理解测试中题型改革的必要性。问题二是关于两种题型的难易程度及原因分析。
大约一半的受访者认为选择题更难，另外一半受访者认为简答题更难。认为选择题更难的考生表示:“正是因为提供的四个选项，我们要花费更多的时间去比较选项，对照原文信息，选出正确答案。”而认为简答题更难的考生则表示:“简答题除了要在文中找到答案，然后还要用自己的语言把它写出来，然后还需要考虑逻辑性、词汇词组等。”对于选择题提供四个选项这一点，有些受试者认为这会降低难度，因为他们会使用已经掌握的阅读策略进行排除或者从原文中寻找线索帮助解题。
问题三关于两种题型中哪种更能测试出应试者的阅读水平，74%的受访者选择简答题，理由如下:在选择题中即便考生能够选出正确选项也并不代表受试者完全理解阅读材料，受试者甚至不用通读全文或者理解全文就可以利用已经掌握的解题技巧和策略选出正确答案。
问题四关于解答两种不同的题型时是否采用不同的解题技巧。几乎所有的受访者都回答“是”，而且他们认为选择题的解答更多借助猜测和排除的方法。从受访者的回答可以推断，受试者正确作答选择题，并不代表他们完全理解阅读材料，他们甚至没有通读阅读材料，只是根据线索答题。在解答选择题时，受试者一般通读题目和选项，然后回到相关阅读材料中寻找相关线索以节省时间。而在做简答题时，受试者往往在读完题目后，浏览阅读材料，理解阅读材料大意，寻找线索完成题目。这说明选择题有时只能测试出受试者的解题策略而不能测试出其阅读水平;简答题则弥补了这一缺陷。
问题五关于是否有必要在专四考试中增加简答题目。45%的考生从自身利益出发，认为没有必要，他们担心简答题目不能帮助他们取得更高的分数，而且担心评分标准主观性较强从而导致“给分模糊”。“平时课堂检测的话，简答题是挺好的形式，但是如果说这场考试比较重要或者会发证书，我觉得客观题多一点的话会比较好。如果从我自身考虑，我会希望都是多项选择题。”36%的考生认为简答题可以更真实有效地反映出考生的阅读能力，因此希望在TEM4中加入该题型。另外，有19%的考生认为无所谓或者差异不大。
通过对21位受试者进行访谈发现，大多数的受试者认为多项选择题成绩要高于简答题，因此他们也更喜欢多项选择题。他们认为简答题难于多项选择题，但是简答题更能测试出受试者的英语阅读水平。在被问到有没有必要将简答题加入到TEM4阅读理解测试中时，部分受试者认为有必要，因为简答题更能测试出受试者的英语阅读水平，而另一部分受试者认为没必要，因为简答题可能会成为他们取得高分的一个阻碍。受试者的认识与黄欣欣(2006)研究中的受试者认识基本一致。鉴于此，测试开发者不能完全按照考生的偏好仅仅采用选择题考查考生的阅读能力。简答题的增加能够有效减少考生对于答题技巧的依赖，从而更有效地测量学生的阅读能力。
5 结 语
研究结果表明，2016年TEM4阅读理解样卷的内容效度较高。简答题较之多项选择题，效度更高，而且两者的内部一致性也较高。部分受试者认为简答题难度较高，因此从自身利益出发认为不必在TEM4中增加简答题，但同时也承认简答题更能测试出他们对文章的理解。综合来看，TEM4中增加简答题目是合理且有效的。本研究对于测试设计者和英语专业教学有所启示，在受试者已经习惯并对固定的题型做了大量练习时，测试设计者应考虑对测试题型进行改革。
参考文献
*本文转载自《外语电化教学TEFLE》第179期2018年2月，原文链接：https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDLAST2018&filename=WYDH201801011&v=KouYl%25mmd2B3%25mmd2Fe4kmbMGBvKOA%25mmd2BlkWoUquTruzC9UsrRIo%25mmd2F1GgsEDA5MT7CalkEokvHDvF
好书推荐
英语专业四级考试新题型真题解析与模拟训练
顾问 邹 申
主编 刘宝权 侯艳萍
本书分为三部分，第一部分“概述”，剖析了2016新版英语专业考试大纲四级的要求，以及选材特点和评分要求，使考生对该部分测试重点有个宏观上的了解。第二部分“真题解析”，对专四真题进行详细梳理和答题点评，详细介绍了各个部分的评分标准。第三部分“模拟训练”，提供8套集训试题。每套试题附有详细的答题点评和录音文字，指导考生熟练运用应试技巧，切实提高应试能力。
英语专业八级考试新题型真题解析与模拟训练
顾问 邹 申
主编 刘宝权 侯艳萍
本书包括三部分内容。第一部分“概述”，剖析了2016新版英语专业考试大纲八级的要求，以及选材特点和评分要求，使考生对该部分测试重点有个宏观上的了解。第二部分“真题解析”，对专八真题进行详细梳理和答题点评，详细介绍了各个部分的评分标准。第三部分“模拟训练”，提供8套集训试题。每套试题附有详细的答题点评和录音文字，指导考生熟练运用应试技巧，切实提高应试能力。
←扫码购书
上海交通大学出版社教育分社微店
往期回顾
1. 【会议通讯】开拓语言测试与外语教学的融合与发展之路——2020年全国外语教学测试工作坊