好文荐读｜宫雪、梁宇：基于描述语库的国际中文教材评价指标基础框架构建研究
好文荐读（第五十期）基于描述语库的国际中文教材评价指标基础框架构建研究。
“好文荐读”不定期更新，为大家带来最新的核心期刊亮眼论文，希望大家多多支持，也欢迎给我们留言推荐更多值得一荐的好文哦~
基于描述语库的国际中文教材评价指标基础框架构建研究
1.北京大学 对外汉语教育学院，北京，100871
2.北京语言大学 国际中文教育研究院，北京，100083
文章简介
文章来源：宫雪,梁宇.基于描述语库的国际中文教材评价指标基础框架构建[J].民族教育研究,2023,34(03):161-167.
摘要：国际中文教材评价指标基础框架的构建方法存在“重定性、轻定量”的问题。在57份中英二语教材评价量表的基础上建立指标描述语库，通过词频统计、多词序列提取、搭配分析3种语料库分析手段揭示描述语库特征，并据此构建国际中文教材评价指标基础框架，包括课程适用、学习者适用、教师适用、理论基础、整体设计、主题内容、语言内容、文化内容、活动设计、情感与策略和形态设计11个维度，109个指标。经验证，评价框架高频词与描述语库高频词完全重合，已覆盖中英二语教材评价的主要内容。评价框架的构建给予以下五点启示：关注教材的适用性评价、突出教材的促学性评价、聚焦语言的实践性评价、强调内容的系统性评价、重视编写的理论性评价。
关键词：国际中文教育；国际中文教材；教材评价；指标框架；描述语库
基金项目: 本文系教育部人文社会科学重点研究基地重大项目“国际中文教育数字资源综合评价理论与方法研究”(项目编号：22JJD740016)、国家语委重点项目“‘中文+职业技能’教学资源建设研究”(项目编号ZDI145-35)和教育部中外语言交流合作中心重大课题“国际中文教材评价指标体系构建”(项目编号：21YHZD05)的阶段性成果。
感谢梁宇老师授权推广，全文下载请点击文末“阅读原文”。
引言
指标体系是教材评价的重要工具，由一系列结构化的指标项构成。确定指标项并搭建评价指标基础框架是研制指标体系的首要步骤。构建评价指标体系的方法有多种，如专家调查法、文献研究法、比较分析法等。在国际中文教育领域，自赵金铭首创“对外汉语教材评估一览表”以来，出现了诸多评价指标体系。尽管指标体系多样，但基础框架的构建集中使用了文献研究法，特别是定性分析。定量方法虽已引起部分研究者的关注，如梁宇在构建学习者为评价者和以教师选用教材为导向的教材评价量表时采用了基于指标描述语库构建基础框架的量化方法，但此类研究的数量较少。此外，大部分研究描述维度来源时过于概括。指标项来源仅用“从既有量表中抽取”一笔带过，缺乏指标项选择依据的论述，甚至有研究未说明指标项来源。
事实上，相比定性分析，量化统计在评价指标基础框架的构建中具有更多优势。首先，量化方法更为客观、系统，结果有效且可重复，而定性分析存在一定的主观性。其次，评价指标体系构建的整体性原则要求对研究对象的考量必须全面，而通过对多个评价指标体系进行量化统计，可以确保共性指标被纳入基础框架，同时保证基础框架的全面性。因此，本研究尝试采用量化方法构建国际中文教材评价指标的基础框架（以下简称“评价框架”）。具体来说，我们建立了中英二语教材评价指标描述语库（以下简称“语库”），并基于对语库的定量统计构建评价框架。
一.研究设计
（一） 语库建设
“合适”的语库需要具备两个特质：一是与研究目的相适应，能够回答研究问题；二是具有代表性，能够代表研究对象。本研究的目的是构建评价框架，国际中文教材属于第二语言教材，因此需要收集二语教材评价量表以构建语库。二语教材评价量表以英文量表居多，将中文量表纳入后，基本能够代表二语教材评价量表这一研究对象，因此本研究所建语库包含中英文两类二语教材评价量表。
经搜集筛选中英二语教材评价量表后，入库量表57份，含2221个指标。使用HanLP对指标描述语进行分词，为进一步的量化分析奠定基础。其中，从英文量表中提取指标1363个，总词数为14966；从中文量表中提取指标858个，总词数为12259。英文指标描述语全部译为中文后，2221条指标描述语的总词数为22432。（二）量化分析手段本研究主要采用3种分析手段，分别是高频词统计、多词序列提取和搭配分析。使用高频词统计可实现两个目标：第一，提取57份量表原1-3级维度高频词，确定二语教材评价的共性维度，以此为基础形成评价框架的主要维度；第二，提取指标高频词，描述二语教材评价的共性内容，为评价框架指标设计提供依据。多词序列指由多词构成、表义完整的词汇序列，也被称为词块或N元组(n⁃grams)。搭配分析指提取高频词左右一定跨距范围内的高强度搭配词。多词序列提取和搭配分析可将语库高频词扩展为短语，短语语义完整，相较于单个词汇更易于识别评价内容。所用分析工具为AntConc3.5.9。二. 研究过程
（一）维度高频词的提取与分类
提取原量表维度高频词并将其分类，可确定评价框架的主要维度。57份量表原1-3级维度总词数为14949，提取前50位高频词，并归为11类，包括课程适用、学习者适用、教师适用、理论基础、整体设计、主题内容、语言内容、文化内容、活动设计、情感与策略和形态设计（见表1）。部分无法识别具体维度的高频词被排除，如“与”。
（二）指标高频词和高频短语的提取与分类
提取指标高频词和高频短语，并根据其语义归入上文的11个维度，以此作为确定每个维度中具体指标的基础。将分词后的指标描述语导入AntConc3.5.9生成词频表，选取前50位名词或动词进行分析。由于名词和动词为实词，可以反映语库在教材评价内容上的倾向性，即词频越高，说明现有二语教材评价量表对此类内容越重视。鉴于仅观察单个词无法识别评价内容，本研究通过多词序列提取和搭配分析对无法识别评价内容的高频词进行扩展。高频名词可扩展为2词或3词序列，如将“语言”扩展为“语言技能”。此外，表义不完整的词组(如“教学的”)需排除，只选取频次≥10的多词序列。
搭配分析以高频词为节点，提取一定跨距内出现频次≥10的高频名词和动词。跨距视节点词的情况而定，多为“左5右5”，即统计节点词左右侧5词范围内的高频搭配词；若右侧搭配词更有价值则跨距为“右5”。高频动词扩展为由高频动词及其搭配词构成的短语，如“提供”扩展为“提供......练习”。若动词高频出现于某一维度，则无需扩展，可直接归类，如“包含”归入“语言内容”维度。此外，高频名词也可通过搭配分析扩展。指标高频词及短语如表2所示。三.研究结果
（一）评价框架确立
每个维度的高频词和短语均对应若干条指标，删除重复指标，归纳近似指标，最终形成评价框架，共11个维度，109个指标（见表3）。
109个指标前10位高频名词或动词（学习者、活动、利于、内容、教学、文化、语言、提供、学习、语法）与语库前50位高频名词或动词重合。由此可见，评价框架已涵盖二语教材评价的主要内容，能够较为全面地评价国际中文教材。
（二）评价指标构成
1.“课程适用”维度
该维度评价教材的教学目标、教学内容、教学容量与课程的适用性。此类高频词及短语共8个，包括“课程、教学内容、教学目标、学习目标、教学大纲、符合......教学、教材......课程、语言教学”。相关指标如：
1）依据课程要求确定教学内容。
2）符合课程教学目标，并能够清晰地呈现。
3）适合课程的学时安排。
2.“学习者适用”维度
该维度评价教材与学习者背景（知识背景、母语背景、文化背景）、学习者需求、学习者兴趣、学习者差异四方面的适用性。此类高频词及短语共21个，包括“学习者、我、水平、语言水平、符合......学习者、适合......学习者、适合......水平、利于......学习者、学习目标、教学目标、能力、使用......语言、教材......方法、方法......学习者、包括......学习者、学习者......理解、帮助......理解、帮助......学习者、学习者......发展、培养......学习者、培养......能力”。相关指标如：
1）符合学习者的中文水平，难易适中。
2）适合学习者的年龄和认知水平。
3）符合学习者的学习目标。
4）利于激发学习者的兴趣。
5）为不同特点的学习者提供发挥空间。
3.“教师适用”维度
该维度突出了教师的主体地位，重点关注两方面内容：一是教材在教师教学过程中发挥的作用，强调其在备课、教学、评估中的便利性、灵活性和有效性；二是教材对教师个体差异的关注和情感体验的影响。此类高频词及短语共6个，包括“教师、使用、使用......方法、帮助......教师、教学......方法、教材......方法”。相关指标如：
1）使用方便，节省备课时间。
2）利于教师综合地使用多种语言教学方法和技巧。
3）利于教师对教学效果进行评估。
4）易于适应教师不同的教学风格和个性。
5）利于提升教师的自信心。
4.“理论基础”维度
该维度关注教材编写的理论基础，侧重教材编写的交际性原则，以及对多种教学方法的融会贯通和创新应用。此类高频词及短语共7个，包括“交际、教学方法、语言教学、采用......方法、使用......英语、教学......方法、教材......方法”。相关指标如：
1）利于培养学习者的中文交际能力。
2）涉及多种语言教学方法和技巧。
5.“整体设计”维度
该维度评价教材中教学目标及教学内容(语言知识、技能、文化、活动等）的整体组织和系统排布，以及教材套系内联系是否紧密，单元之间衔接是否顺畅。此类高频词及短语共7个，包括“教学目标、教学内容、单元、设计、学习目标、使用......教材、交际能力”。相关指标如：
1）教学目标总量及分布合理。
2）教学内容分布均衡，相互联系。
3）教材各单元/课之间衔接顺畅。
6.“主题内容”维度
该维度主要评价教材主题的丰富性与交际性，以及主题编排的合理性与有效性。此类高频词及短语共3个，包括“主题、内容、符合......教学”。相关指标如：
1）主题和内容丰富多样。
2）主题和内容利于学习者表达自己的观点。
3）教学内容围绕特定主题进行了有效而清晰的组织。
7.“语言内容”维度
该维度主要评价教材语言内容的三个方面，分别是语言要素、语言技能和语言材料。语言要素方面，评价重点是其数量、分布、复现率；语言技能方面，评价侧重其综合性；语言材料方面，评价重点是其多样性、交际性和真实性等。此类高频词及短语共26个，包括“知识、技能、词汇、语法、语音、材料、写作、阅读、文本、听力、包含、语境、课文、结构、提供、语言技能、语言知识、提供......语言、提供......指导、提供......材料、学习者......理解、语境......呈现、帮助......理解、交际能力、语法项目、语言功能”。相关指标如：
1）生词在教材中合理复现。
2）语法项目总量适当。
3）语音教学顺序合理。
4）注重四项语言技能的协调发展，并具有综合语言训练。
5）语言材料真实、自然。
8.“文化内容”维度
该维度突出教材的文化元素、文化态度、文化呈现三方面内容。此类高频词及短语共2个，包括“文化、包括......文化”。相关指标如：
1）包含中国传统文化和当代中国国情文化。
2）融入了学习者本国文化。
3）提供了得体、实用的交际文化。
4）对不同文化持尊重、包容的态度。
5）文化内容的融入方式自然恰当。
9.“活动设计”维度
该维度评价如下内容：活动的丰富性、有效性和可操作性。此类高频词及短语共16个，包括“活动、练习、任务、教学内容、提供......练习、提供......活动、学习者、学习目标、教学目标、学习者......发展、使用......英语、使用......语言、使用......方法、包括......学习者、包括......文化、交际能力”。相关指标如：
1）活动量充足，覆盖主要教学内容。
2）提供了个人、结对、小组、全班等多种活动形式。
3）活动利于促进学习者的语言发展。
4）活动便于实施。
10.“情感与策略”维度
该维度评价教材在激发学习者积极情感和发展学习策略方面的作用。此类高频词及短语共4个，包括“利于......学习者、培养......学习者、培养......能力、具有......挑战性”。相关指标如：
1）利于学习者积极参与到学习活动中。
2）利于培养学习者的独立思考能力。
3）利于提高学习者的自主学习能力。
11.“形态设计”维度
该维度的评价内容分为两类：一是教材本身的形式设计，如版式、字体、字号、插图等；二是教材配套的辅助材料，如练习册、教师用书等。此类高频词及短语共2个，即“提供、教师用书”。此类数量较少，需稍作说明。“形态设计”类词汇(如“印刷、美工”）是维度高频词，但在指标高频词及短语中出现较少。原因在于该维度涵盖内容较多，用词分散，如“版式、装帧、字体、磁带”等，单个词使用率较低。此类相关指标如：
1）提供了完整详细的目录。
2）配有必要的辅助材料，如练习册、教师用书等。
四. 思考与启示
（一）关注教材的适用性评价
适用性指教材与课程和使用主体的适配程度，高适配度提升教材使用效率，低适配度造成教材淘汰。21世纪后的中英二语教材评价量表对适用性评价愈发关注，课程和主体的适用性是21世纪二语教材评价量表语库的突出特征，具体表现为：“符合、适合......学习者、教材......课程”属于排位靠前的高频词及短语，而这一维度在20世纪八九十年代的语库中并不突出。当前国际中文教材在适用性方面仍存在较大的提升空间，而关注教材适用性评价是促进教材适用性发展的有效途径。具体而言，教材适用性评价包括以下三个方面：一是教材对课程的适用性评价，如教材在教学目标、教学内容等方面是否与课程相符，是否适合课程的考试要求、学时安排等；二是教材对学习者的适用性评价，包括对学习者文化/母语背景、语言/认知水平、学习目标/需求和差异化学习特点的适用性；三是教材对教师的适用性评价，如教材是否易于教师使用，是否利于教师开展教学及对教学效果进行评估，是否有助于提升教师的内在信念等。（二）突出教材的促学性评价教材的促学性评价是“以学习者为中心”教学理念的体现。促学性评价突出表现为语库中与学习者相关的高频词及短语数量多且排位靠前。该理念在教材领域表现为新型教材观（即“学材”观）的出现，强调教材是教学的手段和载体，促进学习者的“学”是终极目的。构建基于学习者体验的教材评价标准是促进教材观从“教材”（教教材）走向“学材”（用教材教）的重要路径，符合新时代国际中文教材评价体系构建的要求。教材的促学性评价既包括对教材在增加学习者语言知识和提升学习者语言技能方面的评价，也包括其对发展学习者情感态度与学习策略的评价。根据观察，语库中情感类指标共39个，涉及学习者兴趣、积极情绪、积极态度、学习动机、参与度、创造力、独立思考能力、成就感、自信心、同情心等。对教材提升学习者兴趣的关注度较高，共11个指标。策略类指标共34个，涉及自主学习、反思、交际策略、批判性思考等。对教材培养学习者自主学习能力的关注度最高，共10个指标。为此，构建评价框架需要设计关于教材提升学习者兴趣、发展学习者自主学习能力的评价指标。（三）聚焦语言的实践性评价语言实践有助于学习者将语言知识转化为语言技能，教材中的语言实践应“成为教材的主体部分”，对语库的观察也证明了其重要性。“活动、练习、任务”等词的词频较高，“活动”一词的排位甚至超过知识、技能、主题、内容等词汇，说明二语教材评价对于教材促进学习者将“知”转化为“用”的能力十分关注。作为语言实践的典型代表，活动在语言教学中起着重要作用，如何对教材的活动设计进行评价受到较多关注。观察语库中有关活动的评价指标，发现活动设计评价包括两个方面：一是活动数量与编排，即教材要提供数量充足的活动，并且需确保活动编排合理，由易到难、层次清晰、关联紧密。从教材评价的视角看，活动设计和应用是教师作为编写主体和使用主体一致认为在教材评价中需要高度关注的部分，并且教师主体十分关注教材活动设计的机理，如活动编排是否从易到难，层层递进等，关注教材活动在教学中的可用性。二是活动质量与实施。活动种类方面，教材的活动形式需多样，如包括个人、结对、小组、全班等多种形式；在活动类型上需丰富，如包括控制性活动、过渡性活动、交际性活动;在技能训练上需实现听、说、读、写四项技能全覆盖。形式多样的活动能够实现学生与学生之间的“对话”，激发学生的合作与互动意识，从而引发学生间的相互教育。活动设计方面，活动需目标明确、评估方式多样，明确结果导向，以促进学习者语言知识巩固、语言能力发展及综合素养提升为目标。有研究者指出，活动能够引发“本族语者或者是语言能力较强的说话者”为实现交际目的而“做出互动调整的意义协商”，能够调动学习者的输入、大脑机能（如选择性注意）、输出，从而促进语言习得。多样化、高质量的活动设计能够创设可产生意义协商的交际环境，进而促进语言习得。活动实践方面，教材的活动需指令清晰、便于实施，具有较强的实用性和可操作性。（四）强调内容的系统性评价语言内容是国际中文教材评价的核心，涉及词汇、语法、阅读、听力等多个评价项目。在11个评价维度中，语言内容的高频词及短语数量最多，说明该维度是国际中文教材评价的基础维度。评价框架的设计应关注语言知识的全面性。语音、词汇、语法等语言知识在高频词表中均有出现，但列表中未包含汉字相关词汇。这与语库的构成有关，语库中英文量表居多，而英文二语教材评价不涉及汉字，造成汉字相关词汇未出现在高频词表中。这也启示我们量表构建应将定量和定性方法结合，以确保量表指标项的全面性，确保其能够反映学科的基本知识结构。此外，作为语言知识呈现载体的语言材料，其科学性也应成为教材评价的关注点。“材料”一词在高频词中排位靠前，甚至超过词汇、语法等核心语言要素。语言材料评价应关注以下四个方面：一是丰富性，如“这本教材包括足够的语音材料”；二是时效性，如“材料相当新”；三是交际性，如“教材的口语材料在内容和语言上都是真实的”；四是适用性，如“材料是否适合学习者年龄”。总体而言，语言材料评价应关注材料本身的“量”和“质”两个方面。（五）重视编写的理论性评价“方法”是语库中的高频词，在具体指标中有两种含义：一是教学方法，如“所采用的方法以学习者为中心”；二是内容编排、呈现的方法，如“是否有索引、词汇表、段落标题和其他方法来指引内容，使学习者更便利地使用教材，特别是为了复习或自学的目的”。第一种含义的指标居多。另外，“教学方法”也是语库的高频短语。由此可见，对教材所体现的教学方法进行评价也是需要关注的重点。教学方法是语言教学理论的重要组成部分，构成二语教材编写理论的基础。重视教材编写的理论性评价，可提升教材评价的先进性。赵金铭指出，汉语教材的编写要具有理论倾向，兼采各家理论长处，形成自具特色的理论基础。另外，教材也要吸收最新的研究成果，以备教学之用。根据前人观点，结合对语库指标的观察，教材教学方法评价应重点关注两个方面：一是评价教材对多种教学方法的兼容性，如“学习活动允许使用各种英语教学方法”；二是评价教材教学方法的前沿性，如“教材采用的教学方法是本领域最新的”。五.结语
综观 20 多年来国际中文教材评价量表的研制方法，定性分析居多，定量研究偏少。 为拓展新的研究思路，本研究构建了包含 57 份中英二语教材评价量表的语库，从中提取出高频词及短语，形成了国际中文教材评价指标基础框架，并验证了该评价框架的全面性和系统性。语库不仅在评价框架的构建上发挥了作用，也为其他二语教材评价量表的构建提供了启示。量化方法用于量表构建有其优势，如能够确保指标的客观性，但也存在缺点，如用词分散的维度难以凸显。这就需要未来的量表研究将定量和定性方法结合，以提升指标体系的完整性和准确性。
作者简介
梁宇（通讯作者）
个人简介：梁宇，北京语言大学国际中文教育研究院编审，博士，博士生导师，国际中文教育发展研究中心主任。中国语文现代化学会汉语国际传播研究分会副理事长兼秘书长，世界汉语教学学会学术交流与出版专业委员会委员，课程与教材专业委员会委员，中央民族大学国际教育学院兼职导师。曾任教育部高等教育出版社汉语国际教育分社社长。主要研究中文国际传播、国际中文教育、区域国别中文教育、国际中文教学资源等。主持国家社科基金重点项目，教育部人文社会科学重点研究基地重大项目、国家语委重点项目、教育部语合中心重大委托项目、重点项目共8项。著有《国际中文教材评价理论与方法》，主编《国际中文教育教学资源发展报告》系列，在《语言文字应用》《语言教学与研究》等期刊发表CSSCI期刊论文及专业学术论文40余篇。
本文来源：《民族教育研究》
点击文末“阅读原文”可跳转下载课程推荐
2023-10-28
2023-10-27
2023-10-26
2023-10-24
2023-10-23
2023-10-21
2023-10-20
2023-10-19
2023-10-18
2023-10-16
2023-10-15
2023-10-13
欢迎加入
“语言学心得交流分享群”“语言学考博/考研/保研交流群”今日小编： 墨色深
审 核：心得小蔓
转载&合作请联系
"心得君"
微信：xindejun_yyxxd