第七章开发评测量表 进行教学分 修改教学 评价需求 开发教 开发和选择 确定目标 效目标 测量表 学策略 教学材料 教学的形成 性评价 分析学习者 和环境 设计并实施 目标 能说明标准参照评测的目的 ●能说明教学设计师会如何使用入门技能测试、前测和后测 能说出开发标准参照评测的四类质量评判原则,并列出每一类原则下要做的考虑 对于给定的各种教学目标,会写出满足所有四类原则的标准参照客观题 能为产品开发、现场表演和态度评估编写说明,开发评价学习者工作的评分标准 能评估教学目的、从属技能、学习者分析、环境分析、绩效目标和标准参照考试题的 致性 背景 成绩测验目前在美国正处于学校改革运动的前沿。一个新概念,以学生为中心的评测 ( learner- centered assessment),充斥着各种学校改革的文献,贝瑞(1998)将其定义为能促进 学习者学习的评测方法。在这个模型中,以学生为中心的评测任务,就像学习事件一样,鼓 励学习者参与自我评价,承担起对自己学习质量的责任 以学生为中心评测的定义与传统的标准参照考试的定义是一致的,后者是系统化设计所 产生的教学的核心组成。以学生为中心的评测一定是标准参照的(即与教学目的和由教学目 的派生的绩效目标集直接相关),标准参照考试因为不仅能评价学习者的进步,而且还能评 价教学的质量,因此非常重要。标准参照考试的结果准确地告诉了教师每个教学目标学习者 能够做到多好,也告诉了设计师教学的哪些部分不错,哪些部分还需要修改。此外,标准参 照考试还能让学习者通过运用已建立的评判标准来评价他们自己的工作而反思自己的表现
第七章 开发评测量表 目标 ⚫ 能说明标准参照评测的目的 ⚫ 能说明教学设计师会如何使用入门技能测试、前测和后测 ⚫ 能说出开发标准参照评测的四类质量评判原则，并列出每一类原则下要做的考虑 ⚫ 对于给定的各种教学目标，会写出满足所有四类原则的标准参照客观题 ⚫ 能为产品开发、现场表演和态度评估编写说明，开发评价学习者工作的评分标准 ⚫ 能评估教学目的、从属技能、学习者分析、环境分析、绩效目标和标准参照考试题的 一致性 背景 成绩测验目前在美国正处于学校改革运动的前沿。一个新概念，以学生为中心的评测 （learner-centered assessment），充斥着各种学校改革的文献，贝瑞(1998)将其定义为能促进 学习者学习的评测方法。在这个模型中，以学生为中心的评测任务，就像学习事件一样，鼓 励学习者参与自我评价，承担起对自己学习质量的责任。 以学生为中心评测的定义与传统的标准参照考试的定义是一致的，后者是系统化设计所 产生的教学的核心组成。以学生为中心的评测一定是标准参照的(即与教学目的和由教学目 的派生的绩效目标集直接相关)，标准参照考试因为不仅能评价学习者的进步，而且还能评 价教学的质量，因此非常重要。标准参照考试的结果准确地告诉了教师每个教学目标学习者 能够做到多好，也告诉了设计师教学的哪些部分不错，哪些部分还需要修改。此外，标准参 照考试还能让学习者通过运用已建立的评判标准来评价他们自己的工作而反思自己的表现， 评价需求 确定目标 进行教学分 析 分析学习者 和环境 编写绩 效目标 修改教学 开发评 测量表 开发教 学策略 设计并实施 教学的形成 性评价 设计并实施 总结性评价 开发和选择 教学材料
这样的反思能促使学习者最终成为能为他们自己的学习质量负责任的人 你可能会奇怪为什么在教学设计过程的这个阶段就要设计考试题,而不是在教学开发完 成之后。主要原因是考试题必须与绩效目标一一对应。教学目标中所要求的行为必须与考试 题中的行为或要求完成的任务中的行为相匹配。同样地,这些发给学习者的考试题也会对教 学策略的开发产生影响。 在这一章里,我们将讨论设计师如何构造不同类型的评测量表。我们之所以用“评测” 一词而不是“考试”,是因为一提“考试”,往往联想到纸笔、多项选择题等等,而“评测” 内涵则更广些,包括各种可以让学习者证明他们是否掌握了新技能的活动。在设计过程的这 个阶段,还要为每个目标构造评测样例 概念 这章的主要概念是标准参照评测。标准参照评测由一组能够直接测定一个或多个绩效目 标中所描述的技能的题目或任务组成。之所以用标灌一词是因为这些评测题目可以作为标尺 来判断一个学习者的表现是否达到教学目标的要求,也就是说,通过了这些评测就表示学习 者已经达到了教学单元的教学目标。现在越来越多的是采用目标参照一词而不是标准参照 这一变化是为了更明显地指出评测和绩效目标之间的关系。评测的题目和任务直接对应教学 材料的教学目标中所描述的行为,因此你可以认为这两个术语本质上是同义词 标准一词的另一用处是说明行为需要掌握到的程度。这类用法的例子包括“学习者应该 正确回答所有题目”、“学习者应该遵循易燃液体安全存储的六个步骤”,“学习者能画出一个 5度锐角”,等等,这类标准说明可以是为一个绩效目标的一道考试题而写,也可以为一个 目标的多道考试题或多个目标的几道综合考试题而作。清楚说明的目标和恰当行为的评判标 准是构造合适的考题所必需的。基于特定的行为目标和所建立的评判标准,一个后测考试可 能只需要一道考试题,也可能需要多道考试题。 四类标准参照考试及其用途 设计师设计的考试主要有四种类型:入门技能测试、前测、练习或模拟测试,以及后测 每种考试类型在设计和传递教学的过程中都有不同的功用。下面我们就从设计教学的设计师 角度来看看每类考试,看看在教学设计过程中它们各要达到什么目的 入门技能测试第一类考试,入门技能测试,是在开始教学前对学习者的考试。这些标 准参照的考试题是为了评定学习者对预备技能,即学习者在教学开始前必须具备的技能的掌 握情况。预备技能是在教学分析图表中虚线以下的技能。如果一个教学单元需要入门技能, 那么就要设计考试题,在形成性评价时让学习者使用 你可能会发现,理论上也是这么说的,缺乏这些技能的学习者在教学中会感到非常吃力。 但是你可能也会发现,出于某些原因,有时入门技能对于教学的成功并不关键。如果在教学 分析的时候没有确定什么重要的入门技能,那么就没有必要开发相应的教学目标和考试题。 但是如果某些目标人群应该已经掌握的技能却有可能没有掌握,那么就要在入门技能考试中 测试这些被置疑的技能 前测前测的目的并不是如后测那样要显示教学后学习的收获,而是要参照教学分析
这样的反思能促使学习者最终成为能为他们自己的学习质量负责任的人。 你可能会奇怪为什么在教学设计过程的这个阶段就要设计考试题，而不是在教学开发完 成之后。主要原因是考试题必须与绩效目标一一对应。教学目标中所要求的行为必须与考试 题中的行为或要求完成的任务中的行为相匹配。同样地，这些发给学习者的考试题也会对教 学策略的开发产生影响。 在这一章里，我们将讨论设计师如何构造不同类型的评测量表。我们之所以用“评测” 一词而不是“考试”，是因为一提“考试”，往往联想到纸笔、多项选择题等等，而“评测” 内涵则更广些，包括各种可以让学习者证明他们是否掌握了新技能的活动。在设计过程的这 个阶段，还要为每个目标构造评测样例。 概念 这章的主要概念是标准参照评测。标准参照评测由一组能够直接测定一个或多个绩效目 标中所描述的技能的题目或任务组成。之所以用标准一词是因为这些评测题目可以作为标尺 来判断一个学习者的表现是否达到教学目标的要求，也就是说，通过了这些评测就表示学习 者已经达到了教学单元的教学目标。现在越来越多的是采用目标参照一词而不是标准参照， 这一变化是为了更明显地指出评测和绩效目标之间的关系。评测的题目和任务直接对应教学 材料的教学目标中所描述的行为，因此你可以认为这两个术语本质上是同义词。 标准一词的另一用处是说明行为需要掌握到的程度。这类用法的例子包括“学习者应该 正确回答所有题目”、“学习者应该遵循易燃液体安全存储的六个步骤”，“学习者能画出一个 5 度锐角”，等等，这类标准说明可以是为一个绩效目标的一道考试题而写，也可以为一个 目标的多道考试题或多个目标的几道综合考试题而作。清楚说明的目标和恰当行为的评判标 准是构造合适的考题所必需的。基于特定的行为目标和所建立的评判标准，一个后测考试可 能只需要一道考试题，也可能需要多道考试题。 四类标准参照考试及其用途 设计师设计的考试主要有四种类型：入门技能测试、前测、练习或模拟测试，以及后测。 每种考试类型在设计和传递教学的过程中都有不同的功用。下面我们就从设计教学的设计师 角度来看看每类考试，看看在教学设计过程中它们各要达到什么目的。 入门技能测试 第一类考试，入门技能测试，是在开始教学前对学习者的考试。这些标 准参照的考试题是为了评定学习者对预备技能，即学习者在教学开始前必须具备的技能的掌 握情况。预备技能是在教学分析图表中虚线以下的技能。如果一个教学单元需要入门技能， 那么就要设计考试题，在形成性评价时让学习者使用。 你可能会发现，理论上也是这么说的，缺乏这些技能的学习者在教学中会感到非常吃力。 但是你可能也会发现，出于某些原因，有时入门技能对于教学的成功并不关键。如果在教学 分析的时候没有确定什么重要的入门技能，那么就没有必要开发相应的教学目标和考试题。 但是如果某些目标人群应该已经掌握的技能却有可能没有掌握，那么就要在入门技能考试中 测试这些被置疑的技能。 前测 前测的目的并不是如后测那样要显示教学后学习的收获，而是要参照教学分析
了解学习者。前测( pretest)在教学开始之前实施,目的是要确定学习者是否已事先部分或全 部掌握了教学中要教的技能。确定学习者是否已部分或全部掌握了技能的原因是为了教学效 率。如果所有技能都已经掌握,那么教学就没有必要了。另一方面,如果只有部分技能被掌 握了,那么前测数据就可以使设计师更有效地创建教学。对于这部分已经掌握的技能只要做 些复习或简单的提醒即可,而将大量时间花在对其他技能的教学上,如举例、反复练习等 设计师还需要确定前测要评测哪些技能,这需要用到设计师的判断力,要选择最重要的 教学目标来考。决定要考什么技能,考几个技能,因教学目的和情况而异。前测中肯定要有 那么一道题或多道题是针对教学分析(包括教学目的)中所确定的关键技能的。 因为入门技能测试和前测都是在教学之前进行的,所以它们经常合二为一。尽管出现在 张卷子上,但并不表示它们是同一类或同样的测试。不同的题目评定教学目的流图上不同 的技能,设计师要基于学习者在这两类题目上的分数做出不同的决定。根据入门技能测试的 成绩,设计师要判断学习者是否已经做好了开始教学的准备;根据前测分数,设计师要决定 教学对于学习者来说是否太初级了,如果不是太初级,如何为特定人群开发最有效的教学 是不是一定要对所教的技能做前测?有时候并不需要。如果你知道你所教的内容对目标 人群来说是新的,如果你知道他们在前测的成绩只会是瞎猜的结果,那么就没必要做前测。 前测只有在一些学习者可能会具有所教内容的部分知识时才有价值。如果考试时间也是个问 题,那么就设计一个简短的前测,测定学期目标和几个关键的子 练习测试练习测试( practice tests)的目的是为了在教学中提供学习者主动参与的机会。 练习测试使学习者能够练习所学的新知识和新技能,自我判断自己的理解程度和技能水平 教师可以根据学习者的练习作业,提供指导反馈,并控制教学进度。一般来说,练习测试所 包含的技能少于前测和后测,主要是针对每节课的内容,而不是整个单元的内容 后测后测在教学之后进行,与前测相对,只是没有对入门技能的考题。与前测类似, 后测( postests)测定教学中所包括的目标。与这里所介绍的所有考试一样,设计师要能将所测 试的技能与后测中的考题对应起来 后测从教学目的分析中选取要评测的技能。按道理应该考所有目标,特别是学期目标 但是与前测一样,如果要测试所有从属技能,就会花很长的时间,也要求试题更加全面,出 更多的题目考更多的技能。如果时间有限,且必须开发简略的测试,那么学期目标和一些重 要的子技能是一定要考的,那些有可能造成学习者在学期目标上出问题的子技能也要考 最后后测可以用来评定学习者的表现,给出学习者完成课程应得到的分数。但是,后测 最初始的目的是为了帮助设计师确定教学中的不足之处。如果一个学习者没有完成学期目 标,设计师就要能够找出在学习过程的什么地方学习者开始听不懂了。通过逐题审查每道题 回答得是否正确,并且将每道题无论答对与否都与其对应的从属技能挂钩,设计师就能准确 地发现问题所在 在教学设计过程中会用到所有这四类测试。但是,在教学的形成性评价结束后,部分或 全部的入门技能测试和前测也就完成了使命,后测也可能会修改为只测试学期目标。总之 在教学设计和开发完成之后花在测试上的时间就不会这么多了。下表总结了每种测试类型 设计决策及每类测试所包含的典型目标 测试类型 设计者决策 要测试的目标 入门技能测试·学习者是否已经做好了开始学习的准·预备技能以及在教学分
了解学习者。前测(pretest)在教学开始之前实施，目的是要确定学习者是否已事先部分或全 部掌握了教学中要教的技能。确定学习者是否已部分或全部掌握了技能的原因是为了教学效 率。如果所有技能都已经掌握，那么教学就没有必要了。另一方面，如果只有部分技能被掌 握了，那么前测数据就可以使设计师更有效地创建教学。对于这部分已经掌握的技能只要做 一些复习或简单的提醒即可，而将大量时间花在对其他技能的教学上，如举例、反复练习等 等。 设计师还需要确定前测要评测哪些技能，这需要用到设计师的判断力，要选择最重要的 教学目标来考。决定要考什么技能，考几个技能，因教学目的和情况而异。前测中肯定要有 那么一道题或多道题是针对教学分析（包括教学目的）中所确定的关键技能的。 因为入门技能测试和前测都是在教学之前进行的，所以它们经常合二为一。尽管出现在 一张卷子上，但并不表示它们是同一类或同样的测试。不同的题目评定教学目的流图上不同 的技能，设计师要基于学习者在这两类题目上的分数做出不同的决定。根据入门技能测试的 成绩，设计师要判断学习者是否已经做好了开始教学的准备；根据前测分数，设计师要决定 教学对于学习者来说是否太初级了，如果不是太初级，如何为特定人群开发最有效的教学。 是不是一定要对所教的技能做前测？有时候并不需要。如果你知道你所教的内容对目标 人群来说是新的，如果你知道他们在前测的成绩只会是瞎猜的结果，那么就没必要做前测。 前测只有在一些学习者可能会具有所教内容的部分知识时才有价值。如果考试时间也是个问 题，那么就设计一个简短的前测，测定学期目标和几个关键的子目标。 练习测试 练习测试(practice tests)的目的是为了在教学中提供学习者主动参与的机会。 练习测试使学习者能够练习所学的新知识和新技能，自我判断自己的理解程度和技能水平。 教师可以根据学习者的练习作业，提供指导反馈，并控制教学进度。一般来说，练习测试所 包含的技能少于前测和后测，主要是针对每节课的内容，而不是整个单元的内容。 后测 后测在教学之后进行，与前测相对，只是没有对入门技能的考题。与前测类似， 后测(postests)测定教学中所包括的目标。与这里所介绍的所有考试一样，设计师要能将所测 试的技能与后测中的考题对应起来。 后测从教学目的分析中选取要评测的技能。按道理应该考所有目标，特别是学期目标。 但是与前测一样，如果要测试所有从属技能，就会花很长的时间，也要求试题更加全面，出 更多的题目考更多的技能。如果时间有限，且必须开发简略的测试，那么学期目标和一些重 要的子技能是一定要考的，那些有可能造成学习者在学期目标上出问题的子技能也要考。 最后后测可以用来评定学习者的表现，给出学习者完成课程应得到的分数。但是，后测 最初始的目的是为了帮助设计师确定教学中的不足之处。如果一个学习者没有完成学期目 标，设计师就要能够找出在学习过程的什么地方学习者开始听不懂了。通过逐题审查每道题 回答得是否正确，并且将每道题无论答对与否都与其对应的从属技能挂钩，设计师就能准确 地发现问题所在。 在教学设计过程中会用到所有这四类测试。但是，在教学的形成性评价结束后，部分或 全部的入门技能测试和前测也就完成了使命，后测也可能会修改为只测试学期目标。总之， 在教学设计和开发完成之后花在测试上的时间就不会这么多了。下表总结了每种测试类型、 设计决策及每类测试所包含的典型目标。 测试类型 设计者决策 要测试的目标 入门技能测试 ⚫ 学习者是否已经做好了开始学习的准 ⚫ 预备技能以及在教学分
备 析图中虚线以下的技能 学习者是否具备所需要的预备技能? 前测 学习者是否已掌握了要教的技能? 学期目标 他们已掌握了哪些技能 目标分析中的主要步骤 我怎样才能最有效地开发这个教学? 练习测试 学习者是否已具备了要学的知识和技·完成目的中目标子集所 能? 需要的知识和技能 他们犯了什么错误,哪些概念认识有●只限一堂课,不是整个单 教学内容分簇是否适当? ●教学进度对学习者是否合适? 后测 学习者是否达到了学期目标? 学期目标 每个主要目标和每个从属目标的教学●主要步骤及其从属技能 是否都有效? 教学在哪些方面需要改进? 学习者是否掌握了所期望的知识、技 能和态度? 设计考试 那么该如何设计和开发一个标准参照考试呢?一个主要的考虑是确定学习领域对应的 考试题目类型或者要评测的任务类型。言语信息领域的目标一般采用客观题,如简答题、选 择题、匹配题和多项选择题。评判学习者的言语信息类回答相对比较容易,而无论这种回答 是手写的还是口头陈述的,因此也就容易判断学习者是否掌握了言语信息目标:学习者要么 能想起答案,要么就什么也答不出来。 智慧技能领域的目标要复杂一些,它们一般来说不是用客观题评判,就是要制作作品(如 音乐成绩、研究报告、手工制品),或给出某种类型的现场表演(如,指挥乐队,演戏,或 召开业务会议)。对于高级智慧技能,很难设计出考试题或评测任务,也很难判断一个回答 是否合适。如果一个目标需要学习者产生唯一的解法或做出同样的作品该怎么办?这时候你 就需要写出操作说明,让学习者照着做,同时建立一套标准来判断学习者完成的质量,而且 还要将这些标准转变成核查表或等级量表,我们常称之为评分标准 态度领域的评测也很复杂,情感目标一般与学习者的态度或偏好有关。通常没有直接的 方式来判断一个人的态度(如,他们是否支持组织多元化)。态度目标的考题或者需要学习者 陈述他们的偏好,或者要求教师观察学习者的行为,通过他们的行动推论他们的态度。例如, 如果学习者在三个不同的场合都主动参与对少数民族雇员提职的支持活动,那么教师就可以 推断他们是支持多元化的。根据这些偏好陈述和所观察到的行为,是可以对态度做出推论的。 心智运动领域目标的考试题一般都是关于如何执行任务的指令集,要求学习者顺序执行 串步骤,这些步骤在一起体现了教学目的。另外,还要确定可接受行为的标准,并将这些 标准转化为核査表或等级量表,教师可以用这些量表来判断每一步执行得怎么样。核查表也 可以直接根据教学分析确定的技能及其执行质量来产生。设计师可能还想测试运动技能的从 属技能,这些经常都是智慧技能或言语信息,可以在学习者做心智运动技能之前用客观题测 试。有时候,执行一个心智运动技能的结果是做了一个产品,如制作一个陶壶,这可以通过
备？ ⚫ 学习者是否具备所需要的预备技能？ 析图中虚线以下的技能 前测 ⚫ 学习者是否已掌握了要教的技能？ ⚫ 他们已掌握了哪些技能？ ⚫ 我怎样才能最有效地开发这个教学？ ⚫ 学期目标 ⚫ 目标分析中的主要步骤 练习测试 ⚫ 学习者是否已具备了要学的知识和技 能？ ⚫ 他们犯了什么错误，哪些概念认识有 误？ ⚫ 教学内容分簇是否适当？ ⚫ 教学进度对学习者是否合适？ ⚫ 完成目的中目标子集所 需要的知识和技能 ⚫ 只限一堂课，不是整个单 元 后测 ⚫ 学习者是否达到了学期目标? ⚫ 每个主要目标和每个从属目标的教学 是否都有效？ ⚫ 教学在哪些方面需要改进？ ⚫ 学习者是否掌握了所期望的知识、技 能和态度？ ⚫ 学期目标 ⚫ 主要步骤及其从属技能 设计考试 那么该如何设计和开发一个标准参照考试呢？一个主要的考虑是确定学习领域对应的 考试题目类型或者要评测的任务类型。言语信息领域的目标一般采用客观题，如简答题、选 择题、匹配题和多项选择题。评判学习者的言语信息类回答相对比较容易，而无论这种回答 是手写的还是口头陈述的，因此也就容易判断学习者是否掌握了言语信息目标：学习者要么 能想起答案，要么就什么也答不出来。 智慧技能领域的目标要复杂一些，它们一般来说不是用客观题评判，就是要制作作品（如 音乐成绩、研究报告、手工制品），或给出某种类型的现场表演（如，指挥乐队，演戏，或 召开业务会议）。对于高级智慧技能，很难设计出考试题或评测任务，也很难判断一个回答 是否合适。如果一个目标需要学习者产生唯一的解法或做出同样的作品该怎么办？这时候你 就需要写出操作说明，让学习者照着做，同时建立一套标准来判断学习者完成的质量，而且 还要将这些标准转变成核查表或等级量表，我们常称之为评分标准。 态度领域的评测也很复杂，情感目标一般与学习者的态度或偏好有关。通常没有直接的 方式来判断一个人的态度(如，他们是否支持组织多元化)。态度目标的考题或者需要学习者 陈述他们的偏好，或者要求教师观察学习者的行为，通过他们的行动推论他们的态度。例如， 如果学习者在三个不同的场合都主动参与对少数民族雇员提职的支持活动，那么教师就可以 推断他们是支持多元化的。根据这些偏好陈述和所观察到的行为，是可以对态度做出推论的。 心智运动领域目标的考试题一般都是关于如何执行任务的指令集，要求学习者顺序执行 一串步骤，这些步骤在一起体现了教学目的。另外，还要确定可接受行为的标准，并将这些 标准转化为核查表或等级量表，教师可以用这些量表来判断每一步执行得怎么样。核查表也 可以直接根据教学分析确定的技能及其执行质量来产生。设计师可能还想测试运动技能的从 属技能，这些经常都是智慧技能或言语信息，可以在学习者做心智运动技能之前用客观题测 试。有时候，执行一个心智运动技能的结果是做了一个产品，如制作一个陶壶，这可以通过
开发一套标准来评判这个产品做得如何,以此作为对该心智运动技能的评测 确定掌握水平 对于你所写的每个行为目标,都应该有一个达标陈述,即要说明学习者在你所提供的考 试中对于目标所描述的技能必须要做到多好。实际上,这个标准也就是要求学习者的掌握水 平。但是掌握水平的概念,相对于达标水平,更多地是用在对整个教学单元或整个课程的考 试中。一个教师可能需要说明,学习者为了“掌握”这个单元,他们必须要达到的行为水平。 问题是:“你如何确定掌握水平该有多高?” 研究掌握学习系统的研究者提出掌握度应该等于对最好的学习者所期望的行为水准。这 种定义掌握度的方法显然是常模参照的(即小组比较方法),但是有时候这也是唯一可用的 评判标准 第二种定义掌握度的方法是靠统计。如果设计师想在进入下一个教学单元前确认学习者 真的掌握了”某项技能,那么就要提供足够的机会让学习者运用这个技能,从而使得技能 的正确实施不是偶然为之。当使用多项选择题的时候,很容易就能计算岀这组题正确答案被 猜中的概率,对于其它类型的考试题,可能很难计算猜中的概率,因此很容易说服他人成功 不是偶然的。但是仅仅超过行为发生的偶然率,可能不能算作一个好的掌握水平,但比随机 率高多少合适经常也是很武断的决定。 设置掌握水平的理想情况是存在着精确且明显的行为水平,可以以此定义掌握度。比如 士兵为了能够发送加密信息,必须要学会拼写标准的军用词汇。在这种情形下,一个教拼写 军用词汇的单元其掌握水平就应该设为100%,这完全不是随意的,因为该技能非常重要, 它是学习后续技能的基础。该技能与后续技能的关系越紧密,掌握水平就要定得越高。作为 个一般性的原则,任何行为的掌握水平的确定都不仅要评价在此时此刻该行为的质量,还 要考虑到其对本单元及课程剩余部分相关技能学习的影响。 在某些情况下,掌握度的最佳定义就是成功完成工作所需要的水平。对于许多复杂技能 来说,其实施水平是连续分布的,新手在一端,有经验的专家在另一端。工作场合或者学习 者最终被期望完成的任务应该达到什么水平呢?在这方面,环境分析的结果可以就所希望的 行为水平提供有用的信息,因此可以用在标准参照评测的设计过程中。但是如果目前在工作 场合没有人使用这些技能,那么管理人员或领域专家就必须运用他们的专业判断来估计掌握 水平了。如果掌握水平被证明不切实际,以后还可以再作调整 编写考试题 无论教学目标中包含的是哪类学习类型,开发标准参照考试题都需要一些考题编写技 巧。一般来说,在编写考试题或评测任务的时候,要从四个方面考虑考试题的质量,即以目 的为中心的原则、以学生为中心的原则、以环境为中心的原则和以评测为中心的原则。下面 分别介绍了各类质量原则 以目的为中心的原则考试题以及评测任务应该与学期目标和绩效目标一致,要符合在 目标中规定的行为,包括动作和概念。为了将考题的回答与目标中说明的特定行为对应,设 计师必须要考虑学习任务或在目标中规定的动词。对于要求学习者陈述或者定义,或者按照
开发一套标准来评判这个产品做得如何，以此作为对该心智运动技能的评测。 确定掌握水平 对于你所写的每个行为目标，都应该有一个达标陈述，即要说明学习者在你所提供的考 试中对于目标所描述的技能必须要做到多好。实际上，这个标准也就是要求学习者的掌握水 平。但是掌握水平的概念，相对于达标水平，更多地是用在对整个教学单元或整个课程的考 试中。一个教师可能需要说明，学习者为了“掌握”这个单元，他们必须要达到的行为水平。 问题是：“你如何确定掌握水平该有多高？” 研究掌握学习系统的研究者提出掌握度应该等于对最好的学习者所期望的行为水准。这 种定义掌握度的方法显然是常模参照的（即小组比较方法），但是有时候这也是唯一可用的 评判标准。 第二种定义掌握度的方法是靠统计。如果设计师想在进入下一个教学单元前确认学习者 “真的掌握了”某项技能，那么就要提供足够的机会让学习者运用这个技能，从而使得技能 的正确实施不是偶然为之。当使用多项选择题的时候，很容易就能计算出这组题正确答案被 猜中的概率，对于其它类型的考试题，可能很难计算猜中的概率，因此很容易说服他人成功 不是偶然的。但是仅仅超过行为发生的偶然率，可能不能算作一个好的掌握水平，但比随机 率高多少合适经常也是很武断的决定。 设置掌握水平的理想情况是存在着精确且明显的行为水平，可以以此定义掌握度。比如 士兵为了能够发送加密信息，必须要学会拼写标准的军用词汇。在这种情形下，一个教拼写 军用词汇的单元其掌握水平就应该设为 100%，这完全不是随意的，因为该技能非常重要， 它是学习后续技能的基础。该技能与后续技能的关系越紧密，掌握水平就要定得越高。作为 一个一般性的原则，任何行为的掌握水平的确定都不仅要评价在此时此刻该行为的质量，还 要考虑到其对本单元及课程剩余部分相关技能学习的影响。 在某些情况下，掌握度的最佳定义就是成功完成工作所需要的水平。对于许多复杂技能 来说，其实施水平是连续分布的，新手在一端，有经验的专家在另一端。工作场合或者学习 者最终被期望完成的任务应该达到什么水平呢？在这方面，环境分析的结果可以就所希望的 行为水平提供有用的信息，因此可以用在标准参照评测的设计过程中。但是如果目前在工作 场合没有人使用这些技能，那么管理人员或领域专家就必须运用他们的专业判断来估计掌握 水平了。如果掌握水平被证明不切实际，以后还可以再作调整。 编写考试题 无论教学目标中包含的是哪类学习类型，开发标准参照考试题都需要一些考题编写技 巧。一般来说，在编写考试题或评测任务的时候，要从四个方面考虑考试题的质量，即以目 的为中心的原则、以学生为中心的原则、以环境为中心的原则和以评测为中心的原则。下面 分别介绍了各类质量原则。 以目的为中心的原则 考试题以及评测任务应该与学期目标和绩效目标一致，要符合在 目标中规定的行为，包括动作和概念。为了将考题的回答与目标中说明的特定行为对应，设 计师必须要考虑学习任务或在目标中规定的动词。对于要求学习者陈述或者定义，或者按照