第12章设计和实施总结性评价 进行教学分 修改教学 评价需求 开发和选择 设计并实施 确定目标 测量表 学策略 教学材料 教学的形成 性评价 分析学习者 和环境 设计并实施 总结性评价 目标 说明总结性评价的目的 阐述总结性评价的两个阶段及每个阶段要做的决定 为比较不同的教学材料设计总结性评价方案 从目的和设计两方面比较形成性评价和总结性评价 背景 前面已经学到:形成性评价是为了改进教学而收集数据和信息的过程。与其形成鲜明对 照的是总结性评价,它是为了决定是否采用或继续采用某个教学而收集数据和信息的过程 形成性评价和总结性评价的差异在几十年前就已然区分,当时每出现一个新的学校课 程,或者每出现一个新的教学传递系统,发明人总会说它要比其竞争者好,于是就需要尽快 通过研究来证实谁是“赢家”。经常的情况是新的教学并不如传统教学,对于有经验的评价 人员来说,这也没有什么可奇怪的,因为新事物还很粗糙,而传统教学已经经过了多年的使 用和修正 所以,有人提出这类比较应该在新方法经过形成性评价,修改了所有重要错误之后,已 经可以日常使用的时候才进行。在那个时候,就可以将新方法与其他形式的教学进行比较, 精确纪录新方法在学习者表现、学习态度、教师反应、费用、持久性,以及与课程或组织中
第 12 章 设计和实施总结性评价 目标 ⚫ 说明总结性评价的目的 ⚫ 阐述总结性评价的两个阶段及每个阶段要做的决定 ⚫ 为比较不同的教学材料设计总结性评价方案 ⚫ 从目的和设计两方面比较形成性评价和总结性评价 背景 前面已经学到：形成性评价是为了改进教学而收集数据和信息的过程。与其形成鲜明对 照的是总结性评价，它是为了决定是否采用或继续采用某个教学而收集数据和信息的过程。 形成性评价和总结性评价的差异在几十年前就已然区分，当时每出现一个新的学校课 程，或者每出现一个新的教学传递系统，发明人总会说它要比其竞争者好，于是就需要尽快 通过研究来证实谁是“赢家”。经常的情况是新的教学并不如传统教学，对于有经验的评价 人员来说，这也没有什么可奇怪的，因为新事物还很粗糙，而传统教学已经经过了多年的使 用和修正。 所以，有人提出这类比较应该在新方法经过形成性评价，修改了所有重要错误之后，已 经可以日常使用的时候才进行。在那个时候，就可以将新方法与其他形式的教学进行比较， 精确纪录新方法在学习者表现、学习态度、教师反应、费用、持久性，以及与课程或组织中 评价需求 确定目标 进行教学分 析 分析学习者 和环境 写绩效 目标 修改教学 开发评 测量表 开发教 学策略 设计并实施 教学的形成 性评价 设计并实施 总结性评价 开发和选择 教学材料
其他教学兼容性方面的情况。做总结性评价并不一定要对两种或两种以上的教学产品进行比 较,总结性研究可以只研究一种新方法的效果。 对于教学设计师来说,形成性评价是有效运用系统化设计过程的基础,其重要性怎么说 也不过分,每一位教学设计师都必须能够熟练地运用形成性评价,但是并不要求他们掌握总 结性评价,这是总结性评价的“本质”造成的。当需要对一个新的传递系统或者一个新的课 程进行公正评价的时候,大多数的决策者都不希望由新系统或新方法的开发者或发明者来做 评价,而是聘请外面的、第三方评价人员来进行总结性评价。 最近几年,总结性评价的调子有所变化,问题不再是“谁最好?”,而变成“该教学活动 是否解决了引发对此教学产生需求的问题?”,换句话来说,教学被视为解决问题的一种方案, 总结性评价的最终问题是“它是否解决了这个问题?” 但是,这不正是我们在实际环境下做形成性评价时所问的问题吗?是的,当时我们是问 的这个问题,但是在此目的不同。在形成性评价阶段,我们想用这个信息来改进教学,使教 学能促进技能在实际环境下的使用,提高技能运用的有效性。而现在,在总结性评价中,我 们要问的是,在形成性评价(无论开发者采用了什么设计策略)完成后,教学是否已经能有 效地解决了我们的问题 因此,评价兴趣己经从比较新方法,分析考试成绩,而转向观察学习者在实际环境中的 表现:是否运用了所学技能,运用效果如何?为了回答这些问题,总结性评价要分两个阶段 进行:第一个阶段聚焦所感兴趣的教学和组织需求之间的关系,通过利用有关文档完成这步 分析。第二阶段做教学的实地试验,类似于形成性评价的第三个阶段,只是目的不同,即要 为决策者证实该教学能否产生所期望的结果 在本章后面的几节中,我们会多次提到“教学”和“教学材料”,我们是将它们作为同 义词混用的,因为我们要讨论的总结性评价是针对各种类型教学的总结性评价,不管该教学 是采用视频形式、教师手册形式、自学教材形式,还是计算机辅助教学形式。所以,当读到 后面,见到“教学”或“教学材料”两个词的时候,你不妨将其视为任一形式的教学。 概念 总结性评价定义为:设计评价研究方案,收集数据,以验证教学材料对目标学习者的有 效性。其主要目的是要决定是否继续釆用当前所用的教学材料,或者是否要采用有可能满足 组织所定义的教学需求的材料。所评价的材料也许并没有经过形成性评价和修改,这些材料 可能出自出版社、顾问公司或某个个人。材料长短不一,有的是为一天的研讨会或某种类型 的短课程而作,也有的是一学期、甚至一年的课程。材料的长短并不会改变研究的基本设计, 但是它会影响完成评价所需要的时间 总结性评价有两个主要阶段:专家评价阶段和实地试验阶段,专家评价阶段的目的就是 要判断当前所用的教学或其他候选教学方案是否能够满足组织所定义的教学需求。实地试验 阶段的目的是要记录有望采用的教学在预期的环境下对目标人群的有效性。每个阶段所要进 行的分析和决策,以及评价活动都列在表12.1中。 在专家评价阶段所要进行的活动是为了判断候选教学是否有竞争力,这包括(1)评价 组织的教学需求与该教学的相合性;(2)评价该教学的完整性和正确性;(3)评价该教学中 蕴含的教学策略:(4)评价教学的效力,以及(5)评判当前用户对此教学的满意度。如果
其他教学兼容性方面的情况。做总结性评价并不一定要对两种或两种以上的教学产品进行比 较，总结性研究可以只研究一种新方法的效果。 对于教学设计师来说，形成性评价是有效运用系统化设计过程的基础，其重要性怎么说 也不过分，每一位教学设计师都必须能够熟练地运用形成性评价，但是并不要求他们掌握总 结性评价，这是总结性评价的“本质”造成的。当需要对一个新的传递系统或者一个新的课 程进行公正评价的时候，大多数的决策者都不希望由新系统或新方法的开发者或发明者来做 评价，而是聘请外面的、第三方评价人员来进行总结性评价。 最近几年，总结性评价的调子有所变化，问题不再是“谁最好?”，而变成“该教学活动 是否解决了引发对此教学产生需求的问题?”，换句话来说，教学被视为解决问题的一种方案， 总结性评价的最终问题是“它是否解决了这个问题？” 但是，这不正是我们在实际环境下做形成性评价时所问的问题吗？是的，当时我们是问 的这个问题，但是在此目的不同。在形成性评价阶段，我们想用这个信息来改进教学，使教 学能促进技能在实际环境下的使用，提高技能运用的有效性。而现在，在总结性评价中，我 们要问的是，在形成性评价（无论开发者采用了什么设计策略）完成后，教学是否已经能有 效地解决了我们的问题。 因此，评价兴趣已经从比较新方法，分析考试成绩，而转向观察学习者在实际环境中的 表现：是否运用了所学技能，运用效果如何？为了回答这些问题，总结性评价要分两个阶段 进行：第一个阶段聚焦所感兴趣的教学和组织需求之间的关系，通过利用有关文档完成这步 分析。第二阶段做教学的实地试验，类似于形成性评价的第三个阶段，只是目的不同，即要 为决策者证实该教学能否产生所期望的结果。 在本章后面的几节中，我们会多次提到“教学”和“教学材料”，我们是将它们作为同 义词混用的，因为我们要讨论的总结性评价是针对各种类型教学的总结性评价，不管该教学 是采用视频形式、教师手册形式、自学教材形式，还是计算机辅助教学形式。所以，当读到 后面，见到“教学”或“教学材料”两个词的时候，你不妨将其视为任一形式的教学。 概念 总结性评价定义为：设计评价研究方案，收集数据，以验证教学材料对目标学习者的有 效性。其主要目的是要决定是否继续采用当前所用的教学材料，或者是否要采用有可能满足 组织所定义的教学需求的材料。所评价的材料也许并没有经过形成性评价和修改，这些材料 可能出自出版社、顾问公司或某个个人。材料长短不一，有的是为一天的研讨会或某种类型 的短课程而作，也有的是一学期、甚至一年的课程。材料的长短并不会改变研究的基本设计， 但是它会影响完成评价所需要的时间。 总结性评价有两个主要阶段：专家评价阶段和实地试验阶段，专家评价阶段的目的就是 要判断当前所用的教学或其他候选教学方案是否能够满足组织所定义的教学需求。实地试验 阶段的目的是要记录有望采用的教学在预期的环境下对目标人群的有效性。每个阶段所要进 行的分析和决策，以及评价活动都列在表 12.1 中。 在专家评价阶段所要进行的活动是为了判断候选教学是否有竞争力，这包括（1）评价 组织的教学需求与该教学的相合性；（2）评价该教学的完整性和正确性；（3）评价该教学中 蕴含的教学策略；（4）评价教学的效力，以及（5）评判当前用户对此教学的满意度。如果
该教学已经为满足组织的需求而做了裁剪,并经过了系统化的设计和开发,以及总结性评价 前的形成性评价,那么专家评价可以不做,但是如果该组织不熟悉此教学和它的开发历史, 就必须要做专家评价 图12.1总结性评价的专家评价和实地实施阶段 总结性评价 专家评价阶段 实地试验阶段 总体决策 该材料是否有可能满足组织需要? 这些材料在指定的环境下对于目标 学习者是否有效? 特定决策 适合度分析:组织的需求和目标是否 结果分析 与教学中陈述的吻合? 对学习者的影响教学之后对学习 内容分析:这些材料是否完全、精确、 者的成就和动机水平是否满意? 不过时? 对工作的影响:学习者是否能够将 设计分析:材料中是否表现出某种教 信息、技能和态度从教学环境迁移 学原理和动机激励? 到工作环境或者迁移到与教学相关 可用性分析:该材料对当前用户来说 的后续单元中? 是否方便、耐用,有较好的性价比和 对组织的影响:学习者行为(表现 满意度? 态度)的改变是否对组织使命和目 标的实现产生了正面影响,如降低 了辍学率、辞职率,提高了出勤率 成果;增加了生产率和成绩) 管理分析 1.教员和管理者是否感到满意? 2.所建议的实施过程是否可行? 3.与时间、人员、设备和资源相 关的费用是否合理? 实地试验阶段由两部分组成,第一部分是结果分析,要评价教学对学习者技能、对学习 者工作(迁移)以及对组织(需求满足程度)的影响。第二部分是管理分析,包括评定教员 及管理人员对学习者表现的看法,实施可行性和费用等 总结性评价的实地试验阶段要纪录学习者的表现和态度,记录教员管理者的态度,记 录实施教学过程和所需要的资源,实地试验的主要目的就是要确定教学的优点和缺点,判断 成因,记录下好的地方和存在的问题。 专家评价和实地试验都可以只对一种教学材料做,也可以对若干个需要比较的教学材料 做。一般来说,专家评价阶段往往是从多个候选教学中挑选出一两个最有竞争力的去做实地 试验。下面详细介绍了这两个阶段。在专家评价阶段的叙述中,我们假设你要评价的教学是 你所不熟悉的,而你又必须决定是否要增加实地试验的人手和费用
该教学已经为满足组织的需求而做了裁剪，并经过了系统化的设计和开发，以及总结性评价 前的形成性评价，那么专家评价可以不做，但是如果该组织不熟悉此教学和它的开发历史， 就必须要做专家评价。 图 12.1 总结性评价的专家评价和实地实施阶段 总结性评价 专家评价阶段 实地试验阶段 总体决策 该材料是否有可能满足组织需要？ 这些材料在指定的环境下对于目标 学习者是否有效？ 特定决策 适合度分析：组织的需求和目标是否 与教学中陈述的吻合？ 内容分析：这些材料是否完全、精确、 不过时？ 设计分析：材料中是否表现出某种教 学原理和动机激励？ 可用性分析：该材料对当前用户来说 是否方便、耐用，有较好的性价比和 满意度？ 结果分析: 对学习者的影响:教学之后对学习 者的成就和动机水平是否满意？ 对工作的影响：学习者是否能够将 信息、技能和态度从教学环境迁移 到工作环境或者迁移到与教学相关 的后续单元中？ 对组织的影响：学习者行为（表现、 态度）的改变是否对组织使命和目 标的实现产生了正面影响，如降低 了辍学率、辞职率，提高了出勤率、 成果；增加了生产率和成绩) 管理分析： 1． 教员和管理者是否感到满意？ 2． 所建议的实施过程是否可行? 3． 与时间、人员、设备和资源相 关的费用是否合理？ 实地试验阶段由两部分组成，第一部分是结果分析，要评价教学对学习者技能、对学习 者工作（迁移）以及对组织（需求满足程度）的影响。第二部分是管理分析，包括评定教员 及管理人员对学习者表现的看法，实施可行性和费用等。 总结性评价的实地试验阶段要纪录学习者的表现和态度，记录教员/管理者的态度，记 录实施教学过程和所需要的资源，实地试验的主要目的就是要确定教学的优点和缺点，判断 成因，记录下好的地方和存在的问题。 专家评价和实地试验都可以只对一种教学材料做，也可以对若干个需要比较的教学材料 做。一般来说，专家评价阶段往往是从多个候选教学中挑选出一两个最有竞争力的去做实地 试验。下面详细介绍了这两个阶段。在专家评价阶段的叙述中，我们假设你要评价的教学是 你所不熟悉的，而你又必须决定是否要增加实地试验的人手和费用
总结性评价的专家评价阶段 适合度分析 组织的需求不管总结性评价是否要做教学材料的比较,还是只对一种教学材料进行 评价,评价人员都要了解所评价的教学材料是为什么目标针对什么对象而设计的,要判断该 教学的目标和对象是否与组织的需求、目标学习者的特征相吻合。为了进行适合度分析,首 先你必须获得该组织需求的清楚说明,其中包括对目标学习者入门技能和特征的精确描述。 在获得这个信息之后,你要在教学材料中具体标注出满足组织需求的地方。对于每一种候选 材料,你都要获得该教学的目标和目的的清楚陈述,以及它所针对的目标对象。这些信息有 时候可以在材料的前言中或序中找到,也可能出现在教师手册中。如果这些描述太一般化了, 那么你可能还需要与材料的出版商联系,索求更详细的信息。 资源你还要分析该组织为了购买及实施教学材料可用的资源,以及获取和安装其他 材料的费用。太贵的材料,即使很有效,通常也不在组织的考虑之列。组织中可用的设施和 设备与实施教学所需要的设施和设备之间往往也存在着一定的差距。 一旦获得了这些相关资料,你就要开始比较1)组织的需求与材料的目标,2)组织的 目标人群与材料的目标人群,3)组织可用的资源与获得和实施该教学的设备需求。从适合 度分析中得出的信息应该与有关的决策人分享,尽管你会被要求提供建议,但是那些做出最 终决定的人,那些决定要对哪个材料做总结性评价,或者是否继续评价过程的人因组织而异。 对于那些被选择做总结性评价的材料都要问如下几个与高质量材料设计有关的问题,这 些问题应该在进行实地试验之前就得到回答 1.该材料及所附带的考试题是否齐全且准确? 2.所采用的教学策略是否适合学习结果的类型? 3.该材料能够被有效地使用吗? 4.当前用户对此材料满意吗? 如果你判断出候选材料在这些重要方面存在明显的不足,那么继续总结性评价不会有什 么结果。在总结性评价的这个阶段结束后,你应该告诉主管你的判断,再问他们是否还要继 续总结性评价。 总结性评价的这个阶段所采用的工作方式与形成性评价中一对一评价时所采用的策略 类似,但也有些不同。下面我们依次考虑在此阶段要做的各种分析 内容分析 因为你可能不是要评价的材料方面的内容专家,因此可能需要请一个内容专家作为顾 问。你必须考虑的问题是如何最好地发挥这个专家的作用。一种策略是向专家提供所有候选 材料的副本,请他们评判材料对于组织所陈述目标的精确性和完整性。另外一种更好的、性 价比更高的策略是与专家一起做所陈述目标的教学分析。专家所产生的文档既要包括目标分
总结性评价的专家评价阶段 适合度分析 组织的需求 不管总结性评价是否要做教学材料的比较，还是只对一种教学材料进行 评价，评价人员都要了解所评价的教学材料是为什么目标针对什么对象而设计的，要判断该 教学的目标和对象是否与组织的需求、目标学习者的特征相吻合。为了进行适合度分析，首 先你必须获得该组织需求的清楚说明，其中包括对目标学习者入门技能和特征的精确描述。 在获得这个信息之后，你要在教学材料中具体标注出满足组织需求的地方。对于每一种候选 材料，你都要获得该教学的目标和目的的清楚陈述，以及它所针对的目标对象。这些信息有 时候可以在材料的前言中或序中找到，也可能出现在教师手册中。如果这些描述太一般化了， 那么你可能还需要与材料的出版商联系，索求更详细的信息。 资源 你还要分析该组织为了购买及实施教学材料可用的资源，以及获取和安装其他 材料的费用。太贵的材料，即使很有效，通常也不在组织的考虑之列。组织中可用的设施和 设备与实施教学所需要的设施和设备之间往往也存在着一定的差距。 一旦获得了这些相关资料，你就要开始比较 1）组织的需求与材料的目标，2）组织的 目标人群与材料的目标人群，3）组织可用的资源与获得和实施该教学的设备需求。从适合 度分析中得出的信息应该与有关的决策人分享，尽管你会被要求提供建议，但是那些做出最 终决定的人，那些决定要对哪个材料做总结性评价，或者是否继续评价过程的人因组织而异。 对于那些被选择做总结性评价的材料都要问如下几个与高质量材料设计有关的问题，这 些问题应该在进行实地试验之前就得到回答： 1． 该材料及所附带的考试题是否齐全且准确？ 2． 所采用的教学策略是否适合学习结果的类型？ 3． 该材料能够被有效地使用吗？ 4． 当前用户对此材料满意吗？ 如果你判断出候选材料在这些重要方面存在明显的不足，那么继续总结性评价不会有什 么结果。在总结性评价的这个阶段结束后，你应该告诉主管你的判断，再问他们是否还要继 续总结性评价。 总结性评价的这个阶段所采用的工作方式与形成性评价中一对一评价时所采用的策略 类似，但也有些不同。下面我们依次考虑在此阶段要做的各种分析。 内容分析 因为你可能不是要评价的材料方面的内容专家，因此可能需要请一个内容专家作为顾 问。你必须考虑的问题是如何最好地发挥这个专家的作用。一种策略是向专家提供所有候选 材料的副本，请他们评判材料对于组织所陈述目标的精确性和完整性。另外一种更好的、性 价比更高的策略是与专家一起做所陈述目标的教学分析。专家所产生的文档既要包括目标分
析也要包括从属技能分析。那个确定并序列化教学目标中主要步骤和从属技能的框架可用来 判断任何候选材料的精确性和完整性。 如何使用这个框架呢?框架中所包含的技能可以转换为一张核査表或一张等级量表,评 价人员可以据此来审核评定候选材料以及相关考试题的质量。 设计分析 类似于一对一形成性评价,你需要评价候选材料中的教学策略成分是否合适。作为一个 外部评价人员,你可能不知道某个策略成分是否出现了,如果出现了是否能引起并维持学习 者的注意力。同样在这个时候可以用核査表来审核和比较候选材料,这是最彻底最省时间的 方法 在开发核查表时,你要在最左列列出各教学策略成分,用剩下的列纪录候选材料中是否 出现该教学策略。你也可以设计成等级量表形式,基于材料中所说的学习结果的类型设定权 值。评价人员所填写的表格会因为教学的性质不同而有很大差别 可用性和可行性分析 关于教学材料的第三个问题与候选材料的可用性有关。对于每种材料,你都要考虑这些 因素,诸如是否有学习者指南,是否有课程大纲,是否有教师手册等。另外还要考虑材料的 耐用性,以及是否还有对其他特殊资源的要求,如对教师能力、设备或环境(如学习中心) 的要求等。可用性方面的考虑还包括材料是否需要考虑小组或个人进度,获得和实施该材料 的相对费用是否可修改等等。事实上,任何有可能扩大或限制该材料在组织中采用的因素都 应该考虑。 为了设计这部分的总结性评价,你需要与组织中要求进行总结性评价的关键人物会谈。 通过与他们的讨论,确定你确实了解了他们的需求、资源和限制。他们还可能有助于确定你 尚未考虑到的一些可用性方面的问题 你可以根据所选择的可用性问题,设计一个总结表,以便在评价所有候选材料时将注意 力集中到这些问题上。与前面的例子一样,最重要的问题列在核查表的最左列,随后是每种 材料的回答各占一列。这种核查表和前面介绍的核查表不同,你需要给出每种材料相关的描 述性信息,而不是简单判断某个指标是否出现。这种用表格的形式简要总结描述性信息的方 式,可以方便材料的比较,有助于形成建议。 当前用户分析 还有另外一类分析你可能希望包含在你的评价设计中,就是向正在使用候选材料的组织 寻求额外的信息。当前用户名单可以从材料的出版商处获得 你需要从用户那里获得哪些信息呢?一种类型的信息是有关目标学习者在其他环境下 的数据。例如,他们的入门技能是什么,学习这个材料的动机是什么?使用该教学前后他们 的前测和后测表现如何?最后,他们对该材料的态度如何?
析也要包括从属技能分析。那个确定并序列化教学目标中主要步骤和从属技能的框架可用来 判断任何候选材料的精确性和完整性。 如何使用这个框架呢？框架中所包含的技能可以转换为一张核查表或一张等级量表，评 价人员可以据此来审核评定候选材料以及相关考试题的质量。 设计分析 类似于一对一形成性评价，你需要评价候选材料中的教学策略成分是否合适。作为一个 外部评价人员，你可能不知道某个策略成分是否出现了，如果出现了是否能引起并维持学习 者的注意力。同样在这个时候可以用核查表来审核和比较候选材料，这是最彻底最省时间的 方法。 在开发核查表时，你要在最左列列出各教学策略成分，用剩下的列纪录候选材料中是否 出现该教学策略。你也可以设计成等级量表形式，基于材料中所说的学习结果的类型设定权 值。评价人员所填写的表格会因为教学的性质不同而有很大差别。 可用性和可行性分析 关于教学材料的第三个问题与候选材料的可用性有关。对于每种材料，你都要考虑这些 因素，诸如是否有学习者指南，是否有课程大纲，是否有教师手册等。另外还要考虑材料的 耐用性，以及是否还有对其他特殊资源的要求，如对教师能力、设备或环境（如学习中心） 的要求等。可用性方面的考虑还包括材料是否需要考虑小组或个人进度，获得和实施该材料 的相对费用是否可修改等等。事实上，任何有可能扩大或限制该材料在组织中采用的因素都 应该考虑。 为了设计这部分的总结性评价，你需要与组织中要求进行总结性评价的关键人物会谈。 通过与他们的讨论，确定你确实了解了他们的需求、资源和限制。他们还可能有助于确定你 尚未考虑到的一些可用性方面的问题。 你可以根据所选择的可用性问题，设计一个总结表，以便在评价所有候选材料时将注意 力集中到这些问题上。与前面的例子一样，最重要的问题列在核查表的最左列，随后是每种 材料的回答各占一列。这种核查表和前面介绍的核查表不同，你需要给出每种材料相关的描 述性信息，而不是简单判断某个指标是否出现。这种用表格的形式简要总结描述性信息的方 式，可以方便材料的比较，有助于形成建议。 当前用户分析 还有另外一类分析你可能希望包含在你的评价设计中，就是向正在使用候选材料的组织 寻求额外的信息。当前用户名单可以从材料的出版商处获得。 你需要从用户那里获得哪些信息呢？一种类型的信息是有关目标学习者在其他环境下 的数据。例如，他们的入门技能是什么，学习这个材料的动机是什么？使用该教学前后他们 的前测和后测表现如何？最后，他们对该材料的态度如何？