100 ll 100 ∥ 67 0 67 平均值 92 14 88 注:平均值是基于分析组中所有20位学生的成绩计算的,尽管表中只给出了五个学生 的数据 图示学习者的表现情况显示数据的另一种方式是使用各种图形技术。一张图就可以展 示在形成性评价研究中每个目标在前测和后测中的完成情况,你还可以在图上标记出完成教 学材料所需要的时间,以及前测和后测的用时。图11.1中显示的是一个前测/后测成绩图 100 前测 后测 目标 图11.1前测/后测成绩比较图 6
6 4 100 11 100 // 20 67 0 67 平均值 92 14 88 注：平均值是基于分析组中所有 20 位学生的成绩计算的，尽管表中只给出了五个学生 的数据。 图示学习者的表现情况 显示数据的另一种方式是使用各种图形技术。一张图就可以展 示在形成性评价研究中每个目标在前测和后测中的完成情况，你还可以在图上标记出完成教 学材料所需要的时间，以及前测和后测的用时。图 11.1 中显示的是一个前测/后测成绩图。 0 20 40 60 80 100 120 1 2 3 4 5 6 7 8 目标 平均分数 前测 后测 图 11.1 前测/后测成绩比较图
100 80 图112使用了教学分析结构的前测/后测成绩比较图 另外一种用于总结形成性评价数据的图形技术使用了教学分析图,这个过程需要计算参 与形成性评价的学习者在教学分析图中所标示的每个技能上前测及后测的平均成绩。设计师 复制了教学分析图,但是图上不必出现技能名,图11.2就是这样的一个例子,每个目标的 前测和后测成绩分别填入对应的方框中。教材中不同技能得分的相关性也因此得以呈现,很 明显,越接近层次结构的上方,学习者的成绩就越低。你可能还发现了一个只有少部分学习 者掌握的技能,它对后面的上位技能的掌握几乎没有产生什么影响 其它类型的数据除了学习者在每个目标上的表现之外,还有一些其他种类的数据需要 整理和分析。人们已经发现整理态度问卷数据的最好方法是在一个空白问卷上统计每道题每 个选项有多少学生选择,如果你还想从学习者那里获得一般性的开放意见,那么你就必须总 结每个问题。 另外一类重要的数据是学习者、参加形成性评价的教员和看过教材的领域专家所给出的 评论。在实施环境下做形成性评价所收集到的这些数据和信息可以用描述方式整理,因为不 太可能用表格或图形方式来总结这些评论。最好将这些评论与所评论的教学材料,或者材料 中的教学目标建立联系,如将这些评论直接写在同一份教学材料上 最后一类要整理的数据与你在做小组评价或实地试验时所采用的方法有关。这些数据可 以是某些考试题的成绩,对态度问卷的回答,或者是对整个学习时间的指示 审查数据的顺序在你准备对数据进行总结的时候,先要快速地对教学材料的有效性有 个全面概括的认识,对需要进行的修改范围有个基本的估计。在概括地审查完数据之后, 建议采用如下的顺序使用数据: 入门技能首先,在剔除了与有缺陷的题目相关的数据之后,对于剩下的数据,你先要
7 图 11.2 使用了教学分析结构的前测/后测成绩比较图 另外一种用于总结形成性评价数据的图形技术使用了教学分析图，这个过程需要计算参 与形成性评价的学习者在教学分析图中所标示的每个技能上前测及后测的平均成绩。设计师 复制了教学分析图，但是图上不必出现技能名，图 11.2 就是这样的一个例子，每个目标的 前测和后测成绩分别填入对应的方框中。教材中不同技能得分的相关性也因此得以呈现，很 明显，越接近层次结构的上方，学习者的成绩就越低。你可能还发现了一个只有少部分学习 者掌握的技能，它对后面的上位技能的掌握几乎没有产生什么影响。 其它类型的数据 除了学习者在每个目标上的表现之外，还有一些其他种类的数据需要 整理和分析。人们已经发现整理态度问卷数据的最好方法是在一个空白问卷上统计每道题每 个选项有多少学生选择，如果你还想从学习者那里获得一般性的开放意见，那么你就必须总 结每个问题。 另外一类重要的数据是学习者、参加形成性评价的教员和看过教材的领域专家所给出的 评论。在实施环境下做形成性评价所收集到的这些数据和信息可以用描述方式整理，因为不 太可能用表格或图形方式来总结这些评论。最好将这些评论与所评论的教学材料，或者材料 中的教学目标建立联系，如将这些评论直接写在同一份教学材料上。 最后一类要整理的数据与你在做小组评价或实地试验时所采用的方法有关。这些数据可 以是某些考试题的成绩，对态度问卷的回答，或者是对整个学习时间的指示。 审查数据的顺序 在你准备对数据进行总结的时候，先要快速地对教学材料的有效性有 一个全面概括的认识，对需要进行的修改范围有个基本的估计。在概括地审查完数据之后， 建议采用如下的顺序使用数据： 入门技能 首先，在剔除了与有缺陷的题目相关的数据之后，对于剩下的数据，你先要 10 95 30 90 0 100 90 100 0 95 95 100 95 20 90 30 80 30 100 0 80 10 100 10 80 50 100 0 80 0 80
审查它们与学习者入门技能的关系。参加形成性评价的学习者是否具有你所希望的入门技 能?如果具备,是否通过了教学材料的学习?如果不具备入门技能也通过了教学材料的学 习,那么你就需要质疑所确定的入门技能是否合适。 前测和后测第二步是审査在教学分析图表上标记的前测和后测数据。如果你的教学顺 序安排适当,各技能的层次依赖关系分析正确,那么从图表上来看,学习者的成绩应随着技 能层次的上升而下降,也就是说,学习者在学期目标上的得分最低,而刚开始的技能成绩会 好一些。当然,如果教学有效的话,处于教学分析最顶端的技能成绩也不会下降。这些数据 可以帮助你精确确定哪里有问题,甚至还可以建议修改某些技能的教学顺序 第三步是审查前测成绩,确定每个学习者,以及这组学习者作为一个整体,对你要教的 技能已经掌握的程度,如果他们已经具备了大部分技能,那么对他们而做的形成性评价不会 对教学是否有效、应该如何改进提供多少有用的信息,但是如果他们缺乏这些技能,那么你 对后面的分析就会更有信心 在审查教学分析图表时通过一个目标一个目标地比较前测和后测的成绩,你已经了解了 学习者在每个目标上的表现,可以开始将注意力转向看上去需要修改的具体目标及相关的教 学了 在确定了学习者表现不佳的目标后,还要重新审查该目标的表述和相关的考题,以及学 习者对题目的回答。在修改教学材料之前,要先查查题目分析表,看看是不是因为题目没出 好,而不是教材不佳,导致了学习者表现不良。如果是这样,只要修改题目就行了,不必对 教学材料做大变动 教学策略下一步是审查学习者感到有困难的教学目标所采用的教学策略。所计划的教 学策略是否运用在教学材料中了?是否还有其它可用策略?最后一步是审查教学材料,根据 学习者、教员和领域专家所提出的意见,看看那些被指出有问题的地方是否需要修改 学习时间形成性评价所关注的另一个重要问题是要了解学习者学完教学材料所需要的 时间。你可能需要修改教材,以便它能够在规定时间内完成。这项工作相当困难,必须小心 从事。对于一个具体的教学材料来说,学得慢的学习者可能比学得快的学习者要多花两三倍 的时间,这种事情并不罕见。知道从材料中删除什么、改变什么而不影响学习是很困难的, 只能对目标学习者进行不断地试验,修改,再试验,再修改,多次反复,最后才能做出决定。 教学过程与教学材料实施过程有关的数据也要纪录。前面我们已经建议要收集引起媒 体设备误操作的误导信息。此外,还要记录教室里被中断的教学,延长的午餐时间,以及其 他一些在各种教学环境都可能发生的活动。因为这些中断和活动是无法控制的,所以必须记 录下来并做出解释 另一方面,也还有一些过程问题是可以被控制的,比如学习者是否由于这个材料所要求 的环境条件而受阻?对于如何从这一步进行到下一步有没有什么问题?是否能及时得知考 试成绩?这类实施过程问题经常可以在问卷和听取意见的讨论中被发现。必须要找到解决这 类问题的办法,将它们写入教材或教师手册,以便教学活动能进展得更为顺畅。 修改过程 我们建议在你开始修改教学过程的时候,一定要采用本章所介绍的方法整理数据。我们
8 审查它们与学习者入门技能的关系。参加形成性评价的学习者是否具有你所希望的入门技 能？如果具备，是否通过了教学材料的学习？如果不具备入门技能也通过了教学材料的学 习，那么你就需要质疑所确定的入门技能是否合适。 前测和后测 第二步是审查在教学分析图表上标记的前测和后测数据。如果你的教学顺 序安排适当，各技能的层次依赖关系分析正确，那么从图表上来看，学习者的成绩应随着技 能层次的上升而下降，也就是说，学习者在学期目标上的得分最低，而刚开始的技能成绩会 好一些。当然，如果教学有效的话，处于教学分析最顶端的技能成绩也不会下降。这些数据 可以帮助你精确确定哪里有问题，甚至还可以建议修改某些技能的教学顺序。 第三步是审查前测成绩，确定每个学习者，以及这组学习者作为一个整体，对你要教的 技能已经掌握的程度，如果他们已经具备了大部分技能，那么对他们而做的形成性评价不会 对教学是否有效、应该如何改进提供多少有用的信息，但是如果他们缺乏这些技能，那么你 对后面的分析就会更有信心。 在审查教学分析图表时通过一个目标一个目标地比较前测和后测的成绩，你已经了解了 学习者在每个目标上的表现，可以开始将注意力转向看上去需要修改的具体目标及相关的教 学了。 在确定了学习者表现不佳的目标后，还要重新审查该目标的表述和相关的考题，以及学 习者对题目的回答。在修改教学材料之前，要先查查题目分析表，看看是不是因为题目没出 好，而不是教材不佳，导致了学习者表现不良。如果是这样，只要修改题目就行了，不必对 教学材料做大变动。 教学策略 下一步是审查学习者感到有困难的教学目标所采用的教学策略。所计划的教 学策略是否运用在教学材料中了？是否还有其它可用策略？最后一步是审查教学材料，根据 学习者、教员和领域专家所提出的意见，看看那些被指出有问题的地方是否需要修改。 学习时间 形成性评价所关注的另一个重要问题是要了解学习者学完教学材料所需要的 时间。你可能需要修改教材，以便它能够在规定时间内完成。这项工作相当困难，必须小心 从事。对于一个具体的教学材料来说，学得慢的学习者可能比学得快的学习者要多花两三倍 的时间，这种事情并不罕见。知道从材料中删除什么、改变什么而不影响学习是很困难的， 只能对目标学习者进行不断地试验，修改，再试验，再修改，多次反复，最后才能做出决定。 教学过程 与教学材料实施过程有关的数据也要纪录。前面我们已经建议要收集引起媒 体设备误操作的误导信息。此外，还要记录教室里被中断的教学，延长的午餐时间，以及其 他一些在各种教学环境都可能发生的活动。因为这些中断和活动是无法控制的，所以必须记 录下来并做出解释。 另一方面，也还有一些过程问题是可以被控制的，比如学习者是否由于这个材料所要求 的环境条件而受阻？对于如何从这一步进行到下一步有没有什么问题？是否能及时得知考 试成绩？这类实施过程问题经常可以在问卷和听取意见的讨论中被发现。必须要找到解决这 类问题的办法，将它们写入教材或教师手册，以便教学活动能进展得更为顺畅。 修改过程 我们建议在你开始修改教学过程的时候，一定要采用本章所介绍的方法整理数据。我们