《系统化教学设计》课程教学资源（教案讲义）第十一章修改教学材料.doc

概念对形成性评价收集的数据有多种整理方法,这些方法有助于发现学习者学习的难点,确定教材需要修改的地方。这里介绍的方法只是一些建议,在你具体处理你的数据的时候,你还可以采用其他能够帮助你从数据中获取更多认识的方法和技术。我们先从一对一形成性评价所收集的数据开始,看看如何处理这些数据,然后再考虑小组评价和实地试验阶段分析一对一试验数据设计师在一对一形成性评价中所获得的数据很少,因为只有从三、五个学习者那里获得的信息。由于选择学习者时有意识地考虑了他们之间的差异,所以学习者所提供的信息极有可能存在很大的分化,不象混在一组时的情况。换句话来说,设计师必须要注意学习者回答中的共性和不同,确定对教学的最佳修改。设计师在一对一形成性评价阶段可以获得五类基本信息:学习者特点和入门技能,对教学的直接反应,学习时间,后测成绩。如果使用了态度问卷,还有对问卷的回答。做数据分析的第一步是先描述参加一对一评价的学习者,以及他们在入门技能测试中的成绩。然后,设计师要把学习者对教学的所有评论和建议整理在一起。具体做法可以这样, 取一本教学材料,在其上用不同的颜色笔标记出不同学习者所提出的问题:还可以在上面写上来自领域专家的意见,以及在一对一评价期间所采用的教学方法。下一组要总结的数据与后测有关,首先获得每道题的得分,然后将每个目标相关题目得分求和得到每个目标的得分,最后得到总分。一般会做一张表,上面记录了每个学习者的前测成绩、后测成绩和学习所用时间。另外,还要分析学习者在后测中每个目标上的表现,并给予评论。如果在这个阶段的教学中使用了态度问卷,那么对态度问卷数据可以采用类似的办法处理。在收集了上述所有信息之后,设计师就可以开始准备修改教学了。当然,在一对一评价完成之前,已经修改了一些明显错误,现在要做的是有些难度的修改,可以从学习者表现最差的地方,或者是评论最多的地方开始首先,根据学习者成绩看看评分标准或者考试题目有没有问题。如果有问题,就要做相应地修改,使之与教学的意图和教学目标一致。如果题目没有问题,学习者表现又很差,那么就必须修改教学了。你可以基于三类信息修改教学:学习者的建议、学习者的表现和你自己对教学的看法。学习者经常能给出很好的建议。另外,设计师也要仔细分析学习者所产生的错误,确定出错类型,以便做针对性的修改。你也要相信自己对于如何修改教学才能最有效的判断,因为你已经采用系统化设计过程,仔细说明了学习者要学什么,并给出了例题还为学习者提供了练习每种技能的机会,学习者在练习过程中也得到了反馈,所有的基本成分都在那里了!这个阶段最常做的修改就是澄清概念,增删练习。这三类信息通常给出了应该采取的最适当的修改步骤但是有时候你可能真的不知道该怎么修改教学,这时候不妨就不作修改,看看在小组评价时这部分材料的工作情况如何;或者由设计师给出几种解决办法,在小组评价时逐一尝试

2 概念对形成性评价收集的数据有多种整理方法，这些方法有助于发现学习者学习的难点，确定教材需要修改的地方。这里介绍的方法只是一些建议，在你具体处理你的数据的时候，你还可以采用其他能够帮助你从数据中获取更多认识的方法和技术。我们先从一对一形成性评价所收集的数据开始，看看如何处理这些数据，然后再考虑小组评价和实地试验阶段。分析一对一试验数据设计师在一对一形成性评价中所获得的数据很少，因为只有从三、五个学习者那里获得的信息。由于选择学习者时有意识地考虑了他们之间的差异，所以学习者所提供的信息极有可能存在很大的分化，不象混在一组时的情况。换句话来说，设计师必须要注意学习者回答中的共性和不同，确定对教学的最佳修改。设计师在一对一形成性评价阶段可以获得五类基本信息：学习者特点和入门技能，对教学的直接反应，学习时间，后测成绩。如果使用了态度问卷，还有对问卷的回答。做数据分析的第一步是先描述参加一对一评价的学习者，以及他们在入门技能测试中的成绩。然后，设计师要把学习者对教学的所有评论和建议整理在一起。具体做法可以这样，取一本教学材料，在其上用不同的颜色笔标记出不同学习者所提出的问题；还可以在上面写上来自领域专家的意见，以及在一对一评价期间所采用的教学方法。下一组要总结的数据与后测有关，首先获得每道题的得分，然后将每个目标相关题目得分求和得到每个目标的得分，最后得到总分。一般会做一张表，上面记录了每个学习者的前测成绩、后测成绩和学习所用时间。另外，还要分析学习者在后测中每个目标上的表现，并给予评论。如果在这个阶段的教学中使用了态度问卷，那么对态度问卷数据可以采用类似的办法处理。在收集了上述所有信息之后，设计师就可以开始准备修改教学了。当然，在一对一评价完成之前，已经修改了一些明显错误，现在要做的是有些难度的修改，可以从学习者表现最差的地方，或者是评论最多的地方开始。首先，根据学习者成绩看看评分标准或者考试题目有没有问题。如果有问题，就要做相应地修改，使之与教学的意图和教学目标一致。如果题目没有问题，学习者表现又很差，那么就必须修改教学了。你可以基于三类信息修改教学：学习者的建议、学习者的表现和你自己对教学的看法。学习者经常能给出很好的建议。另外，设计师也要仔细分析学习者所产生的错误，确定出错类型，以便做针对性的修改。你也要相信自己对于如何修改教学才能最有效的判断，因为你已经采用系统化设计过程，仔细说明了学习者要学什么，并给出了例题，还为学习者提供了练习每种技能的机会，学习者在练习过程中也得到了反馈，所有的基本成分都在那里了！这个阶段最常做的修改就是澄清概念，增删练习。这三类信息通常给出了应该采取的最适当的修改步骤。但是有时候你可能真的不知道该怎么修改教学，这时候不妨就不作修改，看看在小组评价时这部分材料的工作情况如何；或者由设计师给出几种解决办法，在小组评价时逐一尝试

分析小组评价和实地试验数据小组形成性评价提供给设计师的是与一对一评价有些不同的数据汇总环境,从820个学习者那里收集的数据要比单个人的数据更有意思,即这些数据可以反映出这个具有代表性的学习者小组所遇到的问题以及他们的回应。在此阶段可以获得的数据一般有:前测、后测中每道题目的得分、对态度问卷的回答、学习时间和考试时间,以及直接写在材料上的评论。所有评测的基本分析单元为考试题,对每道题的表现都要判断对与错,如果一道题由几部分组成,则每一部分都要判分,并分别报告,以免丢失信息。之所以需要每道题的信息有三个原因 1.题目信息可以用来确定题目本身是否有问题,以及此题是否有效测量了对应目标中所描述的行为。在下一节我们将介绍有关的方法。 2.单个题目数据还可以用来确定学习者在教学中遇到的困难。例如,对于某道题目来说,知道有一半的人做错了固然重要,但是更为重要的是发现大多数人都选了多项选择题中的同一个错误选项,或者在做求解题目时都犯了同一类型的推理错误 3.单个题目数据可以结合起来说明学习者在某个目标上的表现,以及最终在整个考试中的表现。有时候,判断一个目标通过与否是根据一组题目做对的百分率。根据与目标相关的每道题目的信息,不仅可以算出每个目标完成的正确率,还可以看出已掌握目标的学习者的个数和比例。在收集了题目数据之后,可以将它们组织成题目-目标表进行分析,还可以在此基础上构造更加复杂的数据表小组的题目-目标表现分析第一个需要构造的数据总结表是题目-目标表。表11.1为一个题目-目标表实例,这是一个有十道题的考试,评测了四个教学目标,对20个学习者进行小组形成性评价。表11.1题目-目标分析表目标题目题号「学生2 ⅹ XxIxIxIxIxⅹxx8「1004100 生4 生20 2|50 做对学生数# i8191517176|181810|9 做对学生百分率%90957585853090905045 目标掌握百分率%90 85 表中的统计数据是根据分析,剔除了第6题和第8题后所做的求和

3 分析小组评价和实地试验数据小组形成性评价提供给设计师的是与一对一评价有些不同的数据汇总环境，从 8-20 个学习者那里收集的数据要比单个人的数据更有意思，即这些数据可以反映出这个具有代表性的学习者小组所遇到的问题以及他们的回应。在此阶段可以获得的数据一般有：前测、后测中每道题目的得分、对态度问卷的回答、学习时间和考试时间，以及直接写在材料上的评论。所有评测的基本分析单元为考试题，对每道题的表现都要判断对与错，如果一道题由几部分组成，则每一部分都要判分，并分别报告，以免丢失信息。之所以需要每道题的信息，有三个原因： 1. 题目信息可以用来确定题目本身是否有问题，以及此题是否有效测量了对应目标中所描述的行为。在下一节我们将介绍有关的方法。 2. 单个题目数据还可以用来确定学习者在教学中遇到的困难。例如，对于某道题目来说，知道有一半的人做错了固然重要，但是更为重要的是发现大多数人都选了多项选择题中的同一个错误选项，或者在做求解题目时都犯了同一类型的推理错误。 3. 单个题目数据可以结合起来说明学习者在某个目标上的表现，以及最终在整个考试中的表现。有时候，判断一个目标通过与否是根据一组题目做对的百分率。根据与目标相关的每道题目的信息，不仅可以算出每个目标完成的正确率，还可以看出已掌握目标的学习者的个数和比例。在收集了题目数据之后，可以将它们组织成题目-目标表进行分析，还可以在此基础上构造更加复杂的数据表。小组的题目-目标表现分析第一个需要构造的数据总结表是题目-目标表。表 11.1 为一个题目-目标表实例，这是一个有十道题的考试，评测了四个教学目标，对 20 个学习者进行小组形成性评价。表 11.1 题目-目标分析表目标 1 2 3 4 题目目标题号 1 2 3 4 5 6 7 8 9 10 # % # % 学生 1 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 8 100 4 100 学生 2 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 8 100 4 100 学生 3 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 7 88 3 75 学生 4 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 4 50 0 0 学生 20 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 4 50 2 50 做对学生数# 18 19 15 17 17 6 18 18 10 9 做对学生百分率% 90 95 75 85 85 30 90 90 50 45 目标掌握百分率% 90 75 85 45 表中的统计数据是根据分析，剔除了第 6 题和第 8 题后所做的求和

注意:尽管这个分析组有20位学生,这里只给出了五位学生的数据表的第一行列出了所有目标,第二行在每个目标之下列出了该目标对应的测试题题号再下面的行记录了每个学习者的数据。每道题所在列上有一个x,就表示这道题这个学习者做对了,如果是空白,就表示这道题这个学习者做错了。按这种方式显示数据后,我们可以用这个表来做两类分析:题目质量和学习者表现。你应该先分析题目质量,因为在分析学习者表现的时候不考虑有问题的题目。最下面几行是做题目分析时所需要的累加数据。其中第一行说明每道题答对学生数,第二行是每道题答对学生百分率,这是将答对学生人数除以学生总数计算出来的,如对于第一道题,18/20=90 即90%。最后一行是这组学生掌握每个目标的百分率,这是将掌握每个目标的学生人数除以参加分析的学生总数得到的。在这个例子中,学习者必须答对了一个目标的所有题目,才算掌握了该目标。题目-目标分析可以达到三个目的:确定对于这组人来说,每道题的难度、每个目标的难度,以及与各目标相关的题目在判定学习者在该目标上表现的一致性如果题目难度值超过80%,就说明这道题对于这组人来说相对容易:相反,如果难度值较低,就说明该题目较难。类似地,一个目标所有题目难度一致地高或一致地低也反映了该目标对这组人的难易程度,例如,表11.1中第一题和第二题的难度值(90和95)意味着几乎所有的学习者都掌握了与目标1相关的题目。如果这些数据来自于后测,那么我们就可以说目标1的教学是有效的,相反,如果它们的值很低,就说明这方面的教学可能要做修改。在一个目标中题目难度的一致性反映了题目的质量。如果这些题目是测定同样技能的题目本身又没有过难或不小心给出了解题线索,那么学习者在这组题上的表现应该是相对致的。如果组比较小,差别在10%20%可以认为差别不大,但是如果出现40%或更多的差别就要引起重视了。表11.1中目标1和目标2中各题的数据很一致,但目标3和4的数据就存在不协调的地方,比如目标3,其中有两道题很一致(85和90),另一道题,即第6题, 难度很低(30)。出现这样的情况,一种原因可能是题目本身太复杂了,另一种可能是考了不同的技能。目标4中也有两道题数据一致(50和45),一道题有些出格(90),这也可能是第8题题目本身提供了解题思路,也可能是测试了别的技能。当发现一个目标中的题目数据存在不一致的差异时,就要重新审查这组题目,在用它们测定学习者行为之前必须进行修改。如果审査发现题目没有问题,则说明教学方面要做修改学习者的题目目标表现分析使用题目-目标表可以进行的第二类分析是分析每个学习者的表现。在做这类分析之前,你先要将题目分析中发现有问题的题目剔除。题目-目标表的最后四列是学习者个人表现数据,其中前两列是每个学习者正确答题数和答对百分率,后两列是每个学习者已掌握的目标数和已掌握目标的百分比。只有当答出了该目标的所有题目才算掌握了这个目标表11中所给的学习者数据显示这组学习者在测试中的表现差别很大。两个学习者掌握了所有四个目标,另外三个学习者的成绩从一个目标没掌握到掌握了75%。如果这些数据是对入门技能或教学中要教的技能的评测,那么这些数据可以告诉我们谁已经准备好了, 可以接受教学了,谁并不真的需要这个教学。如果这些数据是后测成绩,那么设计师就可以据此推断是否需要修改教学。学习者在每道题上的表现和在每个目标上的表现各提供了不同的信息,对于形成性评价人员来说,有关目标掌握情况的数据比原始成绩更有信息量。学习者考试表现比较分析题目-目标表所提供的数据还可以用来创建其它的表格,如比

4 注意：尽管这个分析组有 20 位学生，这里只给出了五位学生的数据表的第一行列出了所有目标，第二行在每个目标之下列出了该目标对应的测试题题号，再下面的行记录了每个学习者的数据。每道题所在列上有一个ⅹ，就表示这道题这个学习者做对了，如果是空白，就表示这道题这个学习者做错了。按这种方式显示数据后，我们可以用这个表来做两类分析：题目质量和学习者表现。你应该先分析题目质量，因为在分析学习者表现的时候不考虑有问题的题目。最下面几行是做题目分析时所需要的累加数据。其中第一行说明每道题答对学生数，第二行是每道题答对学生百分率，这是将答对学生人数除以学生总数计算出来的，如对于第一道题，18/20=.90，即 90%。最后一行是这组学生掌握每个目标的百分率，这是将掌握每个目标的学生人数除以参加分析的学生总数得到的。在这个例子中，学习者必须答对了一个目标的所有题目，才算掌握了该目标。题目-目标分析可以达到三个目的：确定对于这组人来说，每道题的难度、每个目标的难度，以及与各目标相关的题目在判定学习者在该目标上表现的一致性。如果题目难度值超过 80%，就说明这道题对于这组人来说相对容易；相反，如果难度值较低，就说明该题目较难。类似地，一个目标所有题目难度一致地高或一致地低也反映了该目标对这组人的难易程度，例如，表 11.1 中第一题和第二题的难度值（90 和 95）意味着几乎所有的学习者都掌握了与目标 1 相关的题目。如果这些数据来自于后测，那么我们就可以说目标 1 的教学是有效的，相反，如果它们的值很低，就说明这方面的教学可能要做修改。在一个目标中题目难度的一致性反映了题目的质量。如果这些题目是测定同样技能的，题目本身又没有过难或不小心给出了解题线索，那么学习者在这组题上的表现应该是相对一致的。如果组比较小，差别在 10%-20%可以认为差别不大，但是如果出现 40%或更多的差别就要引起重视了。表 11.1 中目标 1 和目标 2 中各题的数据很一致，但目标 3 和 4 的数据就存在不协调的地方，比如目标 3，其中有两道题很一致（85 和 90），另一道题，即第 6 题，难度很低（30）。出现这样的情况，一种原因可能是题目本身太复杂了，另一种可能是考了不同的技能。目标 4 中也有两道题数据一致（50 和 45），一道题有些出格（90），这也可能是第 8 题题目本身提供了解题思路，也可能是测试了别的技能。当发现一个目标中的题目数据存在不一致的差异时，就要重新审查这组题目，在用它们测定学习者行为之前必须进行修改。如果审查发现题目没有问题，则说明教学方面要做修改。学习者的题目-目标表现分析使用题目-目标表可以进行的第二类分析是分析每个学习者的表现。在做这类分析之前，你先要将题目分析中发现有问题的题目剔除。题目-目标表的最后四列是学习者个人表现数据，其中前两列是每个学习者正确答题数和答对百分率，后两列是每个学习者已掌握的目标数和已掌握目标的百分比。只有当答出了该目标的所有题目才算掌握了这个目标。表 11.1 中所给的学习者数据显示这组学习者在测试中的表现差别很大。两个学习者掌握了所有四个目标，另外三个学习者的成绩从一个目标没掌握到掌握了 75%。如果这些数据是对入门技能或教学中要教的技能的评测，那么这些数据可以告诉我们谁已经准备好了，可以接受教学了，谁并不真的需要这个教学。如果这些数据是后测成绩，那么设计师就可以据此推断是否需要修改教学。学习者在每道题上的表现和在每个目标上的表现各提供了不同的信息，对于形成性评价人员来说，有关目标掌握情况的数据比原始成绩更有信息量。学习者考试表现比较分析题目-目标表所提供的数据还可以用来创建其它的表格，如比

5 较学习者在不同考试中的表现。表 11.2 解释了如何通过不同考试成绩的比较来了解学习者- 目标掌握情况。这里只给出了参与分析的 20 名学生中 5 个同学的数据，在表的最下面是 20 个学生的数据总结。表的第一行是各个目标，第二行为考试名称，下面各行用来记录每个学生在每个考试中每个目标的掌握情况。表底最后两行是总结行，一行给出了 20 个学习者在每次考试中掌握每个目标的学习者比例，另一行给出了每个目标从前测到后测百分比的增量或减量。按理说，从前测到后测掌握每个目标的学习者百分比都应该上升，表 11.2 中的四个目标就是这样。表 11.2 在前测和后测中学习者在各目标上的表现目标 1 2 3 4 考试 PR PS PR PS PR PS PR PS 学习者 1 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 学习者 2 ⅹ ⅹ ⅹ ⅹ 学习者 3 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 学习者 4 ⅹ ⅹ ⅹ ⅹ // 学习者 20 ⅹ ⅹ ⅹ ⅹ ⅹ 掌握% 20 100 10 100 50 100 40 60 区别 80 90 50 20 注：PR = 前测，PS = 后测，ⅹ= 掌握表中只显示了 20 个学生中 5 位学生的数据，但是总结百分比是根据全组数据得出的。你可能还想根据学习者每次考试已掌握目标百分比来比较其在每次考试的表现，这样的数据汇总可参见表 11.3，其第一行是考试名称和每一次考试所测试的目标数，下面的行是每次考试每个学习者所掌握目标的百分比。最下面一行是每次考试这组学习者掌握目标百分比的平均值。从这些数据，设计师可以得出如下推论：1）所选择的这组人适合做评价研究， 2）教学所教的内容是该组人以前没有掌握的，3）教学对于提高学习者技能有效果。表 11.3 对入门技能、前测和后测数据的总结（按照所有目标的通过率）学习者编号 3 入门技能目标 9 前测教学目标 9 后测目标 1 100 11 89 2 100 22 89 3 100 22 89

《系统化教学设计》课程教学资源（教案讲义）第十一章 修改教学材料

《系统化教学设计》课程教学资源（教案讲义）第十一章修改教学材料