其他一些难以避免的错误,学习者经常还能够描述他们在学习顺序安排和理解所教概念上的 困难,他们还可以就测验是否测定了教学目标而对测验进行批评。你可以利用所有这些信息 来修改教学材料和测验,并改正材料中大大小小的错误 与教学设计的早期阶段形成对照的是,一对一的形成性评价阶段并不强调设计师的分析 技能,它的第一个重要特点是非常依赖设计师的交流能力,即能否在自己和学习者之间建立 友好信任的关系,并进行有效的交流。学习者也许从来都没有被要求去评论一个教学,一直 以来的假设就是如果学习没有发生,那一定是学习者的错误。学习者必须要确信他们是有权 利对呈现给他们的教学材料进行评价的,但是有时候当要求一个年轻人去批评权威作品的时 候还是会特别困难。设计师要创造一种氛围,此氛围能够接受和支持来自学习者的负面评论。 对一方法的第二个关键特点是它是一个女互的过程。如果设计师把教学材料往学习者 手里一放,说:“来,读这个,然后告诉我你是否有问题。”那么这个过程的作用就大大地减 弱了。设计师应该坐在学习者的斜对面,和学习者一起(默默地)读学习材料,然后在预先 设定好的时机,和学习者讨论材料中呈现的内容。对话讨论的可以是某道练习题的答案,也 可以是对内容呈现中某点的考虑。在每次进行一对一试验之前,设计师都应该制定一个策略, 决定交互该如何进行,学习者如何知道什么时候可以和评估人员讨论 很明显,每次一对一试验都只有一个学习者参加。不太可能和两个或两个以上的学习者 同时进行这个过程。当设计师进行评价的时候,一方面需要将学习者的建议和意见都记录下 来,另一方面也要把设计师所做出的有效解释也记录下来。这些内容都可以记录在教学材料 的同一个副本上,或者在评价过程中记录在录音带上,总之,采用学习者乐于接受的形式 评测和问卷当参加一对一试验的学习者完成了教学之后,他们还要以同样的方式评论 后测和态度问卷。在做完了评测中的每道题或每个步骤之后,都要问学习者为什么要做出这 种选择。这样不仅能够发现错误,还可以找出错误的原因。这些信息在教学材料的修改过程 中很有用。你还会发现一些你认为很清楚的测验题目,学习者却完全理解错误。如果这些错 误的题目在进行小组评价的时候仍然存在,那么就会出现一个大问题,即需要决定是这些题 目有问题,还是整个教学都存在问题。对评测量表的评价要和对教学本身的评价一样认真对 待 考试指示说明和评价行为、作品和态度的量表在实际用于评价被测者的工作之前,也要 进行形成性评价。就象做纸笔测验一样,你必须确保做题指示清楚,学习者按照指示去做, 就能够产生预期的行为或作品。 你还必须评估评价量表的可用性。评价量表中各要素的评判标准如下:(1)每个需要做 出判断的要素是否可观察,(2)表述方式是否清晰,(3)排列顺序是否有效。对于评价者的 响应记录表,你还要检查响应的种类和标准是不是合理,这主要根据你需要做出的判断的种 类和数量,你观察、判断和记录判断可用的时间来决定。如果你跟不上学习者的进度,那么 你的判断的准确性就会受到影响。 你的判断的可靠性也需要进行评价。这可以通过在一段时间间隔内两次或者多次评价同 一个行为或作品来完成。也可以让两个或者多个评价人员使用同样的量表对同一表现或作品 进行评价来检验可靠性。如果同一个评价人员对同一作品几次打分不一样或者不同评价人员 对同一产品打分不一致,量表就需要进行修改。对量表需要重新考虑的问题包括要评判的要 素个数、要评定的等级数目、以及每个等级评判标准描述的清晰度。要被观察的要素数量和 要进行判断的等级数量可以减少到能够获得一致性为止。这意味着量表的评价需要多次反 复,以确保量表的可用性和使用量表做出判断的一致性
其他一些难以避免的错误，学习者经常还能够描述他们在学习顺序安排和理解所教概念上的 困难，他们还可以就测验是否测定了教学目标而对测验进行批评。你可以利用所有这些信息 来修改教学材料和测验，并改正材料中大大小小的错误。 与教学设计的早期阶段形成对照的是，一对一的形成性评价阶段并不强调设计师的分析 技能，它的第一个重要特点是非常依赖设计师的交流能力，即能否在自己和学习者之间建立 友好信任的关系，并进行有效的交流。学习者也许从来都没有被要求去评论一个教学，一直 以来的假设就是如果学习没有发生，那一定是学习者的错误。学习者必须要确信他们是有权 利对呈现给他们的教学材料进行评价的，但是有时候当要求一个年轻人去批评权威作品的时 候还是会特别困难。设计师要创造一种氛围，此氛围能够接受和支持来自学习者的负面评论。 一对一方法的第二个关键特点是它是一个交互的过程。如果设计师把教学材料往学习者 手里一放，说：“来，读这个，然后告诉我你是否有问题。”那么这个过程的作用就大大地减 弱了。设计师应该坐在学习者的斜对面，和学习者一起（默默地）读学习材料，然后在预先 设定好的时机，和学习者讨论材料中呈现的内容。对话讨论的可以是某道练习题的答案，也 可以是对内容呈现中某点的考虑。在每次进行一对一试验之前，设计师都应该制定一个策略， 决定交互该如何进行，学习者如何知道什么时候可以和评估人员讨论。 很明显，每次一对一试验都只有一个学习者参加。不太可能和两个或两个以上的学习者 同时进行这个过程。当设计师进行评价的时候，一方面需要将学习者的建议和意见都记录下 来，另一方面也要把设计师所做出的有效解释也记录下来。这些内容都可以记录在教学材料 的同一个副本上，或者在评价过程中记录在录音带上，总之，采用学习者乐于接受的形式。 评测和问卷 当参加一对一试验的学习者完成了教学之后，他们还要以同样的方式评论 后测和态度问卷。在做完了评测中的每道题或每个步骤之后，都要问学习者为什么要做出这 种选择。这样不仅能够发现错误，还可以找出错误的原因。这些信息在教学材料的修改过程 中很有用。你还会发现一些你认为很清楚的测验题目，学习者却完全理解错误。如果这些错 误的题目在进行小组评价的时候仍然存在，那么就会出现一个大问题，即需要决定是这些题 目有问题，还是整个教学都存在问题。对评测量表的评价要和对教学本身的评价一样认真对 待。 考试指示说明和评价行为、作品和态度的量表在实际用于评价被测者的工作之前，也要 进行形成性评价。就象做纸笔测验一样，你必须确保做题指示清楚，学习者按照指示去做， 就能够产生预期的行为或作品。 你还必须评估评价量表的可用性。评价量表中各要素的评判标准如下：（1）每个需要做 出判断的要素是否可观察，（2）表述方式是否清晰，（3）排列顺序是否有效。对于评价者的 响应记录表，你还要检查响应的种类和标准是不是合理，这主要根据你需要做出的判断的种 类和数量，你观察、判断和记录判断可用的时间来决定。如果你跟不上学习者的进度，那么 你的判断的准确性就会受到影响。 你的判断的可靠性也需要进行评价。这可以通过在一段时间间隔内两次或者多次评价同 一个行为或作品来完成。也可以让两个或者多个评价人员使用同样的量表对同一表现或作品 进行评价来检验可靠性。如果同一个评价人员对同一作品几次打分不一样或者不同评价人员 对同一产品打分不一致，量表就需要进行修改。对量表需要重新考虑的问题包括要评判的要 素个数、要评定的等级数目、以及每个等级评判标准描述的清晰度。要被观察的要素数量和 要进行判断的等级数量可以减少到能够获得一致性为止。这意味着量表的评价需要多次反 复，以确保量表的可用性和使用量表做出判断的一致性
最后,你还要评价你的评分策略。使用你在量表的形成性评价过程中采集的数据,汇总 各要素等级预定的分数,然后在目标层次和总的绩效水平考察这些汇总后的数据。这些数据 合乎逻辑吗?可以解释吗?它们可以用来评价教学或者行为的某个部分吗?如果对上述问 题的回答是否定的,那么就要修改计分策略和/或打分过程,直到获得了可用的数据。 学习时间设计人员在一对一评价过程中的兴趣之一是确定学习者完成教学所需要的时 间。因为一对一评价期间有学习者和设计师的交互,所以只能得到对时间的粗略估计。你可 以从总的时间中减去一个百分量,但是经验表明这样的估计十分不准确。 最后一个关于一对一评价过程的建议就是要提供良好的环境。学习者很少会处在这样 个脆弱的位置,还被要求暴露他们的无知。有时候即使是成人也不得不承认他不知道某个很 常见词汇的意思, 他们总是说要查字典,但是却忘记了。在一对一阶段,设计师处于 控制地位,因此有责任为学习者提供舒适的工作环境。学习者可能会因为暴露了他们现在的 知识水平而感到不好意思,我们要尽一切可能使得教学更加客观,给学习者更多的支持。因 为没有学习者,就没有形成性评价。 数据解释有关教学清晰度、对学习者的影响力和教学可行性方面的信息需要进行汇总 和聚焦。教学的薄弱环节需要重新考虑,并制定修改计划,以便提高该教学对同类学习者的 教学水平。在一对一测验阶段进行数据解释的时候,非常重要的一点是:不要过分推广从单 个学习者那里收集到的数据。尽管我们能够确保他她是目标学习者的典型代表,但是无法 保证第二个目标学习者会做出类似的反应。目标成员不同的能力水平、期待水平和个性导致 了我们从每个人身上得来的数据都可能是不一样的。从一对一阶段获得的信息只能看作是 “第一印象”,也许可以推广,也许不可以推广。在这个阶段,教学中的严重错误都会暴露 出来,可以马上进行修改,但是教学中还会存在一些问题不会立即修改,而要等到对其他学 习者重新试验后,或者在小组评价后才做出改动 成果一对一试验的结果使得教学得到了如下的改进:(1)使用的词汇、语言的复杂度、 例子和图解都更符合预期的学习者:(2)或者使学习者具备了正确的态度和预期的成就,或 者为了在后续试验中提高学习者态度和绩效而修改了教学;(3)适合目前的学习者、资源和 环境,具有可行性。教学可以通过小组试验得到更进一步地完善。 在下一章中,我们将要讨论如何汇总在一对一评价阶段得到的信息,以及如何确定需要 做哪些修改。在这一章中,我们将继续讨论形成性评价的下一个阶段,这个阶段是在根据 对一评价的结果完成了对教学的修改之后进行的 小组评价 小组评价( small-group evaluation)有两个主要目的,一个是确定在一对一评价后所作 的改动是否有效,学习者还有哪些学习问题;另一个是确定学习者是否可以不与教师交流独 立地使用教学材料。(在此的讨论,仍旧假设设计师在设计某种形式的自学材料。) 标准和数据评价教学有效性经常使用学习者在前测和后测的成绩。前测一般包括入门 技能和教学目标,后测测定学习者在从属目标和学期目标上的表现。除了学习者的成绩水平 之外,还要通过态度问卷和后续访谈了解他们对于教学的态度。所收集的有关教学可行性方 面的信息一般包括以下几个方面:(1)学习者完成教学和所要求的绩效评测所需要的时间 (2)以预定的形式在设定的环境下传递教学的费用和可行性:(3)实施或管理教学者的态
最后，你还要评价你的评分策略。使用你在量表的形成性评价过程中采集的数据，汇总 各要素等级预定的分数，然后在目标层次和总的绩效水平考察这些汇总后的数据。这些数据 合乎逻辑吗？可以解释吗？它们可以用来评价教学或者行为的某个部分吗？如果对上述问 题的回答是否定的，那么就要修改计分策略和/或打分过程，直到获得了可用的数据。 学习时间 设计人员在一对一评价过程中的兴趣之一是确定学习者完成教学所需要的时 间。因为一对一评价期间有学习者和设计师的交互，所以只能得到对时间的粗略估计。你可 以从总的时间中减去一个百分量，但是经验表明这样的估计十分不准确。 最后一个关于一对一评价过程的建议就是要提供良好的环境。学习者很少会处在这样一 个脆弱的位置，还被要求暴露他们的无知。有时候即使是成人也不得不承认他不知道某个很 常见词汇的意思，-------他们总是说要查字典，但是却忘记了。在一对一阶段，设计师处于 控制地位，因此有责任为学习者提供舒适的工作环境。学习者可能会因为暴露了他们现在的 知识水平而感到不好意思，我们要尽一切可能使得教学更加客观，给学习者更多的支持。因 为没有学习者，就没有形成性评价。 数据解释 有关教学清晰度、对学习者的影响力和教学可行性方面的信息需要进行汇总 和聚焦。教学的薄弱环节需要重新考虑，并制定修改计划，以便提高该教学对同类学习者的 教学水平。在一对一测验阶段进行数据解释的时候，非常重要的一点是：不要过分推广从单 个学习者那里收集到的数据。尽管我们能够确保他/她是目标学习者的典型代表，但是无法 保证第二个目标学习者会做出类似的反应。目标成员不同的能力水平、期待水平和个性导致 了我们从每个人身上得来的数据都可能是不一样的。从一对一阶段获得的信息只能看作是 “第一印象”，也许可以推广，也许不可以推广。在这个阶段，教学中的严重错误都会暴露 出来，可以马上进行修改，但是教学中还会存在一些问题不会立即修改，而要等到对其他学 习者重新试验后，或者在小组评价后才做出改动。 成果 一对一试验的结果使得教学得到了如下的改进：（1）使用的词汇、语言的复杂度、 例子和图解都更符合预期的学习者；（2）或者使学习者具备了正确的态度和预期的成就，或 者为了在后续试验中提高学习者态度和绩效而修改了教学；（3）适合目前的学习者、资源和 环境，具有可行性。教学可以通过小组试验得到更进一步地完善。 在下一章中，我们将要讨论如何汇总在一对一评价阶段得到的信息，以及如何确定需要 做哪些修改。在这一章中，我们将继续讨论形成性评价的下一个阶段，这个阶段是在根据一 对一评价的结果完成了对教学的修改之后进行的。 小组评价 小组评价（small-group evaluation）有两个主要目的，一个是确定在一对一评价后所作 的改动是否有效，学习者还有哪些学习问题；另一个是确定学习者是否可以不与教师交流独 立地使用教学材料。（在此的讨论，仍旧假设设计师在设计某种形式的自学材料。） 标准和数据 评价教学有效性经常使用学习者在前测和后测的成绩。前测一般包括入门 技能和教学目标，后测测定学习者在从属目标和学期目标上的表现。除了学习者的成绩水平 之外，还要通过态度问卷和后续访谈了解他们对于教学的态度。所收集的有关教学可行性方 面的信息一般包括以下几个方面：（1）学习者完成教学和所要求的绩效评测所需要的时间； （2）以预定的形式在设定的环境下传递教学的费用和可行性；（3）实施或管理教学者的态 度
挑选学习者对于小组评价,你大约要挑选8到20个学习者组成评价小组。如果学习者 人数少于8,所得到的数据可能不具备代表性:但是另一方面,如果从多于20个学习者处 获得数据,你又会发现你所获得的信息超过了你的需要,而且增加的学习者并不能带给你额 外的什么有价值的信息 仔细挑选参加小组评价的学习者非常重要,这些评价材料的学习者应该尽可能地代表你 的目标人群。在理想的硏究环境下,你应该随机挑选学习者,这样才能把你的发现推广到整 个目标人群。但是在典型的学校、业界和成人教育环境下,纯粹的随机经常是不可能的,甚 至也可能是不希望的 当你无法随机挑选学习者、或者你的挑选余地很小的时候,你要尽可能地确保从目标人 群的每种类型中至少选取一个做代表,下面给出了目标人群类别的几种划分方法 学业水平分别为高、中、低的学习者 不同母语的学习者 熟悉某种学习方式(如网络教学)的学习者,和不熟悉这种学习方式的学习者 年轻、没有什么经验的学习者,相对更成熟的学习者 如果你的目标组同质性高,分出这些子类别并不成问题,但是如果目标人群具有不同的 技能水平和背景,设计师就应该考虑在小组评价样本中包括每组的代表。例如,你不可能基 于对高学业水平学习者在教学材料上的表现,来推断低学业水平的学习者会怎么样。通过挑 选合适的有代表性的样本,你就能对教学中要做的修改加深认识。 参加小组评价的学习者有时候也可能是有偏差的样本,因为他们可能是一些比一般人更 愿意参与教学的学习者。设计师必须要清楚这个问题,并且要尽可能地获得最具代表性的小 组样本,要考虑到在挑选小组评价参与者时所可能碰到的所有限制因素。 另外还有一点很重要:这个阶段虽然被称为“小组评价”,但是这个“小组”指的是学 习者的数量,而不是学习者实际使用材料的环境。比如,如果你的教学材料需要使用某个专 门设备,而你只得到一台这样的设备,那么你就必须要让这8到20个学习者在单独的环境 下使用你的材料进行学习。进行小组评价并不需要将所有的学习者同时集中到一间房间里 过程小组评价的基本过程和一对一评价中所采用的截然不同。评价人员(或者教师) 先要向学习者解释,学习材料正处在开发的成形阶段,需要得到如何改进的意见。说完这些 后,教师就要按照教学材料所设计的实际使用方式组织学习者使用。如果有前测,就先进行 前测。在整个过程中,教师要尽可能少地干预。只有在设备出现问题,或者某位学习者学习 过程陷入困境,难以继续下去的时候,教师才可以出面解决。每个学习者遇到的困难和解决 办法也应该记录下来,作为改进数据的一部分 评测和问卷小组评价的其他步骤还包括进行态度问卷调查,如果可能,与小组中的某 些学习者进行深入的讨论,听取他们的意见。获得学习者对教学反馈的主要目的是为了从他 们的感受中发现教学策略实施过程的优劣所在,所以所提出的问题应该体现教学策略的各个 成分。以下问题通常情况下都可以使用 教学有趣吗? 你知道你应该学什么吗? 教学材料直接和教学目标相关吗? 有足够的练习吗? 这些练习和教学目标相关吗?
挑选学习者 对于小组评价，你大约要挑选 8 到 20 个学习者组成评价小组。如果学习者 人数少于 8，所得到的数据可能不具备代表性；但是另一方面，如果从多于 20 个学习者处 获得数据，你又会发现你所获得的信息超过了你的需要，而且增加的学习者并不能带给你额 外的什么有价值的信息。 仔细挑选参加小组评价的学习者非常重要，这些评价材料的学习者应该尽可能地代表你 的目标人群。在理想的研究环境下，你应该随机挑选学习者，这样才能把你的发现推广到整 个目标人群。但是在典型的学校、业界和成人教育环境下，纯粹的随机经常是不可能的，甚 至也可能是不希望的。 当你无法随机挑选学习者、或者你的挑选余地很小的时候，你要尽可能地确保从目标人 群的每种类型中至少选取一个做代表，下面给出了目标人群类别的几种划分方法： ⚫ 学业水平分别为高、中、低的学习者 ⚫ 不同母语的学习者 ⚫ 熟悉某种学习方式（如网络教学）的学习者，和不熟悉这种学习方式的学习者 ⚫ 年轻、没有什么经验的学习者，相对更成熟的学习者 如果你的目标组同质性高，分出这些子类别并不成问题，但是如果目标人群具有不同的 技能水平和背景，设计师就应该考虑在小组评价样本中包括每组的代表。例如，你不可能基 于对高学业水平学习者在教学材料上的表现，来推断低学业水平的学习者会怎么样。通过挑 选合适的有代表性的样本，你就能对教学中要做的修改加深认识。 参加小组评价的学习者有时候也可能是有偏差的样本，因为他们可能是一些比一般人更 愿意参与教学的学习者。设计师必须要清楚这个问题，并且要尽可能地获得最具代表性的小 组样本，要考虑到在挑选小组评价参与者时所可能碰到的所有限制因素。 另外还有一点很重要：这个阶段虽然被称为“小组评价”，但是这个“小组”指的是学 习者的数量，而不是学习者实际使用材料的环境。比如，如果你的教学材料需要使用某个专 门设备，而你只得到一台这样的设备，那么你就必须要让这 8 到 20 个学习者在单独的环境 下使用你的材料进行学习。进行小组评价并不需要将所有的学习者同时集中到一间房间里。 过程 小组评价的基本过程和一对一评价中所采用的截然不同。评价人员（或者教师） 先要向学习者解释，学习材料正处在开发的成形阶段，需要得到如何改进的意见。说完这些 后，教师就要按照教学材料所设计的实际使用方式组织学习者使用。如果有前测，就先进行 前测。在整个过程中，教师要尽可能少地干预。只有在设备出现问题，或者某位学习者学习 过程陷入困境，难以继续下去的时候，教师才可以出面解决。每个学习者遇到的困难和解决 办法也应该记录下来，作为改进数据的一部分。 评测和问卷 小组评价的其他步骤还包括进行态度问卷调查，如果可能，与小组中的某 些学习者进行深入的讨论，听取他们的意见。获得学习者对教学反馈的主要目的是为了从他 们的感受中发现教学策略实施过程的优劣所在，所以所提出的问题应该体现教学策略的各个 成分。以下问题通常情况下都可以使用： ⚫ 教学有趣吗？ ⚫ 你知道你应该学什么吗？ ⚫ 教学材料直接和教学目标相关吗？ ⚫ 有足够的练习吗？ ⚫ 这些练习和教学目标相关吗？
测验能真正地考察你对教学目标的知识吗? 在练习过程中,你得到了足够的反馈吗? 当考试答题时,你感到自信吗? 这些问题都可以用在态度问卷中,然后在和学习者进行讨论时再进一步深入。通过使用 这些从教学策略的成分中导出的问题,诸如上面列举的这些,就有可能把学习者的反馈直接 对应到教学材料或教学过程的某个部分。在完成了材料的评价后,在和学习者的讨论中,教 师还可以就教学进度、学习兴趣和材料难度等方面提问。 数据汇总和分析在上述过程中所得到的数据信息和描述性信息都需要加以汇总和分 析。数据信息包括测验成绩、所需要的时间和项目费用。描述性信息包括从态度问卷、访谈 中收集的评论,以及在试验过程中评价人员所做的笔记 成果小组试验和教学修改的目的是产生高质量的教学,这样的教学应该在预设的学习 环境中对大多数目标学习者都有效。对教学所做的修改可能很简单,比如换个例子,或者给 测验题目换个词,增加分配给学习的时间等,但也能需要对教学策略做较大的改动(如动机 激发策略、目标安排顺序、教学传递方式等),或者改变呈现给学习者的信息。一旦教学经 过了充分地修改,实地试验就可以开始了 在下一章中,我们将举例说明如何汇总数据,如何确定它们对修改过程的影响。在这 章,我们集中注意力于形成性评价研究和数据的采集 实地试验 在形成性评价的最后这个阶段,教师要在一个与教学材料最终使用环境尽可能相像的学 习环境中进行评价。这个形成性评价最后阶段的目的之一是确定在小组评价之后所做出的改 动是不是有效。另外一个目的就是要看看教学在它预设的使用环境下是否能够使用一一也就 是说,在预设环境中从管理方面考虑实施该教学的可能性 为了回答这些问题,所有的教学材料,包括考试卷和教师手册,都应该加以改进并做好 实地试验的准备。如果可以找到教师实施教学,那么设计师就不要再担任这一角色了 评价地点在挑选实地试验的地点时,你可能会遇到以下两种情况之一。第一种情况是, 你要在一个平常使用大班教学、固定步骤的班级里试验你的教学材料,对于这些学习者来说, 使用自学材料可能是很新奇的、不同以往的经历。因此,为了给新教学过程的实施打好基础, 你需要向学生们解释怎么使用这些教学材料,这些材料和他们平时使用的有什么不同。你十 有八九会看到学习者兴趣高涨,但是如果他们的成绩没有提高,那么他们的兴趣高涨只是因 为这种教学打破了他们原有的教室教学方式而已。第二种情况是,你可以在一个个性化教学 的班级里试用教学材料,问题是可能很难找到足够多合适的学习者来使用你的教学材料,因 为这些学习者们在学习材料的时候过于分化 评判标准和数据实地试验与戏院的最后彩排很类似,因为教学都已经尽可能地修改完 善好了,准备尽可能地按照最后的方式传递。另外,与彩排类似的一点是,实地试验的主要 目的是要找出并消除教学中尚存的问题。小组试验和实地试验有许多相似之处,两类试验的 过程中都要决定学习者的表现是否适当,教学的传递方式是否可行:另一个相似之处是,二 者都是采集学习者的成绩和态度信息、教师的教学过程和态度,以及诸如时间、费用、空间 和设备等资源信息。二者的最主要差别在于教学材料、学习者、过程、教师和环境的真实程 度不同
⚫ 测验能真正地考察你对教学目标的知识吗？ ⚫ 在练习过程中，你得到了足够的反馈吗？ ⚫ 当考试答题时，你感到自信吗？ 这些问题都可以用在态度问卷中，然后在和学习者进行讨论时再进一步深入。通过使用 这些从教学策略的成分中导出的问题，诸如上面列举的这些，就有可能把学习者的反馈直接 对应到教学材料或教学过程的某个部分。在完成了材料的评价后，在和学习者的讨论中，教 师还可以就教学进度、学习兴趣和材料难度等方面提问。 数据汇总和分析 在上述过程中所得到的数据信息和描述性信息都需要加以汇总和分 析。数据信息包括测验成绩、所需要的时间和项目费用。描述性信息包括从态度问卷、访谈 中收集的评论，以及在试验过程中评价人员所做的笔记。 成果 小组试验和教学修改的目的是产生高质量的教学，这样的教学应该在预设的学习 环境中对大多数目标学习者都有效。对教学所做的修改可能很简单，比如换个例子，或者给 测验题目换个词，增加分配给学习的时间等，但也能需要对教学策略做较大的改动（如动机 激发策略、目标安排顺序、教学传递方式等），或者改变呈现给学习者的信息。一旦教学经 过了充分地修改，实地试验就可以开始了。 在下一章中，我们将举例说明如何汇总数据，如何确定它们对修改过程的影响。在这一 章，我们集中注意力于形成性评价研究和数据的采集。 实地试验 在形成性评价的最后这个阶段，教师要在一个与教学材料最终使用环境尽可能相像的学 习环境中进行评价。这个形成性评价最后阶段的目的之一是确定在小组评价之后所做出的改 动是不是有效。另外一个目的就是要看看教学在它预设的使用环境下是否能够使用——也就 是说，在预设环境中从管理方面考虑实施该教学的可能性。 为了回答这些问题，所有的教学材料，包括考试卷和教师手册，都应该加以改进并做好 实地试验的准备。如果可以找到教师实施教学，那么设计师就不要再担任这一角色了。 评价地点 在挑选实地试验的地点时，你可能会遇到以下两种情况之一。第一种情况是， 你要在一个平常使用大班教学、固定步骤的班级里试验你的教学材料，对于这些学习者来说， 使用自学材料可能是很新奇的、不同以往的经历。因此，为了给新教学过程的实施打好基础， 你需要向学生们解释怎么使用这些教学材料，这些材料和他们平时使用的有什么不同。你十 有八九会看到学习者兴趣高涨，但是如果他们的成绩没有提高，那么他们的兴趣高涨只是因 为这种教学打破了他们原有的教室教学方式而已。第二种情况是，你可以在一个个性化教学 的班级里试用教学材料，问题是可能很难找到足够多合适的学习者来使用你的教学材料，因 为这些学习者们在学习材料的时候过于分化。 评判标准和数据 实地试验与戏院的最后彩排很类似，因为教学都已经尽可能地修改完 善好了，准备尽可能地按照最后的方式传递。另外，与彩排类似的一点是，实地试验的主要 目的是要找出并消除教学中尚存的问题。小组试验和实地试验有许多相似之处，两类试验的 过程中都要决定学习者的表现是否适当，教学的传递方式是否可行；另一个相似之处是，二 者都是采集学习者的成绩和态度信息、教师的教学过程和态度，以及诸如时间、费用、空间 和设备等资源信息。二者的最主要差别在于教学材料、学习者、过程、教师和环境的真实程 度不同
挑选学习者你需要找大约30个学习者来参加你的实地试验。同样,要确保这些学习者 为教学材料所针对的目标人群的代表。因为很难找到“典型”的一组人,所以设计师经常挑 选几个不同的小组来参加实地试验。这样的好处是有可能收集所有目标环境下的数据,这些 环境如开放教室、传统教学,以及远程学习中心。 如果教学材料的目标教学地点差别很大,那么就有必要多选几个试验地点。因为在教学 材料使用的时候,设计师可能不在场,所以设计师应该告诉老师应遵循的教学过程和需要采 集的数据 实施实地试验的过程进行实地试验的过程和进行小组试验的过程类似,只有少许不同 主要的变化是设计师的角色,在实地试验里,设计师除了观察整个教学过程以外,不再做其 他事情,教学由一个典型的教师实施和传递。因此,设计师可能需要设计和传递对教师的培 训,这样教师才能知道该怎么使用这个教学材料 另外一个变化就是考试题减少了。基于小组评价的经验,对前测后测进行了修改,可能 减少到仅仅测试最重要的入门技能和最重要的要教的技能。原因是,在开发过程的这个阶段, 形成性评价主要关心的是教学在预期的学习环境下的可行性 问卷也要进行修改,更关注设计师认为对教学的成功很关键的环境因素。总之,问卷的 问题集中在可能影响教学成功的各种因素。对教学使用过程的观察,与学习者和教师访谈, 都是非常有价值的。 数据汇总和解释实地试验的数据汇总和分析过程和小组评价是一样的。成绩数据应该 按照教学目标来组织,同样,只要有可能,学习者和教师的态度信息也应该按照教学目标来 组织。按照这种方式进行汇总的数据可以帮助确定哪部分教学有效、哪部分教学无效。从实 地试验得来的信息可用于规划和进行对教学的最后修改。 成果实地试验和对教学进行最终修改的目的是为了得到有效的教学,这样的教学能够 使学习者产生要求其达到的学习成绩和态度,并且这个教学要能够在预想的教学环境中正常 工作。根据实地试验所收集的数据,我们要对教学进行适当地修改。当修改完成后,就可以 开始在技能应用环境下的形成性评价了。 应用环境下的形成性评价 我们已经讨论了形成性评价的三个阶段,这三个阶段都要采集学习者成绩和对教学态度 方面的信息和数据,每个阶段的教学环境也不相同,从一对一评价时的非正式环境,到实地 试验中真实的学习环境。但是还遗留了一个问题,就是学习者能否在我们称为“应用环境 即最终需要运用该技能的环境一一的地方运用他学到的新技能。 没有哪个新学的技能只是为了在学习的过程中使用,学习技能的目的就是要在其他的时 间、其他的场合运用这些技能。设计师不能忽视这一点,而应该在合适而可行的时候,在形 成性评价的计划中包括这方面的评价。设计师需要确定所教过的技能是否能够保持,是否会 在应用环境中使用,这些技能的使用是否对组织产生了预期的影响。如果我们得到的是回答 是否定的话,那么设计师就必须确定这对培训的修改意味着什么。我们接下来要描述的就是 如何在应用环境中进行形成性评价,它可以在学习环境形成性评价的任何一个阶段之后进 行 这种在实际环境下进行的形成性评价基本上要确定三件事情。首先,学习者是否意识到
挑选学习者 你需要找大约 30 个学习者来参加你的实地试验。同样，要确保这些学习者 为教学材料所针对的目标人群的代表。因为很难找到“典型”的一组人，所以设计师经常挑 选几个不同的小组来参加实地试验。这样的好处是有可能收集所有目标环境下的数据，这些 环境如开放教室、传统教学，以及远程学习中心。 如果教学材料的目标教学地点差别很大，那么就有必要多选几个试验地点。因为在教学 材料使用的时候，设计师可能不在场，所以设计师应该告诉老师应遵循的教学过程和需要采 集的数据。 实施实地试验的过程 进行实地试验的过程和进行小组试验的过程类似，只有少许不同。 主要的变化是设计师的角色，在实地试验里，设计师除了观察整个教学过程以外，不再做其 他事情，教学由一个典型的教师实施和传递。因此，设计师可能需要设计和传递对教师的培 训，这样教师才能知道该怎么使用这个教学材料。 另外一个变化就是考试题减少了。基于小组评价的经验，对前测后测进行了修改，可能 减少到仅仅测试最重要的入门技能和最重要的要教的技能。原因是，在开发过程的这个阶段， 形成性评价主要关心的是教学在预期的学习环境下的可行性。 问卷也要进行修改，更关注设计师认为对教学的成功很关键的环境因素。总之，问卷的 问题集中在可能影响教学成功的各种因素。对教学使用过程的观察，与学习者和教师访谈， 都是非常有价值的。 数据汇总和解释 实地试验的数据汇总和分析过程和小组评价是一样的。成绩数据应该 按照教学目标来组织，同样，只要有可能，学习者和教师的态度信息也应该按照教学目标来 组织。按照这种方式进行汇总的数据可以帮助确定哪部分教学有效、哪部分教学无效。从实 地试验得来的信息可用于规划和进行对教学的最后修改。 成果 实地试验和对教学进行最终修改的目的是为了得到有效的教学，这样的教学能够 使学习者产生要求其达到的学习成绩和态度，并且这个教学要能够在预想的教学环境中正常 工作。根据实地试验所收集的数据，我们要对教学进行适当地修改。当修改完成后，就可以 开始在技能应用环境下的形成性评价了。 应用环境下的形成性评价 我们已经讨论了形成性评价的三个阶段，这三个阶段都要采集学习者成绩和对教学态度 方面的信息和数据，每个阶段的教学环境也不相同，从一对一评价时的非正式环境，到实地 试验中真实的学习环境。但是还遗留了一个问题，就是学习者能否在我们称为“应用环境” ——即最终需要运用该技能的环境——的地方运用他学到的新技能。 没有哪个新学的技能只是为了在学习的过程中使用，学习技能的目的就是要在其他的时 间、其他的场合运用这些技能。设计师不能忽视这一点，而应该在合适而可行的时候，在形 成性评价的计划中包括这方面的评价。设计师需要确定所教过的技能是否能够保持，是否会 在应用环境中使用，这些技能的使用是否对组织产生了预期的影响。如果我们得到的是回答 是否定的话，那么设计师就必须确定这对培训的修改意味着什么。我们接下来要描述的就是 如何在应用环境中进行形成性评价，它可以在学习环境形成性评价的任何一个阶段之后进 行。 这种在实际环境下进行的形成性评价基本上要确定三件事情。首先，学习者是否意识到