可以在工作场所运用他们学到的新技能,并且是不是已经在这么做了?其次,如果已经使用 了这些技能,对组织产生了什么影响?最后,学习者及其同事对改进教学有何建议?因为学 习者后测成绩好而被认为成功的教学,并不能保证学习者在工作上取得成功 标准和数据应用点的评判标准和数据因环境而异,评价方法也要根据具体地点而调整 为了收集培训有效果的证据,我们需要挑选最适合的过程,你可以考虑从直接观察和公司记 录中获得绩效数据,以及从学习者、他们的同事,甚至他们的客户那里得到观点和态度方面 的感性数据。表10.2汇集了一些基本问题、可能的数据来源以及数据采集的方法。在形成 你自己的问题的时候,要具体说明哪些技能是你的评价最感兴趣的。 表10.2应用环境形成性评价要问的问题、数据来源和数据采集方法 数据来源数据采集方法 1.技能是否得到了迁移? 学习者 访谈 2.如何使用技能的(频度、环境)? 同事/伙伴 问卷 3.有哪些物理环境、社会环境和管 学习者的下属 观察 理方面的因素促进了技能的迁移 上司 记录分析 和使用? 4.有哪些物理环境、社会环境和管 公司记录 理方面的因素阻碍了技能的迁移 和使用? 5.应用所学技能是否有助于解决最 初问题?怎样解决的?有何证 据? 6.培训还可以怎样改善提高? 你可能会认为应用环境的形成性评价只适用于培训班或者技能培训,其实并不是这样, 虽然在这些环境中确实很容易理解应用环境形成性评价的概念。进行这类评价的最大障碍是 时间。对于某些教学而言,学习者马上就会用到新学的技能,因为这些技能是技能层次流的 部分(比如运用造句技巧写短文),设计师可以在随后的几周内做跟踪研究。但是对于那 些几年都不会用到这些技能的公立学校的学习者,或者那些很少用到新学技能的培训经理来 说,该怎么做这类评价呢?对于某些教学而言,这种延迟是可以接受的,一方面可能是整个 项目周期很长,另一方面也与这类信息的重要性有关。 挑选回答者谁应该来参加这一阶段的形成性评价呢?如果这个评价是紧接着一对一评 价进行的话,当然所有参加一对一评价的学习者都应该参加本阶段的评价,但是如果是在小 组评价或者实地试验之后进行的,则就只需从参加这些评价的学习者中挑选一部分样本学习 者即可。学习者的挑选是根据他们的后测成绩和态度问卷。可以挑选一些水平高的、一些水 平低的,和一些具有设计师所感兴趣的特殊环境的学习者。同样的问题还要问学习者的管理 人员和上司。他们的回答可能与学习者一模一样,也可能截然不同。学习者的同事及下属也 可以为教学的效果提供有价值的见解。他们是否注意到学习者运用了这些技能?这些学习者 工作效果好吗?他们能否做得更好? 过程无论哪个阶段的形成性评价结束后,都要告知学习者以后某个时间会再和他们联 系,讨论他们刚完成的这个教学和该教学的有效性。然后,在给所学的技能充分地运用时间 后——这依教学目的特点而异—一再联系学习者。在理想状况下,设计师应该深入到技能运 用的实际工作环境,但是这种和学习者的接触也可以通过电话来进行。 成果在实施点形成性评价所获得的数据可以被用来证明教学的优缺点、说明技能到应
可以在工作场所运用他们学到的新技能，并且是不是已经在这么做了？其次，如果已经使用 了这些技能，对组织产生了什么影响？最后，学习者及其同事对改进教学有何建议？因为学 习者后测成绩好而被认为成功的教学，并不能保证学习者在工作上取得成功。 标准和数据 应用点的评判标准和数据因环境而异，评价方法也要根据具体地点而调整。 为了收集培训有效果的证据，我们需要挑选最适合的过程，你可以考虑从直接观察和公司记 录中获得绩效数据，以及从学习者、他们的同事，甚至他们的客户那里得到观点和态度方面 的感性数据。表 10.2 汇集了一些基本问题、可能的数据来源以及数据采集的方法。在形成 你自己的问题的时候，要具体说明哪些技能是你的评价最感兴趣的。 表 10.2 应用环境形成性评价要问的问题、数据来源和数据采集方法 问题 数据来源 数据采集方法 1. 技能是否得到了迁移？ 2. 如何使用技能的（频度、环境）？ 3. 有哪些物理环境、社会环境和管 理方面的因素促进了技能的迁移 和使用？ 4. 有哪些物理环境、社会环境和管 理方面的因素阻碍了技能的迁移 和使用？ 5. 应用所学技能是否有助于解决最 初问题？怎样解决的？有何证 据？ 6. 培训还可以怎样改善提高？ ⚫ 学习者 ⚫ 同事/伙伴 ⚫ 学习者的下属 ⚫ 上司 ⚫ 客户 ⚫ 公司记录 ⚫ 访谈 ⚫ 问卷 ⚫ 观察 ⚫ 记录分析 你可能会认为应用环境的形成性评价只适用于培训班或者技能培训，其实并不是这样， 虽然在这些环境中确实很容易理解应用环境形成性评价的概念。进行这类评价的最大障碍是 时间。对于某些教学而言，学习者马上就会用到新学的技能，因为这些技能是技能层次流的 一部分（比如运用造句技巧写短文），设计师可以在随后的几周内做跟踪研究。但是对于那 些几年都不会用到这些技能的公立学校的学习者，或者那些很少用到新学技能的培训经理来 说，该怎么做这类评价呢？对于某些教学而言，这种延迟是可以接受的，一方面可能是整个 项目周期很长，另一方面也与这类信息的重要性有关。 挑选回答者 谁应该来参加这一阶段的形成性评价呢？如果这个评价是紧接着一对一评 价进行的话，当然所有参加一对一评价的学习者都应该参加本阶段的评价，但是如果是在小 组评价或者实地试验之后进行的，则就只需从参加这些评价的学习者中挑选一部分样本学习 者即可。学习者的挑选是根据他们的后测成绩和态度问卷。可以挑选一些水平高的、一些水 平低的，和一些具有设计师所感兴趣的特殊环境的学习者。同样的问题还要问学习者的管理 人员和上司。他们的回答可能与学习者一模一样，也可能截然不同。学习者的同事及下属也 可以为教学的效果提供有价值的见解。他们是否注意到学习者运用了这些技能？这些学习者 工作效果好吗？他们能否做得更好？ 过程 无论哪个阶段的形成性评价结束后，都要告知学习者以后某个时间会再和他们联 系，讨论他们刚完成的这个教学和该教学的有效性。然后，在给所学的技能充分地运用时间 后——这依教学目的特点而异——再联系学习者。在理想状况下，设计师应该深入到技能运 用的实际工作环境，但是这种和学习者的接触也可以通过电话来进行。 成果 在实施点形成性评价所获得的数据可以被用来证明教学的优缺点、说明技能到应
用环境的迁移,技能的使用情况,以及最初的需求通过教学在多大程度上得到了减少或消除 这些数据需要进行汇总,并且与学习者、他们的上司和其他力求通过该教学来减少或消除最 初需求的人分享。另外,那些在工作场合发现的阻碍新技能的迁移和运用的问题也要被记录 下来,并通告该组织。因此,实施点的形成性评价的成果应该是这样的几类文档:(1)教学 的优缺点,(2)能够更好地支持新技能迁移和运用的地方,(3)对教学的修改建议,以消除 影响新技能在工作场合实施的教学障碍。在下一章中,我们将讨论如何使用这些文档通过消 除所发现的不足来完善教学 采集对教学的反馈数据 你可以使用哪个参考框架来设计形成性评价呢?一定要记住,形成性评价的目的是要查 明在教学材料中存在的错误,以便改正这些错误。评价的设计一一包括量表、过程和人员 取决于问题的位置及问题发生的原因。如果仅仅关注教学的目的和目标就太局限了,尽管 知道学习者在教学目的和目标上的成绩十分重要,但是光知道这些是不够的,因为这些数据 只能告诉我们错误发生在哪里,却不能告诉我们为什么会出现这样的问题。类似的,用那种 散弹打鸟的方法采集数据也是不合适的,尽管你可以就你想到的任何事情收集数据,这些数 据也能够提供各种信息,但是这种方法所产生的一些数据可能是无关的或不完整的 也许形成性评价设计的最好着眼点或设计框架就是教学策略,因为教学策略是创建教学 材料的基础,你在创建过程中可能会发生各种各样的错误,而教学策略就是找到这些错误并 了解他们特性的钥匙。将教学策略作为开发形成性评价量表和过程的参考框架,可以避免所 设计的形成性评价过宽或者过窄 如何利用教学策略来辅助设计形成性评价呢?一种方法是建立一个矩阵,把教学策略的 各个成分列在一边,把有关教学的主要问题域列在另一边。在矩阵交叉单元中,你可以产生 出与每个问题域和每个教学策略成分有关的、在评价中需要回答的问题,然后你就可以使用 这些问题,开发评价要用到的量表和评价过程,确定能提供信息的适当人选 现在,你应该非常熟悉教学策略的不同成分了。那么对于教学材料的每个部分都应该问 哪些普遍性的问题呢?尽管每个教学材料都会有一些特定的问题,但是下面这5个问题域应 该对所有教学材料都合适。这些问题域与你在开发教学材料时所做出的决定直接相关。 1、教学材料是否适合特定类型的学习?根据教学目标是智慧技能、运动技能、态 度还是言语信息,在教学材料开发时会有不同的做法。你应该关注你所产生的 教学材料是不是与所建议的能力类型一致。对教学材料这方面做评价的最佳人 选是这种学习类型的专家 教学材料是否完整包括了所需学习的各个技能,各个技能的学习顺序和分块安 排是否合乎逻辑?这个问题域的最佳评价者是内容领域的专家。 3、材料表述对于目标人群的代表来说是否淸晰、易理解?显然,只有目标人群的 成员可以回答这些问题。熟悉目标学习者的老师也可以为你提供初步的信息 但是只有学习者能够最终评判教学材料是否明了清晰。 教学材料是否能激发学习者的学习动机?学习者是否发现教学材料和他们的需 求和兴趣相关?他们在利用教材学习过程中是否具有自信?他们对已经学到的 东西是否满意?我们要再次强调:最适合在这个方面做出判断的人是那些目标 组的代表。 5、教学材料所采用的媒体形式是否能有效施行?目标学习者和教师都适合来回答
用环境的迁移，技能的使用情况，以及最初的需求通过教学在多大程度上得到了减少或消除。 这些数据需要进行汇总，并且与学习者、他们的上司和其他力求通过该教学来减少或消除最 初需求的人分享。另外，那些在工作场合发现的阻碍新技能的迁移和运用的问题也要被记录 下来，并通告该组织。因此，实施点的形成性评价的成果应该是这样的几类文档：（1）教学 的优缺点，（2）能够更好地支持新技能迁移和运用的地方，（3）对教学的修改建议，以消除 影响新技能在工作场合实施的教学障碍。在下一章中，我们将讨论如何使用这些文档通过消 除所发现的不足来完善教学。 采集对教学的反馈数据 你可以使用哪个参考框架来设计形成性评价呢？一定要记住，形成性评价的目的是要查 明在教学材料中存在的错误，以便改正这些错误。评价的设计——包括量表、过程和人员— —取决于问题的位置及问题发生的原因。如果仅仅关注教学的目的和目标就太局限了，尽管 知道学习者在教学目的和目标上的成绩十分重要，但是光知道这些是不够的，因为这些数据 只能告诉我们错误发生在哪里，却不能告诉我们为什么会出现这样的问题。类似的，用那种 散弹打鸟的方法采集数据也是不合适的，尽管你可以就你想到的任何事情收集数据，这些数 据也能够提供各种信息，但是这种方法所产生的一些数据可能是无关的或不完整的。 也许形成性评价设计的最好着眼点或设计框架就是教学策略，因为教学策略是创建教学 材料的基础，你在创建过程中可能会发生各种各样的错误，而教学策略就是找到这些错误并 了解他们特性的钥匙。将教学策略作为开发形成性评价量表和过程的参考框架，可以避免所 设计的形成性评价过宽或者过窄。 如何利用教学策略来辅助设计形成性评价呢？一种方法是建立一个矩阵，把教学策略的 各个成分列在一边，把有关教学的主要问题域列在另一边。在矩阵交叉单元中，你可以产生 出与每个问题域和每个教学策略成分有关的、在评价中需要回答的问题，然后你就可以使用 这些问题，开发评价要用到的量表和评价过程，确定能提供信息的适当人选。 现在，你应该非常熟悉教学策略的不同成分了。那么对于教学材料的每个部分都应该问 哪些普遍性的问题呢？尽管每个教学材料都会有一些特定的问题，但是下面这 5 个问题域应 该对所有教学材料都合适。这些问题域与你在开发教学材料时所做出的决定直接相关。 1、 教学材料是否适合特定类型的学习？根据教学目标是智慧技能、运动技能、态 度还是言语信息，在教学材料开发时会有不同的做法。你应该关注你所产生的 教学材料是不是与所建议的能力类型一致。对教学材料这方面做评价的最佳人 选是这种学习类型的专家。 2、 教学材料是否完整包括了所需学习的各个技能，各个技能的学习顺序和分块安 排是否合乎逻辑？这个问题域的最佳评价者是内容领域的专家。 3、 材料表述对于目标人群的代表来说是否清晰、易理解？显然，只有目标人群的 成员可以回答这些问题。熟悉目标学习者的老师也可以为你提供初步的信息， 但是只有学习者能够最终评判教学材料是否明了清晰。 4、 教学材料是否能激发学习者的学习动机？学习者是否发现教学材料和他们的需 求和兴趣相关？他们在利用教材学习过程中是否具有自信？他们对已经学到的 东西是否满意？我们要再次强调：最适合在这个方面做出判断的人是那些目标 组的代表。 5、 教学材料所采用的媒体形式是否能有效施行？目标学习者和教师都适合来回答