第二节教学评估的方法 依据测验目的和测量结果,科学地对教学进行评估,还必须掌握教学 评估的方法。 、绝对评估 绝对评估是以特别设定的目标为标准,只以评估对象达到设定目标的 程度为依据,比较评估对象与设定目标相符程度的评估方法。绝对评估也 称标准参照评估。 1.绝对评估的标准体系 绝对评估的标准体系包括合格标准和等级标准,这些标准由绝对评估 目标所包含内容的多少而确定。以教学绝对评估为例,由单元测验目标、 期中测验目标、期末测验目标和毕业会考目标等不同层次的目标确定的标 准体系就不同。 (1)等级不连续标准体系 绝对评估一般采用二级(通过与不通过)标准体系。但这种标准体系太 笼统,因而通常也采用三级标准体系或五级标准体系 以被试在测验中的答对率为依据,可以建立三级标准体系: 答对率在85%以上一一掌握得好与较好(第一级) 答对率在70%~84%——掌握得一般(第二级); 答对率在69%以下一一掌握得较差(第三级) 三级标准体系中,可任选一级作为合格标准。如果选第二级为合格标 准,则第一级也合格,而第三级不合格。 以答对率为依据,还可以建立五级标准体系: 答对率在95%~100%—一掌握得很好(第一级); 答对率在85%~94%—一掌握得好(第二级) 答对率在75%~84%——掌握得较好(第三级 答对率在65%~74%——掌握得一般(第四级); 答对率低于65%—一掌握得较差(第五级)
第二节 教学评估的方法 依据测验目的和测量结果，科学地对教学进行评估，还必须掌握教学 评估的方法。 一、绝对评估 绝对评估是以特别设定的目标为标准，只以评估对象达到设定目标的 程度为依据，比较评估对象与设定目标相符程度的评估方法。绝对评估也 称标准参照评估。 1．绝对评估的标准体系 绝对评估的标准体系包括合格标准和等级标准，这些标准由绝对评估 目标所包含内容的多少而确定。以教学绝对评估为例，由单元测验目标、 期中测验目标、期末测验目标和毕业会考目标等不同层次的目标确定的标 准体系就不同。 (1)等级不连续标准体系 绝对评估一般采用二级(通过与不通过)标准体系。但这种标准体系太 笼统，因而通常也采用三级标准体系或五级标准体系。 以被试在测验中的答对率为依据，可以建立三级标准体系： 答对率在 85%以上——掌握得好与较好(第一级)； 答对率在 70%～84%——掌握得一般(第二级)； 答对率在 69%以下——掌握得较差(第三级)。 三级标准体系中，可任选一级作为合格标准。如果选第二级为合格标 准，则第一级也合格，而第三级不合格。 以答对率为依据，还可以建立五级标准体系： 答对率在 95%～100%——掌握得很好(第一级)； 答对率在 85%～94%——掌握得好(第二级)； 答对率在 75%～84%——掌握得较好(第三级)； 答对率在 65%～74%——掌握得一般(第四级)； 答对率低于 65%——掌握得较差(第五级)
五级标准体系较三级标准体系细一点,能对评估对象进行细致的区 分。和三级标准体系一样,我们也可根据测量目标来选定合格标准级。如 果选定第三级为合格标准级,则第一级、第二级也合格,而第四级、第五 级不合格。 制定等级指标体系的好处在于,把“好”、“很好”、“较好”、“一 般”、“差”等数量化,易于分类和统计操作。它的不足之处是等级化后, 不易发现各级内的学生差异。 (2)等级连续标准体系 为了避免等级不连续标准体系的不足,可以用学生的答对率构成绝对 评估指标体系。显然,闭区间[0,1]中的每一点都是一个评估等级,因 而这个标准体系被称为等级连续标准体系。这个标准体系也可以直接采用 实得分构造,这只要把闭区间[0,1]换成闭区间[0,满分数]就可以 了。在等级连续标准体系中,任选一个值都可固定为合格标准级。例如, 选0.6为合格标准级,则不小于0.6的级构成的区间[0.6,1]均为合格 级,而小于0.6的级构成的区间[0,0.6)均为不合格级,这与二级标准 体系类似。等级连续标准体系虽然避免了等级不连续标准体系的缺点,但 也失去了易于分类和统计操作等优点。 在实际操作过程中,可以结合绝对评估的具体目标选择标准体系和确 定合格标准。 2.绝对评估的数量方法 绝对评估可以划分为群体绝对评估和个体绝对评估两种实施形式。个 体绝对评估只要将学生的答对率或被评对象在各项指标上的实现程度求 和,然后与绝对评估指标体系所规定的合格指标相比较即可得出结论。随 着考试理论研究的深入,对考题已提出了最低要求度的概念。从绝对评估 的角度来看,最低要求度就是合格指标。计算并确定最低要求度是绝对评 估数量化的第一步,也是关键的一步。对于群体进行绝对评估,可以根据 群体的特征和目标,增添新的评估指标和等级目标,如群体的方差、平均 数、中位数等。对被评群体,只要将其实际值与目标值相比较,就可判明 该群体是否合格。 二、相对评估 相对评估是以个体的水平与同一群体的平均水平或常模相互比较,从 而确定其水平等级的评估方法。在教学评估中,比较某学生与班级内其他 学生成绩(水平)的高低,这实际上是以整体的水平作为“尺子”来衡量学 生的学习情况,因而相对评估也常被称为常模参照评估 1.相对评估的排序方法
五级标准体系较三级标准体系细一点，能对评估对象进行细致的区 分。和三级标准体系一样，我们也可根据测量目标来选定合格标准级。如 果选定第三级为合格标准级，则第一级、第二级也合格，而第四级、第五 级不合格。 制定等级指标体系的好处在于，把“好”、“很好”、“较好”、“一 般”、“差”等数量化，易于分类和统计操作。它的不足之处是等级化后， 不易发现各级内的学生差异。 (2)等级连续标准体系 为了避免等级不连续标准体系的不足，可以用学生的答对率构成绝对 评估指标体系。显然，闭区间［0，1］中的每一点都是一个评估等级，因 而这个标准体系被称为等级连续标准体系。这个标准体系也可以直接采用 实得分构造，这只要把闭区间［0，1］换成闭区间［0，满分数］就可以 了。在等级连续标准体系中，任选一个值都可固定为合格标准级。例如， 选 0.6 为合格标准级，则不小于 0.6 的级构成的区间［0.6，1］均为合格 级，而小于 0.6 的级构成的区间［0，0.6)均为不合格级，这与二级标准 体系类似。等级连续标准体系虽然避免了等级不连续标准体系的缺点，但 也失去了易于分类和统计操作等优点。 在实际操作过程中，可以结合绝对评估的具体目标选择标准体系和确 定合格标准。 2．绝对评估的数量方法 绝对评估可以划分为群体绝对评估和个体绝对评估两种实施形式。个 体绝对评估只要将学生的答对率或被评对象在各项指标上的实现程度求 和，然后与绝对评估指标体系所规定的合格指标相比较即可得出结论。随 着考试理论研究的深入，对考题已提出了最低要求度的概念。从绝对评估 的角度来看，最低要求度就是合格指标。计算并确定最低要求度是绝对评 估数量化的第一步，也是关键的一步。对于群体进行绝对评估，可以根据 群体的特征和目标，增添新的评估指标和等级目标，如群体的方差、平均 数、中位数等。对被评群体，只要将其实际值与目标值相比较，就可判明 该群体是否合格。 二、相对评估 相对评估是以个体的水平与同一群体的平均水平或常模相互比较，从 而确定其水平等级的评估方法。在教学评估中，比较某学生与班级内其他 学生成绩(水平)的高低，这实际上是以整体的水平作为“尺子”来衡量学 生的学习情况，因而相对评估也常被称为常模参照评估。 1．相对评估的排序方法
将被评个体按其达到目标的程度及在群体中的高低顺序依次排列,同 时注明群体数的排列方式(可用二维数组(x,y)来表示,其中x表示其在 群体中的序,y表示群体中个体的总数)的评估方法叫相对评估排序法。 相对评估排序法直观易操作,因而是最基本的相对评估方法。例如(3, 表示某学生在测试群体中处于第三的位置,而相对其他学生情况,则由y 确定。若取y=10,则可表明其成绩是上等;若y=4,则其成绩是下等 由于排序法只注重排序而略去了具体差异的多少,故在相对评估中较少采 2.相对评估的标准分法 为了克服上述相对评估排序方法的不足,使相对评估更趋完善,可采 用相对评估的标准分法。标准分的计算由公式 X-X 给出,其中2表示标准分,X表示学生的原始分数,又表示群体的半均 分,S表示群体成绩的标准差。 标准分Z的取值直接反映了学生相对水平。若Z=0,则该生成绩 般;若Z>0,则成绩高于平均分,此时Z的值越大,成绩相对于群体而 言就越好;若Z<0,则与Z>0的情形相反。 由于标准分Z可能出现负值,这给应用带来许多不便,而且与人们通 常对分数的看法不太相符,为此把标准分Z转化成T分数,其转化公式为 T=50+10Z。 于是T分数与人们的习惯相一致。应该指出,这种转化方法并非唯 有时还可以采用其他的转化公式 利用标准分还可以对学生群体进行分类 (1)用等距分法分类 如果测试群体中学生成绩的最高分为3,最低分为-3,并设想将学 生分成五类,则只需把闭区间[一3,3]五等分,得五个区间[-3, 1.8)、[-1.8,-0.6)、[-0.6,0.6)、[0.6,1.8)、[1.8,3 若依次记为E、D、C,B、A,则只要根据某学生的标准分所在的区间,就 可判定这个学生属于哪一类。 (2)按权率分类
将被评个体按其达到目标的程度及在群体中的高低顺序依次排列，同 时注明群体数的排列方式(可用二维数组(x，y)来表示，其中 x 表示其在 群体中的序，y 表示群体中个体的总数)的评估方法叫相对评估排序法。 相对评估排序法直观易操作，因而是最基本的相对评估方法。例如(3，y) 表示某学生在测试群体中处于第三的位置，而相对其他学生情况，则由 y 确定。若取 y＝10，则可表明其成绩是上等；若 y＝4，则其成绩是下等。 由于排序法只注重排序而略去了具体差异的多少，故在相对评估中较少采 用。 2．相对评估的标准分法 为了克服上述相对评估排序方法的不足，使相对评估更趋完善，可采 用相对评估的标准分法。标准分的计算由公式 分，S 表示群体成绩的标准差。 标准分 Z 的取值直接反映了学生相对水平。若 Z＝0，则该生成绩一 般；若 Z＞0，则成绩高于平均分，此时 Z 的值越大，成绩相对于群体而 言就越好；若 Z＜0，则与 Z＞0 的情形相反。 由于标准分 Z 可能出现负值，这给应用带来许多不便，而且与人们通 常对分数的看法不太相符，为此把标准分 Z 转化成 T 分数，其转化公式为 T＝50＋10Z。 于是 T 分数与人们的习惯相一致。应该指出，这种转化方法并非唯一， 有时还可以采用其他的转化公式。 利用标准分还可以对学生群体进行分类。 (1)用等距分法分类 如果测试群体中学生成绩的最高分为 3，最低分为－3，并设想将学 生分成五类，则只需把闭区间［－3，3］五等分，得五个区间［－3，－ 1.8)、［－1.8，－0.6)、［－0.6，0.6)、［0.6，1.8)、［1.8，3］， 若依次记为 E、D、C，B、A，则只要根据某学生的标准分所在的区间，就 可判定这个学生属于哪一类。 (2)按权率分类
给出各类人数的权率,不妨设A、B、C、D、E各类人数的权率分别为 使其满足q、q5,可以查标准正态分布表,确定临界点a1、a、a3、a4, q1、q2、q3 P(x>a1)=q1, P(x>a2)=q2+ P(x>a3)=q3+q2+q1 P(x>a4)=q4+q3+q2+q1, 其中x表示标准分。 设学生的成绩(标准分)为x,当x≥a1时,则评为A类;当a2≤x<a1 时,则评为B类;当a3≤x<a2时,则评为C类;当a4≤x<a3时,则评为 D类;当x<a4时,则评为E类 (3)按系统聚类分类 上述两种对学生标准Z分数的分类过程中,由于各类间临界点的确定 似乎有点“武断”,就有可能导致标准Z分数非常接近的学生被划分为两 个不同的类,扩大这些学生间的差异。用系统聚类方法可以克服这一不足。 其步骤是:先把n个个体各自看成一类,规定个体之间或类之间的距离 般采用欧氏距离),然后把距离最短的两类合并为一个新类,得n-1类, 再把其中最接近的两类合并,得n-2类,如此下去,最后所有的个体全 在一类。根据实际情况,给定一个阈值T,将类与类之间的距离小于T的 聚为一类,就可把n个个体分成若干类 设A、B、C、D、E五名学生的数学测试成绩(可用标准Z分数,也可 用原始分数,二者分类结果一致,此处为了计算简便,采用原始分)分别 为45分、35分、76分、60分、93分,按系统聚类法分类的步骤如下。 第一,将五名学生成绩由低到高排序,学生的排列为B、A、D、C、E 第二,规定取个体间的距离为一维欧氏距离d,即学生i与学生j 的成绩差的绝对值。此处有:dbA=10,dAD=15,dc=16,dcE=17 第三,合并距离最短的个体为一个新类。此处A与B的距离最短,将 A、B合并为一个新类{A,B}, 的成绩,即1(35+45)=40 并把其平均成绩作为类{A,B}
给出各类人数的权率，不妨设 A、B、C、D、E 各类人数的权率分别为 q1、q2、q3、q4、q5，可以查标准正态分布表，确定临界点 a1、a2、a3、a4， 使其满足 P(x＞a1)＝q1， P(x＞a2)＝q2＋q1， P(x＞a3)＝q3＋q2＋q1， P(x＞a4)＝q4＋q3＋q2＋q1， 其中 x 表示标准分。 设学生的成绩(标准分)为 x，当 x≥a1时，则评为 A 类；当 a2≤x＜a1 时，则评为 B 类；当 a3≤x＜a2时，则评为 C 类；当 a4≤x＜a3时，则评为 D 类；当 x＜a4时，则评为 E 类。 (3)按系统聚类分类 上述两种对学生标准 Z 分数的分类过程中，由于各类间临界点的确定 似乎有点“武断”，就有可能导致标准 Z 分数非常接近的学生被划分为两 个不同的类，扩大这些学生间的差异。用系统聚类方法可以克服这一不足。 其步骤是：先把 n 个个体各自看成一类，规定个体之间或类之间的距离(一 般采用欧氏距离)，然后把距离最短的两类合并为一个新类，得 n－1 类， 再把其中最接近的两类合并，得 n－2 类，如此下去，最后所有的个体全 在一类。根据实际情况，给定一个阈值 T，将类与类之间的距离小于 T 的 聚为一类，就可把 n 个个体分成若干类。 设 A、B、C、D、E 五名学生的数学测试成绩(可用标准 Z 分数，也可 用原始分数，二者分类结果一致，此处为了计算简便，采用原始分)分别 为 45 分、35 分、76 分、60 分、93 分，按系统聚类法分类的步骤如下。 第一，将五名学生成绩由低到高排序，学生的排列为 B、A、D、C、E。 第二，规定取个体间的距离为一维欧氏距离 dij，即学生 i 与学生 j 的成绩差的绝对值。此处有：db.A＝10，dA.D＝15，dD.C＝16，dC.E＝17。 第三，合并距离最短的个体为一个新类。此处 A 与 B 的距离最短，将 A、B 合并为一个新类｛A，B｝， 并把其平均成绩作为类｛A，B｝
第四,比较新类{A,B}与邻近学生D之间的成绩之差为20不是最 小,而邻近类d,c=16为最小 第五,把C、D按第三步处理,得新类{C,D}及其成绩68 第六,类似第四步可求得{A,B}与{C,D}的成绩之差为68-40 =28,{C,D}与E的成绩之差为25。此时,后者较小 第七,合并类{C,D}与E为一个新类{C,D,E},并把 C,D、E的平均成绩(60+76+93)=763作为类{C,D,E} 的成 绩 第八,求得{C,D,E}与{A,B}的成绩之差为76.3-40=36.3 第九,合并{A,B}与{C,D,E}为一新类{A,B,C,D,E} 第十,将以上合并过程作成图4-1。 112025302 图4-1五名学生一雜系统聚类图 第十一,规定一个适当的阈值T,确定类数并判定各学生所属的类, 例如取T=20,作为分类标准,则五名学生被分为三类:第一类含A、B, 第二类含C、D,第三类含E;如果取T=30作为分类标准,那么五名学生 被分为两类,B与A为一类,剩下的为另一类 3.相对评估的差异显著性检验 用系统聚类方法对学生进行成绩分类,符合人们最朴素的分类观念, 能够较充分地显示学生之间的差异。但由于教育测量自身的误差,是否能 把所有表现在成绩上的差异都视为其真实水平的差异?差异显著性检验, 在一定程度上可以解决上述问题。这个方法的基本思想是,如果两个对象 的真实水平是一样的,那么在同一次测验中,其测验成绩间差异很大的概
第四，比较新类｛A，B｝与邻近学生 D 之间的成绩之差为 20 不是最 小，而邻近类 dD，C＝16 为最小。 第五，把 C、D 按第三步处理，得新类｛C，D｝及其成绩 68。 第六，类似第四步可求得｛A，B｝与｛C，D｝的成绩之差为 68－40 ＝28，｛C，D｝与 E 的成绩之差为 25。此时，后者较小。 第七，合并类｛C，D｝与 E 为一个新类｛C，D，E｝，并把 的成 绩。 第八，求得｛C，D，E｝与｛A，B｝的成绩之差为 76.3－40＝36.3。 第九，合并｛A，B｝与｛C，D，E｝为一新类｛A，B，C，D，E｝。 第十，将以上合并过程作成图 4－1。 第十一，规定一个适当的阈值 T，确定类数并判定各学生所属的类， 例如取 T＝20，作为分类标准，则五名学生被分为三类：第一类含 A、B， 第二类含 C、D，第三类含 E；如果取 T＝30 作为分类标准，那么五名学生 被分为两类，B 与 A 为一类，剩下的为另一类。 3．相对评估的差异显著性检验 用系统聚类方法对学生进行成绩分类，符合人们最朴素的分类观念， 能够较充分地显示学生之间的差异。但由于教育测量自身的误差，是否能 把所有表现在成绩上的差异都视为其真实水平的差异？差异显著性检验， 在一定程度上可以解决上述问题。这个方法的基本思想是，如果两个对象 的真实水平是一样的，那么在同一次测验中，其测验成绩间差异很大的概