别是那些比较成熟的、政策效果与环境变化之因果关系比较明显己评估结论比较有推广价值 的政策)》 才能是评估收到最佳效果。 (2)制定评估方案。这是政策评估准备阶段最为重要的一项工作。评估方案是评估实 施的依据和内容,评估方案设计的合理程度直接关系到评估质量高低和评估活动的成败。评 估方案必须以书面的形式系统、详细地说明以下内容:第一,阐述评估对象,明确指出评由 什么:第二,明确评估的目的 、意义和要求。评估目的决定评估的基本方向,解决的是为什 么进行评估的问题:第三,确定评估标准。事实分析和价值分析以及它们的有机结合是评估 标准的基本内容,①评估标准通常体现为评估指标体系,它决定评估类型和评估方法:第四, 提出评估的基本设想,根据评估目标确定评估的内容、范围,制定出评估方案:第五,评估 还要 场日 间和工作进度 人及评估经费的筹措和使用等问题 简言 评估方案应将评估的五个基本要素,即评估者(主体)、评估对象(客体)、评估目的(出发 点)、评估标准(准则)和评估方法(手段)都包括在内,使它们共同构成一个完整的政策 评估系统。 (3)挑选和培训人员。评估的过程实际上是一种理论研究过程,它对评估人员的理论 素养要求很高。换句话说,评估人员自身素质和理论水平将直接影响评估的质量。因此,必 须选择适当的评估人员,提高他们的理论分析水平和实际操作能力,构建具有较高水准的评 估队伍。 2.实施阶段 实施评估是整个政策评估活动中最为重要的阶段,实施评估工作的好坏于评估活动的成 败紧密相关。实施评估阶段关键是一些具体调查方法和评估方法的运用,该阶段的主要任务 有: (1)利用各种调查手段,全面收集政策制定、政策执行、政策影响和政策效益等方面 的信息。信息是政策评估的基础,评估政策的过程其实也是收集信息、处理信息的过程。为 了保证所获信息具有全面性、系统性和准确性,需要综合采用各种科学方法来收集信息,常 用的方法有:观察法:查阅资料法:调查发:个案法:实验法等。 (2)综合分析政策信息。就是要在收集信息的基础上对那些有关政策的原始数据和信 息资料进行系统的整理、归类、统计和分析 (3)综合运用适合的评估方法,对政策进行评估,得出评估结论。在实施评估的过程 中,评估者应该坚持评估材料的完整性和具体分析的科学性两个原则,客观、公正地反映出 政策的实际效果。 3. 结束阶段 结束阶段是处理评估结果、撰写评估报告的阶段。政策评估离不开价值判断,个人的价 值判断受客观条件和一些非理性因素的影响,难免有疏漏。因此,当我们收集评估信总,得 出评估后,还必须善加处理。首先,要自我检验统计分析评估信息所得出的结果的可信度和 有效度。其次,让评估结论与政策设计者、决策者 执行者 参与者会面 以便发挥评估的 诊断、监督、反馈、完善和开发功能,提高政策的科学性。为此,必须做好两个方面的工作 撰写评估报告和总结评估。结束阶段政策评估者须形成书面形式的评估报告,提交给有关领 导和实际部门,使之了解一项政策实施的最终情形,及时根据情形决定政策的殊续、修改」 中止等。评估报告除了对政策效果进行客观陈述、对政策进行价值判断、提出政策建议以匀 还应包括对评估过程、评估方法和评估中一些重要问题进行必要说明,对评估工作的优缺点 进行总结,为提高今后政策活动水平服务。此外,结束阶段还要注意妥善处理决策者与评估 者之间的分歧,实现决策者与评估者之间对评估报告的最大限度的协调。 ①参见陈庆云.公共政策分析.北京:中国经济出版社,1996:262页
6 别是那些比较成熟的、政策效果与环境变化之因果关系比较明显己评估结论比较有推广价值 的政策),才能是评估收到最佳效果。 (2)制定评估方案。这是政策评估准备阶段最为重要的一项工作。评估方案是评估实 施的依据和内容,评估方案设计的合理程度直接关系到评估质量高低和评估活动的成败。评 估方案必须以书面的形式系统、详细地说明以下内容:第一,阐述评估对象,明确指出评估 什么;第二,明确评估的目的、意义和要求。评估目的决定评估的基本方向,解决的是为什 么进行评估的问题;第三,确定评估标准。事实分析和价值分析以及它们的有机结合是评估 标准的基本内容,①评估标准通常体现为评估指标体系,它决定评估类型和评估方法;第四, 提出评估的基本设想,根据评估目标确定评估的内容、范围,制定出评估方案;第五,评估 方案还要说明评估的场所、时间和工作进度,以及评估经费的筹措和使用等问题。简言之, 评估方案应将评估的五个基本要素,即评估者(主体)、评估对象(客体)、评估目的(出发 点)、评估标准(准则)和评估方法(手段)都包括在内,使它们共同构成一个完整的政策 评估系统。 (3)挑选和培训人员。评估的过程实际上是一种理论研究过程,它对评估人员的理论 素养要求很高。换句话说,评估人员自身素质和理论水平将直接影响评估的质量。因此,必 须选择适当的评估人员,提高他们的理论分析水平和实际操作能力,构建具有较高水准的评 估队伍。 2.实施阶段 实施评估是整个政策评估活动中最为重要的阶段,实施评估工作的好坏于评估活动的成 败紧密相关。实施评估阶段关键是一些具体调查方法和评估方法的运用,该阶段的主要任务 有: (1)利用各种调查手段,全面收集政策制定、政策执行、政策影响和政策效益等方面 的信息。信息是政策评估的基础,评估政策的过程其实也是收集信息、处理信息的过程。为 了保证所获信息具有全面性、系统性和准确性,需要综合采用各种科学方法来收集信息,常 用的方法有:观察法;查阅资料法;调查发;个案法;实验法等。 (2)综合分析政策信息。就是要在收集信息的基础上对那些有关政策的原始数据和信 息资料进行系统的整理、归类、统计和分析。 (3)综合运用适合的评估方法,对政策进行评估,得出评估结论。在实施评估的过程 中,评估者应该坚持评估材料的完整性和具体分析的科学性两个原则,客观、公正地反映出 政策的实际效果。 3.结束阶段 结束阶段是处理评估结果、撰写评估报告的阶段。政策评估离不开价值判断,个人的价 值判断受客观条件和一些非理性因素的影响,难免有疏漏。因此,当我们收集评估信息,得 出评估后,还必须善加处理。首先,要自我检验统计分析评估信息所得出的结果的可信度和 有效度。其次,让评估结论与政策设计者、决策者、执行者、参与者会面,以便发挥评估的 诊断、监督、反馈、完善和开发功能,提高政策的科学性。为此,必须做好两个方面的工作: 撰写评估报告和总结评估。结束阶段政策评估者须形成书面形式的评估报告,提交给有关领 导和实际部门,使之了解一项政策实施的最终情形,及时根据情形决定政策的继续、修改、 中止等。评估报告除了对政策效果进行客观陈述、对政策进行价值判断、提出政策建议以外, 还应包括对评估过程、评估方法和评估中一些重要问题进行必要说明,对评估工作的优缺点 进行总结,为提高今后政策活动水平服务。此外,结束阶段还要注意妥善处理决策者与评估 者之间的分歧,实现决策者与评估者之间对评估报告的最大限度的协调。 ① 参见陈庆云.公共政策分析.北京:中国经济出版社,1996:262 页
二、政策评估的八种模式@ 在西方政策评估实践中,有各种各样的模式。如何对这些模式进行分类,这是政策评估 学者一直研究的问题。有些学者,如古巴(Guba)和林肯(Lincoln),提出以“组织者” (organiz2er)作为焦点来进行分类。通常,所选择的价值标准就是评估的“组织者”,这样 根据“组织者”的不同就形成不同的评估模式(evaluation model)。以古巴和林肯的观点为 基础,德国学者韦唐(Evert Vedung)在《公共政策和项目评估》(1997)一书中,从社会科 学更广阔的视角出发,赋予了“组织者”更抽象的含义,从而提出了一个关于政策评估模式 的系统分类框架。 韦唐博士从政府干预的实质结果入手,按“组织者”的不同将评估模式分为三大类:效 果模式(effectiveness models)、经济模式(economic models)、和职业化模式(professional mods)。“效果模式由一个相当大的、各不相同的团体组成。除了传统的目标达成评估 (goal-attainment evaluation)外,效果模式还包括附带效果模式(side-effects evaluation)、 无目标评估(goal-)、综合评估()、顾客导向评估 (client-oriented evaluation)和利益相关者模式(stakeholder model).”经济模式与效果模式 的不同在于前者总是关心成本,而后者是忽略成本的。经济模式的两个基本变种是生产率模 式(productivity model)和效率模式(efficiency model)。职业化模式并不直截了当地关心评 估的内容,因为它把重点放在了执行评估的人身上。最著名的职业化模式是同行评议模式 (peer review model),用这种方法,举个例子来说,就是教授评估教授、工程师评估工程师 外科医生评估外科医生。按照韦唐的概括,政策评估模式的分类如下图所示: 目标达成模式 目标 附带效果模式 效果模式 结果一无目标评估檬式 系统单元一综合评估模式 顾客的关心一顾客导向模式 利益相关者的关心等 利益相关者模式(北美) 评估模式 政策委员会(瑞典) 生产率模式一生产率模式 经济模式 「成本一利益分析 、效率模式 成本一效能分析 职业化模式一同行评议 图1政策深估模式的分类 1.目标达成模式 >
7 二、政策评估的八种模式① 在西方政策评估实践中,有各种各样的模式。如何对这些模式进行分类,这是政策评估 学者一直研究的问题。有些学者,如古巴(Guba)和林肯(Lincoln),提出以“组织者” (organizer)作为焦点来进行分类。通常,所选择的价值标准就是评估的“组织者”,这样 根据“组织者”的不同就形成不同的评估模式(evaluation model)。以古巴和林肯的观点为 基础,德国学者韦唐(Evert Vedung)在《公共政策和项目评估》(1997)一书中,从社会科 学更广阔的视角出发,赋予了“组织者”更抽象的含义,从而提出了一个关于政策评估模式 的系统分类框架。 韦唐博士从政府干预的实质结果入手,按“组织者”的不同将评估模式分为三大类:效 果模式(effectiveness models)、经济模式(economic models)、和职业化模式(professional models)。“效果模式由一个相当大的、各不相同的团体组成。除了传统的目标达成评估 (goal-attainment evaluation)外,效果模式还包括附带效果模式(side-effects evaluation)、 无目标评估(goal-free evaluation)、综合评估(comprehensive evaluation)、顾客导向评估 (client-oriented evaluation)和利益相关者模式(stakeholder model)。”经济模式与效果模式 的不同在于前者总是关心成本,而后者是忽略成本的。经济模式的两个基本变种是生产率模 式(productivity model)和效率模式(efficiency model)。职业化模式并不直截了当地关心评 估的内容,因为它把重点放在了执行评估的人身上。最著名的职业化模式是同行评议模式 (peer review model),用这种方法,举个例子来说,就是教授评估教授、工程师评估工程师、 外科医生评估外科医生。按照韦唐的概括,政策评估模式的分类如下图所示: 图 1 政策评估模式的分类 1.目标达成模式 ①本节主要资料来源:Evert Vedung, Public Policy and Program Evaluation. New Brunswick and London: Transaction Publishers,1997,pp.35—92. 评估模式 效果模式 经济模式 职业化模式-同行评议 目标达成模式 附带效果模式 目标 结果—无目标评估模式 系统单元—综合评估模式 顾客的关心—顾客导向模式 利益相关者的关心等 利益相关者模式(北美) 政策委员会(瑞典) 效率模式 成本-利益分析 成本-效能分析 生产率模式-生产率模式
目标达成模式是探讨评估问题的传统方法,它主要由两部分组成:(1)目标达成评价。 关注的是结果与由政策(项目)目标是否一致:(2)影响评价。关注的是结果是不是由政策 (项目)所造成。应用目标达成模式要按三个步骤进行:第一,明确政策(项目)目标政策 (目标)及它们的真正含义,并将它们按重要程度加以排序,再把它们转变成可以测量的客 体:第二,测定这些预定目标实际上可在多大程度上实现:第三,弄清楚政策(项目)促使 或阻碍目标实现的程度。可见,该模式是以预定的政策(目标)作为评估的标准和组织者, 评估的主要任务是判断预定的政策(项目)目标是否已经实现,以及项目在多大程度上有利 于目标的实现。 同任何方法一样,目标达成模式有它无可替代的优点,也有它鲜明的缺陷。韦唐对此作 了具体的阐述。在韦唐看来,存在三个主要理由去推崇目标达成评估:一是体现了民主。目 标达成模式是以预定的政府政策目标作为评估的组织者,政府预定的政策目标是公开而法定 地被人民代表在政治议会上所采纳,体现了政治过程中的民主。同时,政治目标是在责任成 之下制定的,政治官员在制定目标时会更多地考虑民众利益和可利用的资源。二是提供客观 的评估标准。目标达成模式以既定的政策(目标)作为组织者,以项目目标来判断项目结果 所以可以避免评估者在评估项目的价值问题上持个人的主观标准。三是具有简单性。这个模 式只包含两个主要的问题,即结果是否与目标一致?结果是否由政策(项目)所引起? 韦唐认为,目标达成模式的缺路表现在五个方面:第一,忽略了成本。政策过程中需圆 投入大量的人力、财力、物力和时间等各种资源,这些资源在目标达成模式中完全被忽略了。 第二,在目标不清的情况下难以运用。而政策目标的不确定性又是政策分析中常常碰到的问 题。第三,不考虑意料之外的结果。目标达成评估只考虑预定的项目目标的结果,而忽视那 些偶然发现的结果或意料之外的结果,这是片面的做法。第四,忽视了公共政策制定中的隐 秘议程的作用。目标达成评估将官方宣布的、表面的预定目标作为评估的“组织者”,而忽 视政治游戏现实中的一些重要东西。比如,官方宜布的目标可能仅有象征性意义,并不打算 真正去实现。在这种情况下,目标达成评估往往是无效的。第五,忽视实施过程。目标达成 模式只关心项目结果,而实施过程则被看作是一个黑箱。 2.附带效果模式 附带效果模式正好解决了目标达成模式的“困境”,即关注非预期的、预料之外的政策 效果。附带效果是指项目目标范围之外的影响,与主要效果 一政策制定者有意识地想要得 到的主要实质性影响一一相区别。附带效果模式的特征是预定目标仍然是基本的“组织者” 但是要充分考虑到附带效果的存在。 要认识附带效果,应该把它政策活动中可能出现的反常效果和零效果相区别。反常效果 是指产生的与预期目标完全相反的结果:零效果是指政策在目标范围内没有产生任何影响: 反常效果和零效果都是产生在目标范围之内,而附带效果则是产生在目标范围之外。 在人们的印象中,附带效果似乎带有贬义,但它并非总是有害的,也可能是有利的。附 带效果可以是预期的,也可能是非预期的。一些政策分析家甚至认为大部分政策效果在决策 做出时是非预期的。附带效果不管是否有利,都是综合评价政策活动的关键因素,因此必须 受到重视。项目可能产生副产品,副产品反过来组成或产生新问题,从而又产生新的政策(项
8 目标达成模式是探讨评估问题的传统方法,它主要由两部分组成:(1)目标达成评价。 关注的是结果与由政策(项目)目标是否一致;(2)影响评价。关注的是结果是不是由政策 (项目)所造成。应用目标达成模式要按三个步骤进行:第一,明确政策(项目)目标政策 (目标)及它们的真正含义,并将它们按重要程度加以排序,再把它们转变成可以测量的客 体;第二,测定这些预定目标实际上可在多大程度上实现;第三,弄清楚政策(项目)促使 或阻碍目标实现的程度。可见,该模式是以预定的政策(目标)作为评估的标准和组织者, 评估的主要任务是判断预定的政策(项目)目标是否已经实现,以及项目在多大程度上有利 于目标的实现。 同任何方法一样,目标达成模式有它无可替代的优点,也有它鲜明的缺陷。韦唐对此作 了具体的阐述。在韦唐看来,存在三个主要理由去推崇目标达成评估:一是体现了民主。目 标达成模式是以预定的政府政策目标作为评估的组织者,政府预定的政策目标是公开而法定 地被人民代表在政治议会上所采纳,体现了政治过程中的民主。同时,政治目标是在责任感 之下制定的,政治官员在制定目标时会更多地考虑民众利益和可利用的资源。二是提供客观 的评估标准。目标达成模式以既定的政策(目标)作为组织者,以项目目标来判断项目结果, 所以可以避免评估者在评估项目的价值问题上持个人的主观标准。三是具有简单性。这个模 式只包含两个主要的问题,即结果是否与目标一致?结果是否由政策(项目)所引起? 韦唐认为,目标达成模式的缺陷表现在五个方面:第一,忽略了成本。政策过程中需要 投入大量的人力、财力、物力和时间等各种资源,这些资源在目标达成模式中完全被忽略了。 第二,在目标不清的情况下难以运用。而政策目标的不确定性又是政策分析中常常碰到的问 题。第三,不考虑意料之外的结果。目标达成评估只考虑预定的项目目标的结果,而忽视那 些偶然发现的结果或意料之外的结果,这是片面的做法。第四,忽视了公共政策制定中的隐 秘议程的作用。目标达成评估将官方宣布的、表面的预定目标作为评估的“组织者”,而忽 视政治游戏现实中的一些重要东西。比如,官方宣布的目标可能仅有象征性意义,并不打算 真正去实现。在这种情况下,目标达成评估往往是无效的。第五,忽视实施过程。目标达成 模式只关心项目结果,而实施过程则被看作是一个黑箱。 2.附带效果模式 附带效果模式正好解决了目标达成模式的“困境”,即关注非预期的、预料之外的政策 效果。附带效果是指项目目标范围之外的影响,与主要效果——政策制定者有意识地想要得 到的主要实质性影响——相区别。附带效果模式的特征是预定目标仍然是基本的“组织者”, 但是要充分考虑到附带效果的存在。 要认识附带效果,应该把它政策活动中可能出现的反常效果和零效果相区别。反常效果 是指产生的与预期目标完全相反的结果;零效果是指政策在目标范围内没有产生任何影响; 反常效果和零效果都是产生在目标范围之内,而附带效果则是产生在目标范围之外。 在人们的印象中,附带效果似乎带有贬义,但它并非总是有害的,也可能是有利的。附 带效果可以是预期的,也可能是非预期的。一些政策分析家甚至认为大部分政策效果在决策 做出时是非预期的。附带效果不管是否有利,都是综合评价政策活动的关键因素,因此必须 受到重视。项目可能产生副产品,副产品反过来组成或产生新问题,从而又产生新的政策(项