教育政策评估模式

五、教育政策评估模式

瑞典学者维登（E.Vedung）从社会科学广阔的视角出发，提出了政策评估模式的系统分类框架（如图5-1所示）。⁽³²⁾按组织者的不同，评估模式分为三大类:效果模式（effectiveness models）、经济模式（economic models）、职业化模式（professional models）。效果模式包括目标达成评估（goal‐attainment evaluation）、附带效果评估（side‐effects evaluation）、无目标评估（goal‐free evaluation）、综合评估（comprehensive evaluation）、顾客导向评估（client‐oriented evaluation）和利益相关者模式（stakeholder model）。经济模式包括生产率模式（productivity model）和效率模式（efficiency model）。经济模式与效果模式的不同在于，经济模式总是关心成本，而效果模式是忽略成本的。职业化模式并不直接关注评估内容，而是将重点放在执行评估的人身上，通常使用的职业化模式是同行评议模式（peer review model），如学校中的教师同行评议等。

图5-1　政策评估模式的分类⁽³³⁾

目前关于教育政策评估模式的研究大多围绕这八种模式展开。以下对教育政策评估中经常用到的几种模式作简要介绍和说明。

（一）目标达成评估

目标达成评估由目标达成评价（关注结果与政策目标是否一致）和影响评价（关注结果是否由政策造成）两部分组成。运用目标达成模式一般包括三个阶段:

◇　定义目标；

◇　测定这些预期目标实际可在多大程度上得以实现；

◇　厘清政策促使或阻碍目标实现的程度。

在评估政策目标是否达成、当前结果是否由该政策所致时，可以从定性与定量的角度进行实证本位和规范本位两个层面的研究。实证本位的研究主要从事实的角度，运用数理的方法和模型，对政策效果进行相对精确的测量。在实验研究中，政策评估者进行的比较可以是单组前—后测设计、简单时间序列设计、前—后测比较组设计、前—后测控制组设计（如图5-2所示）。其中，（a）单组前—后测设计，是指在政策实施前（A₁）和实施后（A₂），分别对政策实施情况进行监测评估，以检验政策目标的达成度；（b）简单时间序列设计，是在政策实施的不同时间段（A₁、A₂、A₃……A_p）对政策实施情况进行监测评估；（c）前—后测比较组设计，是指选取两组不同的政策对象（A和B），施以不同的政策措施，分别在政策实施前后进行监测评估，并进行对比分析，以检验不同政策的实施效果；（d）前—后测控制组设计，是指选取两组不同的对象，将其中的一组作为政策实验组进行政策实施，而将另一组作为控制组，对实验组与控制组在政策实施前后均进行监测评估，并进行对比分析，以检验政策实施效果和政策目标的达成度。

图5-2　教育政策评估的实验设计

资料来源:Binghan R D，Mier R.Dilemmas of urban economic development［J］.Urban Annual Reviews，1997:47:253

研究者通常结合社会科学中常见的研究方法，主要从价值的角度分析更为复杂而难以量化的政策议题。比如，赵力涛对2001年农村义务教育管理体制改革效果进行了评估，发现2001年的教育改革带来了平等化的效果，小学生均预算内教育经费支出在城乡之间和地区之间的分配更加公平，初中生均预算内教育经费支出在城乡之间的分配也更加公平，只有初中生均预算内教育经费支出的地区差距仍在增加。总体而言，2001年的教育改革，通过增加县级、省级以及中央政府的教育支出，既迅速增加了教育投入，也在相当程度上促进了教育公平。⁽³⁴⁾

（二）附带效果评估

附带效果评估关注的是非预期的、预料之外的政策效果，因为每一项教育政策在实施过程中都会不同程度地产生副产品，副产品反过来形成新问题，从而又产生新的政策。因此，在政策评估过程中，必须关注有关附带效果的信息，以便及时发现和解决有可能发生的新问题。例如，针对教师绩效工资制在现实操作过程中容易被理解为以货币为标尺度量教师工作绩效的工资分配方式，吴全华指出了教师绩效工资制的三个潜在影响:降低教师对工作的特殊品质的兴趣，进而降低甚至夷平教师工作的品质；使作为手段的货币目的化、教育目的手段化，使教师的教育人格逐渐消遁，而市场人格却逐渐凸显；使教师以前受“良心”驱策的纯粹利他行为变得越来越功利，使教师自行抑制甚至贬斥、否弃他人无法作硬性规定的由“良心”驱策、心灵觉悟而生成的纯粹利他行为。⁽³⁵⁾

（三）无目标评估

针对目标导向评估忽视真实情境中许多宝贵资料的现象，斯克里文（M.Scriven）提出了无目标评估模式。⁽³⁶⁾他反对评估者沉迷于预定的政策目标，在评估过程中总是被政策目标牵着鼻子走，而主张不需要先告诉评估者目标是什么，应让评估者自己去发现。在评估过程中，评估者完全抛开政策的预定目标和其他事前标准，坚持评估的客观性与独立性，通过全面观察政策实施过程，收集各类数据，找出所有相关的效果，从而了解发生了什么，分析结果，单纯判断结果的价值。无目标评估要求评估者接受相当的专业训练，因为不适当的评估者会不知道要收集什么样的数据，而评估结果也可能只是平常的现象报告。这种评估模式较适用于目标模糊的政策评估，但是，由于忽视了政策的预定目标和评估标准，仅仅依赖政策制定者和执行者的公正判断，会有过多主观因素的介入，势必影响到评估的客观与公正。

（四）综合评估

综合评估认为，评估不应局限于政策效果，还应该包括政策的制定与执行。综合评估以系统论为理论基础，将政策评估分为投入、转换、产出三个阶段，每个阶段又分为描述和判断两个范畴。描述范畴细分为意图和观察，判断范畴则细分为标准和判断。于是，整个评估干预过程被分为12个单元（见表5-14）。

表5-14　　　　教育政策监测评估的综合模式框架⁽³⁷⁾

（五）顾客导向评估

顾客导向评估将政策干预对象的目标、期望、关心甚至需要作为评估的组织原则和价值准则。顾客导向评估的核心是:项目是否使顾客的关心、需要和期望得到满足。具有强烈顾客导向特点的模式有斯塔弗尔比姆（D.L.Stufflebeam）1971年提出的CIPP评估模式。⁽³⁸⁾CIPP评估的核心概念是背景（context）、投入（input）、过程（process）和产出（product）的评估。

图5-3　CIPP评估概念结构

资料来源:Stufflebeam D L.The CIPP model for evaluation［M］//Kellaghan T，Stufflebeam D L，Wingate L A（eds.）.International handbook of educational evaluation.Netherlands:Kluwer Academic Publishers，2003:33

背景评估是在某种特定的情况下评估需求、问题、有利条件和机会。需求包括实施某项政策所需的资源；问题是指执行政策、实现政策目标所面临的障碍；有利条件是指实施政策过程中一切可用的专门知识和服务；机会特别指那些可以强化满足政策需求并解决相关政策问题的经费补助方案。背景评估可以应用于事前评估、事中评估和事后评估。在事前评估中，运用背景评估可以界定政策评估的目的及其优先级，并判断结果产出的重要性。在事中评估中运用背景评估，可以将政策投入、政策构成和政策产出三者结合在一起，用来判断政策目标的适切度，以及政策投入的意义和价值。开展背景评估经常使用的方法有人口结构记录与分析、实地调查、文件编码分析、相关会议或研讨会等。美国西密歇根大学评估中心（Western Michigan University Evaluation Center）的方案档案技术（program profile technique）包括:（1）一张检查表，目的是从多元数据来源中收集需要的信息，例如:相关历史、现实状况、政策相关者的需求、体制与制度状况、优势与机遇、政策内容结构与运作、政策相关的成果表现等数据；（2）一个数据库；（3）一些定期报告，这些报告可以描述政策背景、周边情况和政策目前的状态；（4）一些针对委托人与特定利害关系人的反馈研讨会。⁽³⁹⁾

投入评估即评估政策方案、计划或服务的策略以及相关工作计划和执行所需的预算。其主要目标和活动是通过提升对预期受益者的服务，来协助界定方案、计划或其介入服务的作用。政策实施者如果在政策付诸实施前没有进行投入评估而直接进行资源分配，必将对政策效果产生不良影响。目前，投入评估已大量运用于教育政策领域，并取得成功。如美国俄亥俄州的雪克高地（Shaker Heights）学区曾运用投入评估来决定当地的创新计划是否比较符合成本效益。底特律密歇根公立大学也曾运用投入评估来形成并评估新学校不同建筑的设计方案。美国西南区域教育实验室（Southwest Regional Educational Laboratory）曾运用投入评估来说服过去曾坚持反对该方案的一些团体，促使其赞成政府应投资上千万美元的教育经费来满足一些移民孩童相关的教育需求服务。美国教育部也曾运用投入评估来发展并评估两个政策方案，以掌握所有联邦政府赞助地区性教育实验室和研发中心的绩效情况。⁽⁴⁰⁾

过程评估的本质是针对计划执行过程的文件，以及包括改变计划某些程序的重大失误或不良操作等部分，进行持续性的检查。过程评估的目的在于，一方面提供政策实施者关于政策的反馈信息，从而获悉政策执行者在实施政策过程中是否遵守时间表和政策步骤，以及政策效率如何等信息；另一方面协助政策执行者确认执行问题，并根据现实情况适当修补政策。巡回观察者方法（traveling observer technique）是过程评估的常用方法，巡回观察者必须遵循既定的资料收集时间表，同时根据事先规定的书写格式与特殊细节进行记录，并传送报告。在进入现场前，巡回观察者必须在主要检查者的检查下，完成一套巡回观察者的工作手册。这个工作手册主要包括下列信息和一些特殊规格:⁽⁴¹⁾

◇　流动观察者证书；

◇　评估问题；

◇　描述研究地点和方案/计划的活动；

◇　联络人和联络电话；

◇　方案或计划的地理位置图；

◇　建议资料收集的来源，包括访谈和相关文件；

◇　联络现场人员、取得进入许可和如何合作等条款；

◇　对巡回观察者预期专业化行为的规定；

◇　避免巡回观察者被方案机构“挖角”的指导原则；

◇　数据收集的建议程序；

◇　抽样计划，包括现有样本和一些尚未曝光的秘密数据样本；

◇　资料收集工具；

◇　资料收集时间表；

◇　工作日志/日记簿的格式；

◇　信息处理、信息安全的规定；

◇　在巡回观察者反馈过程当中的评估报告阅读者；

◇　报道特定事项与行程进展，包括期中进度报告、简报和费用支出报告；

◇　判断巡回观察者报告的准则；

◇　相关沟通/传送结论的规定，包括必须向数据提供者传送报告的条款；

◇　安排后续追踪调查的行程，以利其进行的责任，如调查专家小组进行的现场调查；

◇　可能发生的问题及其处理措施；

◇　概述用于判断整体评估行为的标准；

◇　巡回观察者定期自我评估的种类；

◇　支持巡回观察者工作的预算，包括支出上限。

产出评估的目的是测量、阐释并判断某项政策的成效及其表现。其主要目标是确定政策满足所有合法受益者需求的程度。因此，政策产出除了包括政策预期的和非预期的结果，还应包括正面的和负面的影响。政策评估者或政策委托人需要了解这项政策是否已经达成目标，成本是多少，这样的结果是否值得如此投入，是否有因为政策的不当执行或是执行不力而带来不良后果等。因此，产出评估通常需要利用背景评估、投入评估和过程评估的一般结论。持续发展矩阵抽样测试方法（continuous progress matrix sampling testing technique）是产出评估的常用方法，经常用于评估某项政策实施后所产生的各种结果。

（六）利益相关者模式

所谓利益相关者，是指所有对政策目标和政策执行感兴趣并对其具有影响的团体和个人。与顾客导向评估相比，利益相关者模式关注的对象要广泛得多。运用利益相关者模式的关键是要找出对政策的出台、执行和结果感兴趣的主要团体和个人。通常，教育政策的利益相关者大致有三类。（1）代理人，包括教育政策的制定者和执行者、教育政策评估的委托者和评估人员，以及参与教育政策过程的其他人员，如学校校长和教师等。（2）受益者，包括:直接受益者，即目标群体；间接受益者，即对政策目标的调节、取消、强化有间接作用，或产生积极影响作用的人，以及其他从政策执行过程中获益的群体，如教材出版商，或是提供必要支持性服务的承办者。（3）受害者，包括被有计划地排除在项目利益之外的群体，如普通儿童接受不到为天才儿童提供的特别教育服务；遭遇校际影响的群体，如由于入学机会不平等而到远距离学校上学的学生；政治上、经济上处于不利处境或不能获得某些机会的群体。所有这些利益相关者人群（及子群体）都会有自己不同的观点，这就会使他们对评价对象有不同甚至对立的看法和判断。⁽⁴²⁾

表5-15是以上海市师范院校“特聘教授政策”为例所作的利益相关者评估。

表5-15　　　　　上海市师范院校“特聘教授政策”⁽⁴³⁾的利益相关者评估思路

续　表

（七）经济模式

经济模式关注政策成本。以经济模式评估教育政策，一般要经过三个层次的程序:政策投入成本分析，成本—效能分析，成本—利益分析。其中，政策投入成本分析往往需要对政策投入的人事、交通、材料、设施设备、通信、合约服务内容、经常费用等进行测量。成本—效能分析中的投入用货币计算，产出则根据真实效果来计算。成本—利益分析则寻求更广泛的成果范围，而不仅局限于方案的目标，需要评估政策投入和政策执行对环境所产生的正面或负面、有形或无形、短期或长期的影响，以及政策投入与政策影响之间的关系。在经济模式中，教育政策成本评估应考虑到直接成本、间接成本和机会成本。其中直接成本相对容易衡量，但也要注意到政府的投入往往用于多项政策目的，这时候要分清楚对每个政策目的的成本则非常困难。同时，政策成本除了政府支出以外，还应该包括私人开支。间接成本是相对于直接成本而言的，如政策造成的负面影响等。间接成本往往是无形的，但通常也需要用货币予以测量。机会成本是指为得到某种东西而要放弃的另一些东西的代价。在评估教育政策效能或政策影响时，会面临政策效果或影响滞后的问题，教育政策的许多影响甚至是可能产生的主要影响，往往需要经过数年才能体现。

（八）职业化模式

职业化模式是指专业人员根据政策目标和自身的价值判断，对政策执行过程与结果进行评估。随着教育民主化进程的发展，在一些教育政策评估活动中，政府和教育行政部门越来越多地采取同行评议的方式，聘请教育专业人士进行评估。同行评议（peer evaluation and review）是指教育政策执行者或教育政策实施对象（如学校）以个案研究（case study）的方式，呈现政策执行过程与成效，由同行对政策执行的过程与结果进行评估，或通过讨论达到评估目的。这里的同行，可以是同一专业领域的专家，是不同区域同一政策的执行者，也可以是不同区域同一政策的目标群体。在区域或学校教育政策评估过程中，多采用同行评议的方法，如同行专家评议、学校互评等。同行评议的优点在于，由于专业领域相同或相近，可以提高评估的专业有效性。