本文刊发于《丽水审判》2013年第3期

案件质量评估体系的运用风险及其规避

松阳县人民法院行政庭   丁洁

论文提要：案件质量评估体系通过定量方法测量定性内容，对法院的案件质量进行全方位、多角度的综合评判与分析，对评价审判工作、强化审判管理、促进人民法院科学发展都产生了积极作用。但是，因评估体系自身问题及实务中的不当利用，不可避免地对司法行为产生一定的负面影响，使评估体系的运用风险增加。建立评估体系评价机制、评估指标分析利用机制、评估体系矫正机制等三大风险规避机制，有助于案件质量评估体系的日臻完善。

一、案件质量评估制度概述

（一）案件质量评估

人民法院案件质量评估是利用司法统计资料，运用多指标综合评价理论，建立案件质量评估的量化模型，计算案件质量综合指数，对全国各级法院案件质量进行全方位、多角度的综合评判与分析。[1] 简要来说，案件质量评估即采用定量方法测量定性内容。其中，司法统计资料是定量的前提和依据；多指标综合评价理论是对如何定量的系统研究方法；评估的量化模型即是指案件质量评估体系。以以上三点为基础，结合数学运算方法，对反映人民法院纠纷处理全过程是否符合法律规定，是否满足当事人对诉权的需求并为公众所接受的案件质量综合体作出整体评判与分析。

作为案件质量评估制度重要组成部分的案件质量评估体系是确立案件质量的量化标准，是由一系列依法设定的，全方位、多角度反映案件质量的指标组成的有机整体。案件质量评估体系的构建实现了对法院审判工作质量的客观综合评价，为人民法院依法、规范、科学开展审判管理工作提供了有效的制度载体。审判管理是目的，评估体系是手段，是提高、深化审判管理的一种措施，作为审判管理基础和依据的审判质量评估体系本身科学合理与否关系到审判管理改革的成败。

2011年《关于开展案件质量评估工作的指导意见》确立了由1个一级指标（案件质量综合指数）、3个二级指标（公正指标、效率指标、效果指标）和31个三级指标组成的宏观、系统、独立的人民法院案件质量评估体系。

（二）案件质量评估体系的功用

1、评价审判执行工作的“体检表”

案件质量评估体系是衡量审判执行工作水平的重要依据，评估体系所涵盖的31个三级指标基本上覆盖了人民法院审判执行工作的方方面面。通过对某个时间段内的指标数据进行统计分析及横纵向比较后，一方面对指标向好的地方总结经验、继续发扬，另一方面更重要的是找出指标所反映问题的症结，进而对症下药，使评估指标及司法行为不断趋好。人类认识事物的目的是透过现象看事物的本质，指标存在的意义也即“根据指标折射内容→提出分析意见→查找整改措施→优化指标及行为”。但应当注意杜绝单纯追求数字上的提高变化，否则就失去了建立评估体系的意义。

2、强化审判管理工作的“指挥棒”

案件质量是审判精髓，是人民法院安身立命之本。案件质量评估作为司法管理制度的组成部分，是对审判管理制度的落实。通过对案件质量评估指标的设计、综合，精确量化案件质量，充分发挥评估体系的引导、监督、约束、激励作用，将司法行为引导到追求司法公正与司法效率统一、实体公正与程序公正统一、法律效果与社会效果统一的价值目标上来。这种管理方式既反映了管理的一般要求，又遵循了司法审判的特有规律，体现了审判管理工作特点。客观、科学、精准的综合评定标准为审判管理工作提供了制度基础，指明了工作方向，引导法官树立“司法质量第一”意识，最大限度优化司法资源配置，提高审判管理水平。

3、促进法院科学发展的“助推器”

人民法院要服务好经济社会科学发展，必须确保自身科学发展。加强案件质量评估是人民法院苦练内功、强基固本，实现自身科学发展的有效途径。自2011年初中国特色社会主义法律体系宣告形成后，党和国家对法律实施的要求更加突出迫切，人民群众对司法工作的需求期待日益增多，新时期人民法院依法履职，维护群众合法权益，实现社会公平公正的任务也更加繁重。开展案件质量评估，将看似抽象的司法质量判断通过评估体系确定的若干科学指标进行定量分析，对法院和法官个人提出更高的要求，规范司法行为，提高案件质量，提升审判执行工作的公信力，促进社会公平正义和谐稳定，从根本上实现审判工作的良性循环和可持续发展。

（三）案件质量评估体系的构建原则

1、具有符合性

（1）符合公正与效率的价值目标。“公正与效率”是人民法院工作的永恒主题，构建案件质量评估体系也应围绕这一主题，体现审判活动的价值追求。（2）符合法律规定及精神。人民法院审理案件、处理纠纷的全过程皆有程序法与实体法方面的严格要求，对其进行评价的量化模型―评估体系的构建运行自然也需要法律的规制。（3）符合司法权运行规律。案件质量评估体系是对案件质量的动态管理，是审判管理的一部分，管理的目的是为了服务和保障审判，故管理权的运作空间应以司法规律为限。

2、具有可比性

评估体系的构建须考虑不同地区法院、同一法院内部不同业务部门、不同案件承办人的审判工作情况，以便于横向比较，发挥评估指标的正确导向作用和法官主观能动性，积极寻找差距，优化行为，以更好实现司法公正高效。

3、具有系统性

（1）不同监控环节需要设置不同功能的指标。不同指标有不同功能，不同监控环节的内在要求也不一，因此需要根据不同监控环节的内在要求去选择和设置相应的指标，达到评价的目的。（2）指标之间须协调一致。单一指标只是对某个阶段某个环节的解读，审判管理活动是一个整体，各单一指标须有序衔接，形成完整统一体，避免因过分强调某个或某几个指标的局部意义，把审判管理工作引入歧途。（3）指标数据真实、准确且方便提取，评估结果能够反映审判工作实际状况。

二、案件质量评估体系的运用风险

（一）单一指标的片面化风险

单一指标之间的有序衔接、有机结合构成整个评估体系；评估体系的健康运行需要宏观把握，综合运用各单一指标，使整体功效最大化。但实践中，由于对单一评估指标、评估体系及两者之间的辩证关系认识不足，导致案件质量评估工作片面化。

1、单一指标评价案件质量的风险。例如，大多数案件通过调解方式结案后，双方的矛盾能够彻底解决，但也有部分案件调解后因各种原因当事人未能实际履行，进而可能会激化双方矛盾，所以仅依据调解率指标评价法院或法官个人化解社会矛盾的水平是不全面的，必须结合调解案件申请执行率、再审审查率等指标综合、延伸评价调解案件的质量，全面衡量法院法官案结事了的工作水平。如下表是从本市全部基层法院全年审判质效数据中选取的两个单一指标，从该表可看出，全年平均审理天数最低（审判效率最高）的是I县法院，但与此同时该法院二审改判发回瑕疵率（质量指标）也是最高的，C县法院则刚好与之相反。

2、部分单一指标与案件质量相关度不大。由于审判工作的复杂性，一些单一指标不仅受法官自身的主观因素影响，也受诸如当事人素质及诉讼偏好、案件数量、案件类型、难易程度等法院自身难以控制的客观因素的影响。如上诉率、申诉率指标与当事人的主观意志就有很大关系；法官人均结案数则与法院受理案件数量有密切关系。此类指标应更多作为参考指标，不宜单纯作为评估司法优劣的绝对指标。           

3、单纯追求指标数据优化提高。单项指标数据并不是越高越好或越低越好。例如案件改判发回率指标，过高表明审判质量有问题；但如果过低，也可能在一定程度上反映了审级监督不力。故只要指标数据在一个合理区间内就应当是正常、被允许的。

（二）指标数据的排位风险

对单一指标数据逐个排位定名次，会对法官的司法策略产生一定消极影响。

法院审判的首要目的在于实现个案公正，当众多案件都达到这一目的时，案件质量就应当呈现较为理想的状态，这是实现司法正义的正常逻辑。[2]而对单一指标数据排位并作为奖罚依据将这一逻辑颠倒，评估指标和争取排位靠前的巨大压力形成于案件办理之前，个案办理的进程和结果将可能因此扭曲。法官功利性的追求指标排名，如其不能达至预期目标，则尽可能上交矛盾，趋利避害，回避个人责任。其消极影响在于：一是法官个人作为审判主体的地位被弱化甚至虚化，成为单纯的被管理者，案件质量评估的认同度参与度降低；二是倒逼法官把工作重点放在如何提高指标数据方面，而非通过提高审判智慧。对调撤率、简易程序适用率等指标的过高追求，造成法官办理个案时为了尽量追求好的评估结果，可能不惜违法调解、不当适用简易程序，违背案件办理的真实进程，间接损害当事人的诉讼权利。最终背离案件质量评估指标的设计初衷。

（三）评估体系的同构性风险

案件质量评估体系的同构性，削弱了案件质量管理的激励作用。

 “绩效管理的作用在于强调对结果的导向，落实责任，追求个人绩效和组织绩效的双赢。”[3]从管理者角度看，案件质量管理就是通过评估指标数据结果的反映，激励相对落后法院和法官个人赶超先进，形成良好的竞争氛围，共同提升案件质量。同时，这一初衷也是对案件质量进行管理的正当性依据。但由于案件质量评估指标体系的同构性，使案件质量管理的激励作用削弱。一方面表现为评估指标设置的同构性，不区分法院所处区域经济社会发展情况；另一方面表现为评估方法的同构性，不区分不同法院的地域、审级及同一法院内部不同业务部门的差别。评估体系在运作过程中较为粗糙，造成评估的科学性和合理性大打折扣，评估结果的公正性也受到一定程度上的质疑，挫伤部分法院和法官的积极性，分化了评估对象。

三、建立三大机制可有效规避风险

（一）建立评估体系评价机制

评价机制是指对评估体系的效度（validity）[4] 进行客观评价的规则和制度，它包括评价主体、评价对象、评价标准、评价结论的发布与利用，是对整个案件质量评估指标体系运行状况的宏观认识和把握。评估体系的指标设置是否合理，指标数据利用是否科学，评估体系的现实功能如何，对司法行为有无不良导向作用，都必须有一套客观的评价机制，在审判实践中不断评估和修正。

评价主体。应当建立相对独立（同一法院内部）、统一（不同地域、不同审级法院之间）的评价机构，且原则上评价机构应为评估指标数据的统计、分析、发布机构。目前，全国各级法院大多建立了专门的审判管理机构，负责案件质量管理在内的其他各项审判事务性管理工作。以笔者所在基层人民法院为例，2012年即成立了具有独立编制、功能齐全的审判管理办公室，从事指标数据采集、统计、分析、发布工作。组织专门人员定期（一般以月为单位）对评估指标数据变化情况进行评价，通过座谈、走访、调查等多种方式收集各种资料数据，评价审判工作、提出完善建议，并定期向全院发布。另外，对评估体系的评价也要随着审判实践发展而变化，单项评估指标的取舍及重要程度会随着形势变化（如司法理念、经济社会条件）而变化，评价机构也应当适时对单项指标作出相应调整。

评价对象及标准。即对评估体系的有效性进行客观评价。（1）内容效度（content-related validity）：选取的评估指标本身是否适合于评价案件质量，即指标设置的适当性；（2）构想效度（construct-related validity）：评估指标能够在多大程度上客观反映案件质量水平，即指标的关联性；（3）校标效度（criterion-related validity）：评估指标数据结果与案件质量水平的一致程度，即指标数据的真确性。内容效度和构想效度是校标效度的保证，又须得到它的支持。也即指标的适当性、关联性是指标数据真确性的保证，又须真确性的支持。如,“上诉率”指标，它既从一个侧面反映了某一法院的案件质量，也和当事人是否服判息诉有关，而是否服判息诉，和一个地区当事人的诉讼文化和诉讼心态有着密切的关系,同时，“调解率”“撤诉率”的高低对“上诉率”也会产生影响。[5]（另外，对于“上诉率”指标，笔者还认为，法院及法官个人不宜承担除司法职能以外的其他过多职能。在此不作论述。）

（二）建立评估指标分析利用机制

案件质量评估指标体系在运行过程中会产生大量数据，这些数据是什么、折射出什么问题、如何理性看待、合理利用它们，都关系到案件质量能否得到切实有效的提高，所以有必要建立一套与指标数据相适应的评估指标分析利用机制。如笔者所在基层法院的审判管理办公室，在综合采集各项指标数据的基础上，定期制定审判运行态势分析，通过运用科学的分析方法解读各项指标，发现审判不足、提出完善建议，为院领导科学决策提供了重要依据。这即是评估指标分析利用机制的具体表现之一。

在现行案件质量评估语境下，对评估指标进行分析利用的主要目的应当是服务司法决策和绩效考评。同时，这也是客观、理性的评估指标分析利用机制应具备的两大基本功能。

关于司法决策。司法决策是对审判管理工作成果的一种转化，通过对单项评估指标的个别分析和整个评估体系的系统分析后，从数据中发现问题，据此作出决策，制定相应的规章制度、乃至司法解释等，从而确保了决策的针对性、有效性，最终达到提升审判质量的终极目标，实现审判工作的良性循环。

绩效考评。利用数据指标对个人的审判业绩进行恰如其分的评价不是一件容易的事，现行的审判质量效率评估体系的建立为业绩考评提供了量化的数据，使各家法院对审判工作实绩进行客观评价提供了可能。[6]一方面，依据评估指标对法官审判实绩进行考评有其合理性和必要性，但另一方面不容忽视的是，因评估指标及评估体系与生俱来的局限性，完全以指标数据评价法官工作难免会有失偏颇。所以在运用评估指标进行业绩考评时，既要重视法官的审判业务能力，也要重视其综合能力；既要重视案件质量，也要重视法官个人“质量”。全方位反映法官个人的工作实绩。

这里须强调的是，在司法决策和业绩考评中，应当杜绝以数据论英雄、以数据排座次、盲目迷信指标数据等非理性现象。审判质量评估指标体系是各单项指标有机结合的统一体，各单项指标之间有其内在联系，要善于透过指标数据的表现发现内在的规律性东西，理性分析审判工作态势。重视但不迷信指标，才应当是对评估指标分析利用的理性态度。

（三）建立评估体系矫正机制

矫正机制是对上述两大机制的补充和完善，是针对评估体系在运行过程中出现的问题采取补救措施的一种方式、方法。矫正机制主要针对三个方面的问题。

一是对评估体系自身的制度问题进行矫正。主要是指标采集的合理性、指标设置、指标数据的转化等。如，随着形势的发展，指标在运行过程中出现不合时宜的现象是完全可能的；再如，由于地区经济客观差异，执行案件的难易程度也不一致，诸如“执行标的清偿率”等指标在不同地区之间可比性不足，必要时应予以适当调整。

二是对指标数据的不当操作行为进行矫正。评估体系的运行需要以对大量数据的采集、统计、分析、利用为后盾，抛开客观因素影响，因对指标的主观不当操作行为导致数据采集不真实（如隐性超审限问题）、分析利用不客观（唯指标论）的现象在实践中并不少见，对此类不当行为进行矫正是保证评估体系健康运行的必要条件。对此，除了加大上级法院的监督检查力度外，还应建立完善审判案件信息录入规则、审判质量管理工作规程等制度性规定，加强对个案办理的有效制约。另外，须明确惩戒办法，对数据虚假操作行为一经发现严肃处理。

三是对评估体系运行过程中的不当司法行为进行矫正。主要体现在评估指标的分析利用阶段，由于部分法官功利性的追求指标排名，以至于出现一些背离评估体系设计初衷，违背司法价值追求的不当司法行为。如为提高调解率、降低平均审理天数，而出现不宜调解的违法调解、强迫调解，适合调解的不愿做过细的调解工作等。对此，应重视指标评价的全面性和综合性，忌以单项指标数据排名衡量案件质量优劣，充分运用各项指标。如，对于一味追求效率指标的，综合运用质量指标的设置加以控制；对于丝毫不注重审判社会效果的，可以设置一些诸如公众满意度、信访投诉率的指标加以矫正，以防偏差。

四、结语

 近年来，人民法院常常站在舆论的风口浪尖，一面是案多人少的压力，法院法官辛苦工作；另一面是公众批评、指责不断。除却审判质量自身的原因，很大程度上也是因为对司法审判质量缺乏统一的认识与评价，造成法院内部和社会公众之间的认知脱节，影响了审判工作良性循环。案件质量评估体系的建立，确立了案件质量的量化标准，对促进法院科学发展等方面都具有重大的现实意义。包括评估体系在内的任何一项制度的建立、运行过程中，都会或多或少存在这样那样的风险，但绝不能因噎废食，正视问题、解决问题才是我们应有的态度。“制度形成的逻辑，并不如后来学者构建的那样是共时性的，而更多是历时性的。制度的发生、形成和确立都在时间流逝中完成，在无数人的历史活动中形成。”[7] 案件质量评估指标体系亦如此，它需要在审判实践的基础上不断加以总结完善，无限趋近于公正与效率的司法价值追求，使其获得持续的生命力和活力。

[1]  引自浙江省高院《浙江法院信息》第56期（2013）。

[1]  倒闭的8家不锈钢企业：浙江松钢管业制造有限公司、浙江浩宇不锈钢有限公司、浙江康星不锈钢有限公司、浙江爱德利管业有限公司、松阳以勒钢管有限公司、浙江浩博不锈钢有限公司、浙江瑞阳特钢有限公司、浙江华钢不锈钢制造有限公司。

[1]  引自《松阳统计资料》2013年第3期。

[1]  《浙江省个体工商户转企业及小微企业规范升级工作意见》（2013）要求，全力支持具有一定规模的个体工商户转型升级为企业，扶持小微企业做大做强。