原创|PPP项目绩效评价指标权重确定方法的对比分析


来自:睿立方咨询     发表于:2019-08-06 12:15:24     浏览:525次

2019年5月财政部办公厅发布PPP项目绩效管理操作指引明确提出对绩效管理的相关要求。权重确定作为绩效评价的重要一环,本文就该政策文件中提到的四种方法进行概述和对比分析,从而加深对其乃至PPP绩效评价的认识。

作者:李祉豪 睿立方研究中心高级研究员

单位:南京睿立方投资咨询有限公司

一、引言绩效评价作为PPP项目全流程的重要环节,其结果能够直接反映项目的社会经济效益达标情况,从而更好的监督财政支出的实施效果,使财政支出花到实处,找到效果。
当前形势下,财政部和国务院相关机构对PPP项目绩效评价提出了新要求并再三强调其在PPP项目开展中的重要性。为贯彻落实《关于全面实施预算绩效管理的意见》(中发〔2018〕34号),财政部办公厅于2019年5月发布《关于征求对<政府和社会合作(PPP)项目绩效管理操作指引(征求意见稿)>意见的函》(财办金〔2019〕39号)(以下简称“《操作指引》”)。《操作指引》第二章第九条对绩效指标体系的构建等相关内容提出了相应要求。其中明确提到确定指标权重的方法通常包括专家调查法、层次分析法、主成分分析法、熵值法等。因此本文就此四种方法进行概述并对比分析,从而增强对指标权重确定这一过程的认识。
二、权重确定方法概述1专家调查法

1. 简介

专家调查法又称德尔菲法,是指采取互相匿名的方式将绩效评价的相关内容分别传递至PPP领域具有丰富经验的专家学者,需彼此保持互不知晓。由各专家对项目绩效评价提出权重确定方案,然后汇总专家以见并整理汇总。随后将该汇总意见和对其方案的修改意见一并再次发给各专家,不断循环往复最终得到较为统一的意见并形成最终的权重确定方案。

2. 操作步骤


运用专家调查法确定权重可分为如下几步:
(1)按照项目的所属领域和绩效评价所需业务知识,确定参评专家。专家人数的多少,可根据项目涉及领域的宽窄而定,一般不超过20人。
(2)向所有专家提出绩效评价确定权重的相关背景资料和实施机构有关要求,同时请专家提出还需要什么材料。然后,由专家做书面答复。
(3)各个专家根据他们所收到的材料提出自己的权重确定方案,并说明自己的分析过程和权重确定的主要参考因素。
(4)将各位专家的方案进行汇总,必要时列成图表,进行对比,再分发给各位专家,让专家比较自己同他人的不同意见,修改自己方案和判断。也可以把各位专家的意见加以整理,或请身份级别更高的其他专家参加评论,然后把这些意见再分送给各位专家,以便他们参考后修改自己的方案。
(5)将所有专家的修改方案收集起来进行汇总,再次分发给各位专家,以便做二次修改。收集方案和信息反馈一般要经过三、四轮。在向专家进行反馈的时候,只给出各种意见,但并不说明发表各种意见的专家的具体姓名。这一过程重复进行,直到每一个专家不再改变自己方案为止。
(6)对专家的方案进行综合处理,形成最终统一的绩效评价权重确定方案。
2层次分析法

1. 简介


层次分析法是一种定性与定量相结合的分析方法。通过这种方法将复杂问题分解为若干层次和若干因素,在各因素之间进行简单的比较计算就可以得出不同评价指标重要性程度的权重,从而为绩效评价提供依据。

2. 操作步骤

层次分析法确定权重的操作过程大体可以分为如下几步:
(1)明确评价对象和评价目标。包括明晰绩效评价的考核范围、评价指标体系所包含的因素、各因素之间的关系等,从而全面准确反映绩效评价对象的信息。
(2)建立绩效评价指标体系层次结构。将绩效评价考核内容所含因素进行分组,把每一组作为一个层次,并按照总体目标(目标层)—一级指标(准则层)—次级指标(措施层)的次序排列,从而形成全面的绩效评价指标体系。

1  判断矩阵制表/李祉豪

(4)层次单排序。层次单排序的目的,是对于上层次中的某指标而言,确定本层次与之有联系的各指标素重要性次序的权重值,以此为基础进行后续的层次总排序。在确定权重时还需要对之前构造的判断矩阵进行一致性检验。检验的目的在于衡量判断矩阵的判断标准在层次单排序和总排序中是否一致,也就是说在对每一层次各指标进行相对重要性程度判断取值时应保持一致标准,否则会缺乏信度。
(5)层次总排序。将同一层次中所有指标层次单排序的结果进行归并计算得到本层次所有指标的重要性权重值,即为层次总排序。层次总排序需按照从上到下的顺序逐层进行。
(6)结果分析。根据层次单排序和层次总排序的结果,我们可以得到每一层次结构中所有指标所占权重的大小和整个绩效评价指标体系中所有指标所占权重的大小,从而为绩效评价提供权重依据。
3主成分分析法

1. 简介


主成分分析法是一种对复杂问题降维处理的定量分析方法。针对绩效评价涉及众多考虑因素及评价指标,主成分分析法通过权重设置把众多考虑因素及评价指标转化为较少的几个综合指标即主成分的统计分析方法。

2. 操作步骤


主成分分析法确定权重的操作步骤如下:
(1)构造相关系数矩阵。假定有n个评价指标,计算评价指标xi与xj的相关系数rij(i,j=1,2,…n),其中rij=rji。最终得到如下表2所示相关矩阵,记为R:
表2  相关系数矩阵制表/李祉豪
(2)求特征值。解方程∣λI-R∣=0,I为同阶单位矩阵,求出特征值λ,并按大小顺序排列λ1≥λ2≥…≥λn
4熵值法

1. 简介


熵值法是一种定量分析方法,借助物理学中有关熵的概念运用一系列算法和公式运算最终得到每个指标的熵值大小,从而得到它在评价体系中所占权重的大小。

2. 操作步骤


运用熵值法确定权重的操作步骤如下:
假定有m个被评价对象,n个评价指标,形则成的原始指标数据矩阵为Xij=(xij)m×n,i=1,2…m,j=1,2…n。



三、几种方法对比分析在概述上述四种确定权重的方法及具体操作步骤后,我们有必要将其进行对比分析并总结其各自优缺点。
1专家调查法从时效性来说,专家调查法需要大量人力和时间,操作周期较长,从而对整个绩效评价进度产生较大影响,相比之下另外三种方法在掌握充分信息之后即可进行计算,操作周期较短。此外专家调查法还需与多方进行沟通协调,权重的确定存在较大主观性。但就整个绩效评价过程来说,能够听取各领域专家意见,从而对整个绩效评价过程取长补短,集思广益,提高其准确性和权威性。
2层次分析法


层次分析法能够将复杂的权重问题进行分解并形成层次结构,通过一定的算法得到权重,操作较为简单,实用性和时效性较强,通过一致性检验也能提高确定权重的客观性。但其存在不足之处在于权重确定所参照的判断矩阵得分是主观判断的结果,个人主观性的判断对最终权重确定会产生明显的影响,而一致性检验在一定程度上虽能纠正该问题但并未彻底解决。
3主成分分析法主成分分析法确定权重客观性较强,而且能够直接揭示那些在绩效评价中具有重要影响程度的指标,适合把结构复杂、层次较多的绩效评价指标体系进行简化处理,从中找出那些具有决定性意义的指标。但该方法算法和统计操作较为复杂,对绩效评价实施人员专业性要求较高,就某一项目而言在操作过程中容易忽视那些虽然权重较小但对该项目具有重要影响的指标。
4熵值法熵值法相比层次分析法其权重确定更为客观可靠,也更具有说服力。相比主成分分析法而言操作简便,考虑了各项指标,对问题分析较为全面。但熵值法在实际运用的前提是需要搜集大量样本和能够量化的指标,就单个项目尤其是项目建设期和运营初期的绩效评价其实用性较低,那些不易量化的定性指标也无法进行权重设置。
5总体比较在对上述四种权重确定方法分别进行单独分析之后,有必要将四种方法放在一起进行总体比较,从而站在宏观的角度形成对四种方法运用的认识。四种权重确定方法的总体比较如下表3所示:
表3  四种权重确定方法的总体比较制表/李祉豪
表3清楚揭示了四种权重确定方法在实际运用中的注意点,同时也为我们横向比较了4种方法的各自优缺点,因而对我们进行PPP绩效评价提供相应指导。下面结合PPP项目回报机制分析四种方法的具体运用问题。
根据《财政部关于规范政府和社会资本合作合同管理工作的通知》(财金〔2014〕156号)中附件《PPP项目合同指南》第三章,“项目回报机制指的是项目收入的来源方式,主要包括政府付费、使用者付费、可行性缺口补助,由项目自身经营属性所决定。”PPP项目的行业、运作方式及具体情况的不同,需要设置不同的回报机制。项目回报机制决定了社会投资者的回报方式及稳定性,是PPP项目运作成功的关键。PPP项目不同回报机制对绩效评价的侧重点和要求各不相同,因此在确定权重时应适时采用最为匹配的方法。
政府付费型项目由于运营期完全由政府财政支出进行补贴,易形成较大的财政支出资金压力,因而对财政资金使用效率和运营期进行绩效考核显得十分重要。这反映在权重确定时就需要指标选择和权重的确定尽可能全面客观,能够科学准确反映项目实际运营情况,对数据要求以定量为主,因此较为适合的方法有主成分分析法和熵值法。
使用者付费型项目运营期内具有自主性收益,政府财政支出资金压力较小,项目回报有确定的时间分期和收益率,对项目绩效考核的重点偏向于运营整体绩效表现和收益实现形式,较为适合的方法有专家调查法和层次分析法。
可行性缺口补助型项目政府承担一定的财政支出压力,其绩效考核重点在于明确项目公司运营和政府财政支出的权责体系和各自指责下的实际绩效,因此较为适合的方法有层次分析法和主成分分析法。
根据PPP项目的不同回报机制进行权重确定方法的选择并没有千篇一律的固定形式,关键在于根据项目自身运营特点和绩效考核主体的具体要求灵活选择适合本项目的操作方法。
四、结语
纵观上述政策提到的四种权重确定方法,都是为了服务于PPP全流程的绩效评价,其宗旨都是为了更好的反映财政支出效率,提高政府履行公共财政的职能。在实际操作中应结合具体项目实施阶段和项目本身特点灵活运用,而不是生搬硬套,多管齐下。此外政策文件并未否定其他权重确定方法,因此在权重确定方面的操作具有较大灵活度和能动性。

本文为睿立方咨询原创,

转载请联系:[email protected]

END

推荐阅读

原创 | 由《政府投资条例》的解读引发对政府投资项目投融资模式的合规性探讨


原创 | 地方政府金控平台发展面面观(一)——地方政府金控平台发展正当时



睿于思  立于信  方致远




基础设施投融资咨询:并购重组、创新融资、基金管理;

管理咨询:战略规划、组织管控、薪酬绩效管理、国有企业改制;

PPP咨询:PPP项目咨询、中期评估

政策和体制研究:政策及行业研究、改革方案研究、会议培训。

版权声明:本文著作权归新newPPP平台所有,NewPPP小编欢迎分享本文,您的收藏是对我们的信任,newppp谢谢大家支持!

上一篇:《PPP动态》——2019年上半年累计258个项目退库!财政部门不得再按PPP政策和制度违规安排支出
下一篇: