5.2 메타평가 결과 양적 분석
5.2.7 메타평가 양적 분석 결과종합
평가 영역
평가
항목 평가지표 순위 평균 분산 편차 개선 순위
진단 계획 (P)
진단 여건
P1-① 진단의 법적․제도적 근거의 명확성 2 3.77 0.7627 0.8697 6 P1-② 진단규정의 형태 및 내용적 적합성 15 3.56 0.6315 0.7914 18 P1-③ 진단항목의 세부 진단기술기준 명확성 31 3.43 0.6471 0.8011 9 진단
목표
P2-① 진단목표의 명료성 3 3.77 0.6793 0.8208 20 P2-② 진단목표의 해상교통안전적 가치 고려 부합성 1 3.90 0.7401 0.8567 16 P2-③ 진단목표의 지속가능성과 인근 예정사업간 연관성 고려의 적절성 19 3.52 0.6517 0.8039 12 진단
대상
P3-① 진단대상의 진단서 제출(면제) 대상여부 검토의 적절성 41 3.16 0.9001 0.9448 1 P3-② 대상사업 시행 추진 대비 진단대상의 진단시기 적절성 36 3.31 0.9640 0.9778 5 P3-③ 진단대상의 진단범위 설정 적절성 26 3.46 0.8174 0.9003 9 진단
설계
P4-① 대상사업 특성을 고려한 진단계획의 구체성 35 3.32 0.5536 0.7409 14 P4-② 진단 수행자들간 역할분담과 권한의 명확성 40 3.26 0.7421 0.8579 22 P4-③ 사전조사 등을 통한 이해관계자와 요구사항 파악의 정확성 21 3.49 0.7019 0.8343 20
진단 투입 (I)
진단 역량
I1-① 진단(대행)기관의 진단기능 부합 여부 6 3.67 0.7065 0.8370 15 I1-② 진단(대행)기관의 중립성과 독립성 34 3.33 0.9398 0.9654 4 I1-③ 진단인력 구성의 질적(전문성)․양적(규모) 충분성 28 3.44 0.6982 0.8321 18 진단
비용
I2-① 진단비용 규모의 적정성 44 3.01 1.0749 1.0325 3 I2-② 진단비용의 안정적 지원 여부 43 3.05 0.9642 0.9779 21 진단
자료
I3-① 이용 가능한 진단자료의 질적․양적 충분성 37 3.31 0.6006 0.7717 23 I3-② 진단자료의 활용가치가 있는 핵심내용 포함 여부 12 3.61 0.5895 0.7646 22 진단
기간
I4-① 진단항목별 투입기간 및 진단서 작성기간의 적절성 29 3.44 0.5815 0.7594 20 I4-② 진단 협의기간의 충분성 33 3.37 0.6022 0.7728 16
Table 5.37 Quantity Analysis Result of Evaluation Index(Index Order)
진단 수행 (P')
진단수 행방법
P'1-① 진단대상 특성에 부합하는 진단항목 설정 여부(필요시 추가․제외) 17 3.54 0.5007 0.7047 18 P'1-② 진단항목별 기술기준을 수용․적용의 충분성 5 3.68 0.4369 0.6583 22 P'1-③ 신뢰할 수 있는 질적․양적 평가방법 활용의 적절성 20 3.51 0.5853 0.7619 8 진단
수행 내용
P'2-① 현황조사의 적정성 9 3.64 0.6833 0.8232 16 P'2-② 현황측정의 적정성 25 3.48 0.7683 0.8729 15 P'2-③ 해상교통시스템(통항․접이안․계류․해상교통류) 평가의 정확성 4 3.69 0.6474 0.8013 18
진단 수행 절차
P'2-④ 해상교통안전대책의 객관적․합리적 도출 여부 7 3.67 0.7398 0.8566 13 P'3-① 진단절차의 일관성 및 충실성 13 3.60 0.5080 0.7098 22 P'3-② 진단수행자와 이해당사자간 의사소통의 충분성 22 3.49 0.6686 0.8143 15 P'3-③ 진단과정에서 진단인력들의 균형적 시각 유지 여부 23 3.49 0.6853 0.8244 17
진단 결과 (O)
보고서 신뢰성
O1-① 진단보고서 구성 및 내용의 합리성 10 3.62 0.5543 0.7414 11 O1-② 진단결과․대안제시의 타당성 및 실현가능성 18 3.53 0.7012 0.8339 12 보고서
유용성
O2-① 진단보고서 이해관계자 요구 반영 정도 24 3.49 0.6186 0.7833 19 O2-② 진단보고서 내용에 대한 이해의 용이성 39 3.28 0.5871 0.7630 7 진단
결과 보고
O3-① 진단결과 보고(배포) 시기 및 공개 범위의 적절성 32 3.42 0.7125 0.8406 19 O3-② 진단결과에 대한 이의제기 기회의 충분성 38 3.29 0.9073 0.9486 10 O3-③ 진단결과 분석 및 검토(협의․보완) 절차의 적절성 27 3.45 0.7333 0.8528 22
진단 활용 (U)
진단 결과 관리
U1-① 처분기관의 대상사업 승인 시 진단결과 반영 정도 11 3.62 0.6043 0.7741 19 U1-② 진단결과에 대한 대상사업자의 수용․이행 여부 16 3.55 0.5333 0.7273 19 U1-③ 대상사업자의 이행사항에 대한 모니터링 체계의 적정성 42 3.12 0.7595 0.8679 2 진단
결과 활용
U2-① 진단(대행)자․검토(심사)자 측면의 진단결과 활용 충분성 14 3.60 0.6263 0.7881 15 U2-② 진단결과가 관련자의 사고에 미치는 영향성 8 3.66 0.6926 0.8288 20 시스템
개선 U3-① 진단시스템 자체에 대한 평가 및 개선활동의 적절성 30 3.44 0.6315 0.7914 14 (주) Bold : 차이분석 결과, 차이가 있음.
3 3.25
3.5 3.75
4
P1-① P1-② P1-③ P2-① P2-② P2-③ P3-① P3-② P3-③ P4-① P4-② P4-③ I1-① I1-② I1-③ I2-① I2-② I3-① I3-② I4-① I4-② P'1-① P'1-② P'1-③ P'2-① P'2-② P'2-③ P'2-④ P'3-① P'3-② P'3-③ O1-① O1-② O2-① O2-② O3-① O3-② O3-③ U1-① U1-② U1-③ U2 ①
평점평균
0 5 10 15 20 25
P1-① P1-② P1-③ P2-① P2-② P2-③ P3-① P3-② P3-③ P4-① P4-② P4-③ I1-① I1-② I1-③ I2-① I2-② I3-① I3-② I4-① I4-② P'1-① P'1-② P'1-③ P'2-① P'2-② P'2-③ P'2-④ P'3-① P'3-② P'3-③ O1-① O1-② O2-① O2-② O3-① O3-② O3-③ U1-① U1-② U1-③
개선순위
Fig. 5.55 Quantity Analysis Result of Evaluation Index(Grade & improvement priority Order)
평점평균은 최소 3.01점(I2-①, 진단비용 규모의 적정성)에서 최대 3.9점(P2-
②, 진단목표의 해상교통안전적 가치 고려 부합성)까지로 분석되었으며, 평점평 균이 낮은 평가지표 10개는 Table 5.38과 같다.
평가지표 순위 평균 분산 편차 개선
순위
I2-① 진단비용 규모의 적정성 44 3.01 1.0749 1.0325 3
I2-② 진단비용의 안정적 지원 여부 43 3.05 0.9642 0.9779 21 U1-③ 대상사업자의 이행사항에 대한 모니터링 체계의 적정성 42 3.12 0.7595 0.8679 2 P3-① 진단대상의 진단서 제출(면제) 대상여부 검토의 적절성 41 3.16 0.9001 0.9448 1 P4-② 진단 수행자들간 역할분담과 권한의 명확성 40 3.26 0.7421 0.8579 22 O2-② 진단보고서 내용에 대한 이해의 용이성 39 3.28 0.5871 0.763 7 O3-② 진단결과에 대한 이의제기 기회의 충분성 38 3.29 0.9073 0.9486 10
I3-① 이용 가능한 진단자료의 질적․양적 충분성 37 3.31 0.6006 0.7717 23 P3-② 대상사업 시행 추진 대비 진단대상의 진단시기 적절성 36 3.31 0.964 0.9778 5 P4-① 대상사업 특성을 고려한 진단계획의 구체성 35 3.32 0.5536 0.7409 14
Table 5.38 Quantity Analysis Result of Evaluation Index(10 Index with Poor Grade)
(주) Bold : 차이분석 결과, 차이가 있음.
평가지표별 개선우선순위는 진단대상의 진단서 제출(면제) 대상여부 검토의 적절성(P3-①)이 가장 시급하며, 이용 가능한 진단자료의 질적․양적 충분성(I3-
①)에 대한 개선이 상대적으로 시급하지 않는 것으로 분석되었으며, 개선우선순 위 결과 개선이 시급한 지표 10개는 Table 5.39와 같다.
평가지표 순위 평균 분산 편차 개선
순위 P3-① 진단대상의 진단서 제출(면제) 대상여부 검토의 적절성 41 3.16 0.9001 0.9448 1 U1-③ 대상사업자의 이행사항에 대한 모니터링 체계의 적정성 42 3.12 0.7595 0.8679 2
I2-① 진단비용 규모의 적정성 44 3.01 1.0749 1.0325 3
I1-② 진단(대행)기관의 중립성과 독립성 34 3.33 0.9398 0.9654 4 P3-② 대상사업 시행 추진 대비 진단대상의 진단시기 적절성 36 3.31 0.964 0.9778 5 P1-① 진단의 법적․제도적 근거의 명확성 2 3.77 0.7627 0.8697 6 O2-② 진단보고서 내용에 대한 이해의 용이성 39 3.28 0.5871 0.763 7 P'1-③ 신뢰할 수 있는 질적․양적 평가방법 활용의 적절성 20 3.51 0.5853 0.7619 8 P1-③ 진단항목의 세부 진단기술기준 명확성 31 3.43 0.6471 0.8011 9 P3-③ 진단대상의 진단범위 설정 적절성 26 3.46 0.8174 0.9003 9 O3-② 진단결과에 대한 이의제기 기회의 충분성 38 3.29 0.9073 0.9486 10
Table 5.39 Quantity analysis result of Evaluation Index(10 Index with Poor priority)
(주) Bold : 차이분석 결과, 차이가 있음.
평점이 낮은 평가지표 10개와 개선이 시급한 평가지표 11개 중 공통으로 해 당되는 지표 6개(P3-①, U1-③, I2-①, P3-②, O2-②, O3-②, *표시)를 포함하여 전체 15개의 지표로 선정할 수 있으며, 이를 개선순위를 먼저 고려하여 Table 5.40과 같이 나타낼 수 있다.
평가지표 순위 평균 분산 편차 개선
순위 비고 P3-① 진단대상의 진단서 제출(면제) 대상여부 검토의 적절성 41 3.16 0.9001 0.9448 1 * U1-③ 대상사업자의 이행사항에 대한 모니터링 체계의 적정성 42 3.12 0.7595 0.8679 2 * I2-① 진단비용 규모의 적정성 44 3.01 1.0749 1.0325 3 * I1-② 진단(대행)기관의 중립성과 독립성 34 3.33 0.9398 0.9654 4 P3-② 대상사업 시행 추진 대비 진단대상의 진단시기 적절성 36 3.31 0.964 0.9778 5 * P1-① 진단의 법적․제도적 근거의 명확성 2 3.77 0.7627 0.8697 6 O2-② 진단보고서 내용에 대한 이해의 용이성 39 3.28 0.5871 0.763 7 * P'1-③ 신뢰할 수 있는 질적․양적 평가방법 활용의 적절성 20 3.51 0.5853 0.7619 8
P1-③ 진단항목의 세부진단기술기준 명확성 31 3.43 0.6471 0.8011 9 P3-③ 진단대상의 진단범위 설정 적절성 26 3.46 0.8174 0.9003 9 O3-② 진단결과에 대한 이의제기 기회의 충분성 38 3.29 0.9073 0.9486 10 * P4-① 대상사업 특성을 고려한 진단계획의 구체성 35 3.32 0.5536 0.7409 14
I2-② 진단비용의 안정적 지원 여부 43 3.05 0.9642 0.9779 21 P4-② 진단 수행자들간 역할분담과 권한의 명확성 40 3.26 0.7421 0.8579 22 I3-① 이용 가능한 진단자료의 질적․양적 충분성 37 3.31 0.6006 0.7717 23
Table 5.40 Quantity analysis result of Evaluation Index with Poor Grade & Priority
(주) Bold : 차이분석 결과, 차이가 있음, * 공통지표
특히, P3-①, U1-③, I2-①, P4-①, I2-②, P4-②에 대해서는 평가지표에 대한 현황 만족도가 떨어지고 개선이 시급한 것으로 평가되나 평가집단 간 차이가 있는 것으로 분석되었다. 즉, 진단에 대한 불만족은 사업자 및 처분기관이 대행 기관이나 검토기관이 인식하는 것보다 높은 것으로 특히, 해당 사업에 대해 진 단을 수행해야하는 사업자 측의 진단에 대한 인식이 낮은 편이므로 이들의 시 각차를 줄일 수 있는 방안이 필요하다.
이들 지표 중 Fig. 5.56과 같이 진단계획(P) 7개(46%), 진단투입(I) 4개(27%), 진단수행(P') 1개(7%), 진단결과(O) 2개(13%), 활용(U) 1개(7%)로 진단계획 영역이 전체의 절반을 차지하여 진단계획 영역의 개선이 가장 시급함을 알 수 있다.
진단계획영역 P3-① P3-② P1-① P1-③ P3-③ P4-① P4-②
진단투입영역 I2-① I1-② I2-② I3-①
진단수행영역 P'1-③
진단결과영역 O2-② O3-②
진단활용영역 U1-③
개선의 시급성
Fig. 5.56 The urgently needed Improvements in Evaluation Domain
평가항목별 상관관계를 종합하면 Fig. 5.57과 같이 각 영역별 전후 영역과 매 우 상관관계가 있으며 특히, 진단투입(Input)과 진단결과(Output)는 매우 상관관 계가 있다. 아울러, 진단수행(Process)은 진단계획(Plan)과 진단활용(Utilization)에 다소 상관관계가 있음을 알 수 있다.
진단계획은 진단투입과 진단수행에 영향을 미치는 영역으로서 올바른 제도 정립을 위해서는 진단계획 영역의 개선이 중요함을 알 수 있다.
진단계획 (Plan)
진단투입 (Input)
진단수행 (Process)
진단결과 (Output)
진단활용 (Utilization)
상관관계 0.75 이상
상관관계 0.70 이상 0.75 미만
Fig. 5.57 Correlation Result of Evaluation Domain
또한, 121명을 대상으로 실시한 설문에 대한 요인분석 결과, Fig 5.58과 같이 일부 평가지표의 평가항목이 변경될 수 있음을 시사하고 있다. 이는 본 연구에 서 메타평가 틀로서 검증한 평가지표별 평가항목에 차이가 있는 것이기는 하 나, 이는 해당 평가지표가 변경 가능한 평가항목과 상관관계가 있음을 나타내 는 것이기도 하다.
본 연구에서는 후자와 같이 상관관계가 있음을 나타내는 것으로 분석하였다.
평가지표 평가항목
진단대상 (P3)
진단설계 진단대상의 진단범위 설정 적절성 (P4)
P3-③
진단역량 (I1)
진단자료 진단(대행)기관의 진단기능 부합 여부 (I3)
I1-①
진단역량 (I1)
진단자료 진단인력 구성의 질적(전문성)·양적(규모) 충분성 (I3)
I1-③
진단수행방법 (P’1)
진단수행내용 (P’2) 신뢰할 수 있는 질적·양적 평가방법 활용의 적절성
P‘-③
진단보고서 유용성 (O2)
진단보고서 신뢰성 진단보고서 이해관계자 요구 반영 정도 (O1)
O2-①
진단결과관리 (U1)
진단시스템개선 대상사업자의 이행사항에 대한 모니터링 체계의 적정성 (U3)
U1-③
Fig. 5.58 Factor Analysis Result of Evaluation Item