4.2 해상교통안전진단 메타평가 모형의 구성요소 개발
4.2.2 메타평가 구성요소 수정안
들을 종합적으로 정리하고 환류 하는 형식을 취하였다.
먼저, 1차 조사는 면접조사 방식으로 전문가 20인 중 절반에 해당하는 전문 가 10인을 대상으로 2012년 5월 7일부터 18일까지 면대면 심층 면접을 실시하 여 메타평가의 세부구성요소 선정 등 수정안 작성에 관한 자문 받았다.
2차 조사는 설문조사 방식으로 2012년 6월 11일부터 22일까지 전문가 20인을 대상으로 e-mail을 통해 메타평가 구성요소 선정에 관한 설문지를 발송하여 회 신을 받은 후 이를 바탕으로 전화 또는 면대면 면접과정을 거쳐 수정 보완 작 업을 수행하였다.
2) 구성요소 수정내용
평가영역의 구성요소에 대한 평점평균은 Table 4.3과 같이 진단계획(4.40), 진 단투입(4.40), 진단수행(4.47), 진단결과(4.67), 진단활용(4.00)이 모두 4.0 이상으 로 모든 구성요소가 적절하여 총 5개 영역은 변경 없이 활용 가능하다.
평가영역 평균 분산 편차
진단계획(P) 4.40 0.4000 0.6110
진단투입(I) 4.40 0.5429 0.7118
진단수행(P') 4.47 0.2667 0.4989
진단결과(O) 4.67 0.2381 0.4714
진단활용(U) 4.00 0.2857 0.5164
전채영역 4.05 0.5277 0.6929
Table 4.3 The Result of Expert Survey in Evaluation Domain
평가항목의 구성요소에 대한 평점평균은 Table 4.4와 같이 진단결과 확산 (2.93) 평가항목을 제외하고 진단예산(3.87) 평가항목이 가장 낮았으며, 따라서 진단결과 확산 평가항목은 삭제하여야 할 항목으로 분석되었다.
또한, 전문가조사 의견을 반영하여 평가항목의 의미를 보다 명확히 하기 위 해 ① 진단예산→진단비용, ② 진단근거→진단여건, ③ 진단예산→진단비용, ④ 진단수행방법 및 진단수행내용→진단수행방법, ⑤ 진단수행항목→진단수행내용,
⑥ 진단결과 심사․사후관리→진단결과 관리로 명칭을 변경하고, ⑦ 진단결과 확 산은 삭제되어 총 19개 영역에서 17개 영역으로 변경하였다.
평가영역 평가항목 평균 분산 편차 진단계획(P)
진단근거 4.33 0.5238 0.6992
진단목표 4.27 0.3524 0.5735
진단대상 3.93 0.4952 0.6799
진단설계 3.93 0.4952 0.6799
진단투입(I)
진단역량 4.27 0.3524 0.5735
진단예산 3.87 0.4095 0.6182
진단자료 4.20 0.4571 0.6532
진단기간 4.00 0.5714 0.7303
진단수행(P')
진단수행방법 4.33 0.5238 0.6992
진단수행내용 4.33 0.3810 0.5963
진단수행항목 4.47 0.2667 0.4989
진단수행절차 4.33 0.3810 0.5963
진단결과(O)
진단보고서 신뢰성 4.67 0.2381 0.4714 진단보고서 유용성 4.20 0.6000 0.7483
진단결과 보고 3.73 0.6381 0.7717
진단결과심사 및 사후관리 4.27 0.6381 0.7717
진단활용(U) 진단결과 활용 4.00 0.2857 0.5164
진단결과 확산 2.93 0.9238 0.9286
전채영역 진단시스템 개선 3.80 0.4571 0.6532
Table 4.4 The Result of Expert Survey in Evaluation Item
평가지표는 진단대상, 진단설계, 진단역량, 진단수행절차, 진단보고서 유용성, 진단시스템 개선항목에 속하는 평가지표를 제외한 나머지 평가항목의 평가지표 일부 혹은 전부 변경되었다. 변경된 사항은 Table 4.5와 같이 삭제된 지표, Table 4.6와 같이 평가영역․항목이 변경된 지표, Table 4.7과 같이 합병된 지표 및 기타 변경된 지표로 재분류할 수 있다. 기타 변경된 지표의 경우, 의미를 보 다 명확하게 하기 위해 용어를 수정한 지표로서 ‘진단 관련 이해관계자 및 수 요파악의 적절성’을 ‘진단 관련 이해관계자 의견수렴의 적절성’으로 수정하 는 등 총 9개 지표의 용어가 변경되었다.
이로써 평가지표는 ① 진단근거 지표가 2개에서 3개로, ② 진단목표 지표가 4개에서 3개로, ③ 진단비용 지표가 3개에서 2개로, ④ 진단자료 지표가 3개에 서 2개로, ⑤ 진단기간 지표가 3개에서 2개로, ⑥ 진단수행방법 지표가 5개에 서 3개로, ⑦ 진단수행내용 지표가 3개에서 4개로, ⑧ 진단보고서 신뢰성 지표 가 3개에서 2개로, ⑨ 진단결과 보고 지표가 2개에서 3개로, ⑩ 진단결과 관리 지표가 4개에서 3개로, ⑪ 진단결과 활용 지표가 4개에서 2개로 초안에서 8개 평가지표가 축소되어 총 44개 지표로 수정하였다.
평가지표 평균 사유
U2-① 일반인들에게 진단결과의 공개 정도 2.87
삭제기준 (3.5미만) I3-③ 진단자료의 접근 용이성(자료의 DB 구축 충실성) 3.33
I2-③ 진단예산이 대상사업 전체예산에서 차지하는 비율 3.40 Table 4.5 Deleted Evaluation Index
평가지표 변경 전 변경 후 비고
P'1-① 진단규정의 형태 및 내용적 적합성 수행 계획 평가영역
P'1-② 세부 진단기술기준 명확성 수행 계획 평가영역
O1-② 진단보고서 결과 도출 및 해상교통안전대책의 타당성 결과 수행 평가영역
O4-② 진단심사결과에 대한 처분기관의 반영 여부 결과 활용 평가영역
O4-③ 진단심사결과에 대한 대상사업자의 수용 정도 결과 활용 평가영역 O4-④ 진단심사결과의 이행 정도 및 이행모니터링 체계의 적정성 결과 활용 평가영역 O4-① 진단결과 분석 및 비판적 검토 절차의 적절성
진단결과 심사 및 사후관리
진단결과
보고 평가항목 Table 4.6 Amended Evaluation Index
수정 전 수정 후
P2-③ 진단목표의 지속가능성 고려의 적절성 P2-③ 진단목표의 대상사업 지속가능 성과 인근 예정사업간 고려의 적절성 P2-④ 진단목표의 인근 예정사업간 연관성 고려의 적절성
O1-② 진단보고서 결과 도출 및 해상교통안전대책의 타당성 O1-② 진단보고서 결과도출․대안제시 의 타당성 및 실현가능성
O1-③ 진단보고서 상 대안 및 안전대책의 실현가능성
P1-② 진단 관련 법규내용의 합리성 P1-② 진단규정의 형태 및 내용적 적 P'1-① 진단규정의 형태 및 내용적 적합성 합성
U1-① 진단(대행)자 측면의 진단결과 활용 정도 U1-① 진단(대행)자․검토(심사)자 측면 의 진단결과 활용 충분성
U1-② 검토(심사)자 측면의 진단결과 활용 정도
I4-① 진단서 작성기간의 적절성 I4-① 진단항목별 투입기간 및 진단서 작성기간의 적절성
I4-③ 서면진단 및 현장진단 시간의 충분성
Table 4.7 Combined Evaluation Index
해상교통안전진단의 메타평가 구성요소의 구체적인 수정 과정은 Fig. 4.4와 같이 요약할 수 있다.
변경전
진단근거(P1) 안전진단 계획(P)
①진단의 법적?제도적 근거의 명확성
②진단 관련 법규내용의 합리성
진단목표(P2)
①진단목표의 명료성
②진단목표의 해상교통안전적 가치 고려 부합성
③진단목표의 지속가능성 고려의 적절성
④진단목표의 인근 예정사업간 연관성 고려의 적절성 안전진단 투입(I)
진단예산(I2)
안전진단 계획(P) 진단여건(P1)
①진단의 법적?제도적 근거의 명확성
②진단규정의 형태 및 내용적 적합성
③진단항목의 세부 진단기술기준 명확성 진단목표(P2)
①진단목표의 명료성
②진단목표의 해상교통안전적 가치 고려 부합성
③진단목표의 지속가능성과 인근 예정사업간 연관성 고려의 적절성
안전진단 투입(I) 진단비용(I2)
①진단예산 규모의 적정성
②진단예산의 안정적 지원 여부
③진단예산이 대상사업 전체예산에서 차지하는 비율 진단자료(I3)
①진단자료의 질적?양적 충분성
②진단자료의 핵심내용 포함 여부
③진단자료의 접근 용이성(자료의DB 구축 충실성) 진단기간(I4)
①진단서 작성기간의 적절성
②진단 협의기간의 충분성
③서면진단 및 현장진단 시간의 충분성 안전진단 수행(P')
진단수행방법(P'1)
①진단규정의 형태 및 내용적 적합성
②진단규정의 세부 진단기술기준 명확성
③진단대상 특성에 따른 평가방법 활용의 적절성
진단수행내용(P'2)
①진단항목 설정의 타당성(중점진단항목/제외항목)
②진단항목의 일관성 유지 정도 진단수행항목(P'3)
①현황조사의 적정성
②현황측정의 적정성
③해상교통시스템(통항?접이안?계류?해상교통류)평가의 정확성
①진단비용 규모의 적정성
②진단비용 안정적 지원 여부 (삭제)
진단자료(I3)
①이용가능한진단자료의 질적?양적 충분성
②진단자료의 활용가치가 있는 핵심내용 포함 여부 (삭제)
진단기간(I4)
①진단항목별 투입기간 및진단서 작성기간의 적절성
②진단 협의기간의 충분성
안전진단 수행(P') 진단수행방법(P'1)
①진단대상 특성에 부합하는 진단항목 설정 여부(필요시 추가?제외)
②진단항목별 기술기준을 수용?적용의 충분성
③신뢰할 수 있는 질적?양적 평가방법 활용의 적절성 진단수행내용(P'2)
①현황조사의 적정성
②현황측정의 적정성
③해상교통시스템(통항?접이안?계류?해상교통류)평가의 정확성
④해상교통안전대책의 객관적?합리적 도출 여부 안전진단 결과(O)
진단보고서 신뢰성(O1)
①진단보고서 구성 및 내용의 합리성
②진단보고서 결과 도출 및해상교통안전대책의타당성
③진단보고서 상 대안 및 안전대책의 실현가능성 진단결과 보고(O2)
①진단결과 보고(배포)시기 및 공개 범위의 적절성
②진단결과에 대한 이의제기 기회의 충분성 진단결과 심사 및 사후관리(O4)
①진단결과 분석 및 비판적 검토 절차의 적절성
②진단심사결과에 대한 처분기관의 반영 여부
③진단심사결과에 대한 대상사업자의 수용 정도
④진단심사결과의 이행 정도 및 이행모니터링 체계의 적정성 안전진단 활용(U)
진단결과 활용(U1)
①진단(대행)자 측면의 진단결과 활용 정도
②검토(심사)자 측면의 진단결과 활용 정도
③진단결과가 차기 진단대상사업에 미치는 영향성
④진단결과가 관련자의 사고에 미치는 영향성 진단결과 확산(U2)
①일반인들에게 진단결과의 공개 정도
안전진단 결과(O) 진단보고서 신뢰성(O1)
①진단보고서 구성의 논리성 및 내용의 합리성
②진단결과?대안제시의 타당성 및 실현가능성
진단결과 보고(O3)
①진단결과 보고(배포)시기 및 공개 범위의 적절성
②진단결과에 대한 이의제기 기회의 충분성
③진단결과 분석 및 검토(협의?보안)절차의 적절성
안전진단 활용(U) 진단결과 관리(U1)
①처분기관의 대상사업 승인 시 진단결과 반영 정도
②진단결과에 대한 대상사업자의 수용?이행 여부
③대상사업자의 이행사항에 대한 모니터링 체계의 적정성 진단결과 활용(U2)
①진단(대행)자?검토(심사)자 측면의 진단결과 활용 충분성
②진단결과가 관련자의 사고에 미치는 영향성 변경삭제이동통합보완
(삭제)
변경후