제 5 장 해상교통안전진단 메타평가 모형적용 및 결과분석
이 장에서는 최종 확정된 해상교통안전진단 메타평가 모형을 적용하여 해상 교통안전진단제도에 대한 메타평가를 실시한다. 메타평가의 실시 방법은 앞에 서 제시한 바와 같이 설문조사 결과에 해당되는 양적 분석 결과를 바탕으로 관 련 의견수렴 등 해상교통안전진단 시스템에 대한 질적 분석을 함께 수행하였 다. 아울러, 기존 연구자료 및 진단사례 분석을 병행하여 보완하였다.
구분 배포 회수 활용
검토기관 39 36 (92%) 36
대행기관 41 37 (90%) 37
처분기관 22 18 (82%) 18
사업자 38 30 (79%) 30
합계 140 121 (86%) 121
Table 5.1 Status of Distribution and Utilization of Questionnaire Study
[주] 합계란의 ( )는 배포된 설문지에 대한 회수 및 활용 비율을 의미.
3) 설문조사 대상
설문대상자는 Fig. 5.1과 같이 진단제도가 시행된 ‘09.9.27이후를 기준으로 진단업무에 종사한 자들로 평균 2.4년 동안 평가업무를 수행해온 것으로 나타 났다.
39 41
22
38
140
36 37
18
30
121
0 20 40 60 80 100 120 140 160
검토기관 대행기관 처분기관 사업자 합계
(2.1년) (2.5년) (2.4년) (2.6년) (2.4년) 부
수
소속기관별 평균업무 기간
배포 활용
Fig. 5.1 Work Period of Respondents 4) 설문조사 분석
설문조사 결과 중 구조화된 문항에 대해서는 Microsoft Excel과 SPSS 20.0을 사용하여 평균과 표준편차에 따른 지표별 순위, 빈도분석, 차이분석, 상관관계
분석, 개선 우선순위 등을 분석하였다. 개방형 문항은 내용분석을 통해 메타평 가항목별로 개선의견을 정리한 후 필요한 경우 면접을 통해 확인·보완하였다.
이에 또한 해상교통안전진단 사례검토를 통한 진단시스템에 대한 질적 분석을 추가적으로 실시하였다.
5.1.2 메타평가 모형적용 결과의 신뢰도 검증
해상교통안전진단에 대한 메타평가에 대한 측정척도의 신뢰도를 검증하기 위 한 방법으로 내적일관성(internal consistency)을 고려한 Cronbach's α 계수를 사용하였다. 신뢰도 검증결과는 Table 5.2와 같다.
평가
영역 평가항목 평균 편차 Cronbach's a
평가항목 평가영역 전체
진단 계획
진단여건 3.59 0.8207 0.796
0.885
0.966 진단목표 3.73 0.8271 0.755
진단대상 3.31 0.9410 0.642 진단설계 3.36 0.8111 0.813 진단
투입
진단역량 3.48 0.8782 0.682
0.868 진단비용 3.03 1.0052 0.820
진단자료 3.46 0.7682 0.715 진단기간 3.40 0.7661 0.902 진단
수행
진단수행방법 3.58 0.7083 0.782
0.917 진단수행내용 3.62 0.8385 0.874
진단수행절차 3.53 0.7828 0.852 진단
결과
진단보고서 신뢰성 3.57 0.7877 0.847
0.875 진단보고서 유용성 3.38 0.7731 0.578
진단결과 보고 3.39 0.8807 0.809 진단
활용
진단결과 관리 3.43 0.7898 0.759
0.840 진단결과 화룡 3.63 0.8084 0.749
진단시스템 개선 3.44 0.7914 -
Table 5.2 The Result of Reliability Verification of Metaevaluation Model
[주] (부록) 해상교통안전진단의 메타평가를 위한 설문지 참조.
전체로는 0.966으로서 신뢰수준이 매우 높은 것으로 파악되었다. ‘진단보고 서의 유용성’에 해당하는 항목을 제외한 모든 평가항목, 평가요소와 전체에
평가 영역
평가
항목 평가지표 순위 평균 분산 편차
진단 계획 (Plan)
진단여건
P1-① 진단의 법적․제도적 근거의 명확성 2 3.77 0.7627 0.8697 P1-② 진단규정의 형태 및 내용적 적합성 15 3.56 0.6315 0.7914 P1-③ 진단항목의 세부 진단기술기준 명확성 31 3.43 0.6471 0.8011
진단목표
P2-① 진단목표의 명료성 3 3.77 0.6793 0.8208
P2-② 진단목표의 해상교통안전적 가치 고려 부합성 1 3.90 0.7401 0.8567 P2-③ 진단목표의 지속가능성과 인근 예정사업간 연관성
고려의 적절성 19 3.52 0.6517 0.8039
진단대상
P3-① 진단대상의 진단서 제출(면제) 대상여부 검토의 적절성 41 3.16 0.9001 0.9448 P3-② 대상사업 시행 추진 대비 진단대상의 진단시기 적절성 36 3.31 0.9640 0.9778 P3-③ 진단대상의 진단범위 설정 적절성 26 3.46 0.8174 0.9003
Table 5.3 The Result of Grade of Metaevaluation Index
평가항목은 0.642에서 0.902사이에, 평가영역은 0.840에서 0.917사이에 분포되었 으며, 평가항목들의 측정치에서는 표준편차가 0.7083에서 1.0052사이에 분포되 어 대부분의 평가항목들이 통계적으로 분석하는데 비교적 적정한 크기의 변량 수준을 보이고 있는 것을 볼 수 있다.
‘진단보고서의 유용성’의 경우, 평가지표가 2개뿐이므로 1개 지표를 삭제 할 경우 신뢰성 검증이 불가하므로 본 연구에서는 ‘진단보고서의 유용성’을 지표로서 그대로 두기로 한다.