4.2 해상교통안전진단 메타평가 모형의 구성요소 개발
4.2.1 메타평가 구성요소 초안
형의 주요 구성요소, 즉 해상교통안전진단제도의 특성을 반영할 수 있는 구성 요소로 작성하였다. 주요 구성요소별 분류 기준은 다음과 같다.
첫째, 진단계획은 진단시스템의 규정 속에서 진단대상에 대한 진단설계 활동 의 방향과 내용을 규정하는 단계로 하였다. 둘째, 진단투입은 진단에 투입되는 유․무형의 자원을 말한다. 인적․물적 자원은 물론 시간․자료 자원 등을 포함한다.
셋째, 진단수행은 실제로 진단이 수행되는 과정상의 활동을 말하며, 실제 진단 과정에서 무슨 내용을 어떻게 진단하고 있는지를 파악하고자 하는 요소이다.
넷째, 진단결과는 진단의 결과가 적절한지를 파악하고자 하는 것으로 이를 보 고하고 사후 관리하는 개념까지 포함한다. 다섯째, 진단활용은 진단을 통해 취 득한 정보를 활용하는 활동을 의미하는 것으로 환류를 포괄하는 개념으로 진단 시스템 개선내용도 포함된다. 진단활용은 진단결과를 제도에 따라 단순히 환류 하는 소극적 시각에서 벗어나 진단정보를 적극적으로 이용하고자 하는 활동을 강조하는 개념이다(김병철, 2009).
그 결과 Fig. 4.3과 같은 해상교통안전진단 메타평가 모형이 도출되었고, Table 4.1과 같이 5개의 평가영역, 19개의 평가항목 및 52개의 평가지표로 구성 된 구성요소 초안이 작성되었다.
진단계획 (Plan)
진단수행 (Process)
진단결과 (Output) 진단투입
(Input)
진단활용 (Utilization) 진단근거
진단목표 진단대상 진단설계
진단수행방법 진단수행내용 진단수행항목 진단수행절차
보고서 신뢰성 보고서 유용성 진단결과 보고 진단결과 심사등
진단결과 활용 진단결과 확산 진단시스템 개선 진단역량
진단예산 진단자료 진단기간
Fig. 4.3 Basic Model of the MTSA Metaevaluation
평가영역 평가항목 평가지표(초안)
진단계획 (P)
진단근거
(1) ① 진단의 법적․제도적 근거의 명확성
② 진단 관련 법규내용의 합리성 진단목표
(2)
① 진단목표의 명료성
② 진단목표의 해상교통안전적 가치 고려 부합성
③ 진단목표의 지속가능성 고려의 적절성
④ 진단목표의 인근 예정사업간 연관성 고려의 적절성 진단대상
(3)
① 진단대상의 진단서 제출면제 대상여부 검토의 적절성
② 진단대상의 진단시기 적절성
③ 진단대상의 진단범위 설정 적절성 진단설계
(4)
① 진단절차 및 운영계획 설정의 적절성
② 진단 주체들간 역할분담과 권한의 명확성
③ 진단 관련 이해관계자 및 수요 파악의 적절성
진단투입 (I)
진단역량 (1)
① 진단(대행)기관의 진단기능 부합 여부
② 진단(대행)기관의 중립성과 독립성
③ 진단인력 구성의 질적․양적 충분성 진단예산
(2)
① 진단예산 규모의 적정성
② 진단예산의 안정적 지원 여부
③ 진단예산이 대상사업 전체예산에서 차지하는 비율 진단자료
(3)
① 진단자료의 질적․양적 충분성
② 진단자료의 핵심내용 포함 여부
③ 진단자료의 접근 용이성(자료의 DB 구축 충실성) 진단기간
(4)
① 진단서 작성기간의 적절성
② 진단 협의기간의 충분성
③ 서면진단 및 현장진단 시간의 충분성
진단수행 (P')
진단수행방법 (1)
① 진단규정의 형태 및 내용적 적합성
② 진단규정의 세부 진단기술기준 명확성
③ 진단대상 특성에 따른 평가방법 활용의 적절성 진단수행내용
(2) ① 진단항목 설정의 타당성(중점진단항목/제외항목)
② 진단항목의 일관성 유지 정도 진단수행항목
(3)
① 현황조사의 적정성
② 현황측정의 적정성
③ 해상교통시스템(통항․접이안․계류․해상교통류) 평가의 정확성 진단수행절차
(4)
① 진단절차(서면/현장)의 합리성
② 진단자와 이해당사자간 의사소통의 충분성․절차(검토․보완․협의) 충실성
③ 진단과정에서 진단인력들의 균형적 시각 유지 정도
진단결과 (O)
진단보고서 신뢰성 (1)
① 진단보고서 구성 및 내용의 합리성
② 진단보고서 결과 도출 및 해상교통안전대책의 타당성
③ 진단보고서 상 대안 및 안전대책의 실현가능성 진단보고서 유용성
(2) ① 진단보고서 이해관계자 요구 반영 정도
② 진단보고서 내용에 대한 이해의 용이성 진단결과 보고
(3) ① 진단결과 보고(배포) 시기 및 공개 범위의 적절성
② 진단결과에 대한 이의제기 기회의 충분성 진단결과 심사
및 사후관리 (4)
① 진단결과 분석 및 비판적 검토 절차의 적절성
② 진단심사결과에 대한 처분기관의 반영 여부
③ 진단심사결과에 대한 대상사업자의 수용 정도
④ 진단심사결과의 이행 정도 및 이행모니터링 체계의 적정성
진단활용 (U)
진단결과 활용 (1)
① 진단(대행)자 측면의 진단결과 활용 정도
② 검토(심사)자 측면의 진단결과 활용 정도
③ 진단결과가 차기 진단대상사업에 미치는 영향성
④ 진단결과가 관련자의 사고에 미치는 영향성 진단결과 확산
(2) ① 일반인들에게 진단결과의 공개 정도 진단시스템 개선
(3) ① 진단시스템에 대한 진단 및 개선활동의 적절성
Table 4.1 The Draft of MTSA Metaevaluation Components