5.2 메타평가 결과 양적 분석
5.2.6 메타평가 구성요소의 요인분석
평가항목에 대한 평가지표의 분류가 달라지는 지표가 일부 발생하였으나 이로 인해 본 연구에서 제안한 해상교통안전진단의 메타평가 분석틀의 구성요소에 변화를 주지는 않는 것으로 하였다.
아울러, 요인이 추출되면 각 사례별로 변수들이 선형 결합되어 이루어진 요 인점수를 산정할 수 있는데, 이 요인점수는 표본 대상자가 각 변수에 대해 응 답한 결과를 요인별 가중치를 이용하여 요인 공간상의 점수로 변환시켜 각 표 본의 공간상의 위치를 파악할 수 있게 해준다. 이 요인을 새로운 변수로 취급 하여 회귀분석이나 판별분석에서 활용할 수 있는데 요인점수(Factor scores)는 각 표본대상자의 변수별 응답을 요인들의 선형결합으로 결합한 값으로 각 개체 들의 요인점수 계산은 식(2)와 같다.
(2)변수의 개수표준화된 변수각 변수에 주어지는 가중치개별 표본 대상자의 요인점수
1) 진단계획 영역
진단계획 영역에 대한 요인분석을 실시하기 위한 KMO와 Bartlett의 검정을 실시하였다. KMO값은 표본적합도를 나타내는 값으로 0.5 이상이면 표본자료는 요인분석에 적합함을 판단할 수 있고, Bartlett의 구형성 검정은 변수간의 상관 행렬이 단위행렬인지 여부를 판단하는 검정방법으로 그 결과 Table 5.17과 같 이 KMO 측도 0.875, Bartlett의 검정 유의확률 0.000으로 모두 유의하였다.
표준형성 적절성의 Kaiser-Meyer-Olkin 측도 .875
Bartlett의 구형성 검정
근사 카이제곱 617.819
자유도 66
유의확률 .000
Table 5.17 Testing Hypothesis with KMO and Bartlett(Plan)
공통성(Communality)은 변수의 포함된 요인들에 의해서 설명되는 비율이라고
할 수 있는데 각 변수의 초기값과 주성분분석법에 의한 각 변수에 대한 추출된 요인에 의해 설명되는 비율이 나타나며 그 결과는 Table 5.18와 같다.
평가지표 초기 추출 평가지표 초기 추출 평가지표 초기 추출
P1-① 1.000 .667 P2-② 1.000 .716 P3-③ 1.000 .614 P1-② 1.000 .737 P2-③ 1.000 .759 P4-① 1.000 .634 P1-③ 1.000 .675 P3-① 1.000 .658 P4-② 1.000 .839 P2-① 1.000 .621 P3-② 1.000 .766 P4-③ 1.000 .692
Table 5.18 Commonality(Plan)
성분행렬은 요인부하량을 보여주는 것으로 회전시키기 전의 결과는 Table 5.19와 같고 Kaiser 정규화가 있는 베리멕스 회전된 성분행렬 결과는 Table 5.20과 같다. 따라서 진단대상의 진단범위 설정 적절성(P3-③)은 진단대상 항목 의 평가지표이나 진단설계 항목으로 분류할 수 있을 것으로 분석된다.
평가 지표
성분
진단설계 진단여건 진단목표 진단대상 P1-① .645 -.247 .138 -.414 P1-② .760 -.113 .048 -.380 P1-③ .790 -.111 .072 -.185 P2-① .721 -.298 .079 .080 P2-② .712 -.277 .249 .265 P2-③ .575 -.303 .305 .493 P3-① .595 .374 .294 -.281 P3-② .385 .654 .388 .202 P3-③ .710 .313 -.023 .104 P4-① .723 .155 -.296 .002 P4-② .721 .099 -.537 .146 P4-③ .703 .057 -.426 .115 Table 5.19 Element Matrix Result before
Varimax Rotation(Plan)
평가 지표
성분
진단설계 진단여건 진단목표 진단대상 P1-① .156 .772 .215 .029 P1-② .324 .760 .190 .134 P1-③ .359 .636 .334 .176 P2-① .324 .446 .562 .031 P2-② .227 .331 .730 .145 P2-③ .140 .100 .844 .129 P3-① .152 .518 .034 .605 P3-② .097 -.017 .140 .858 P3-③ .518 .246 .236 .478 P4-① .684 .314 .148 .214 P4-② .881 .169 .170 .066 P4-③ .773 .216 .206 .076 Table 5.20 Element Matrix Result after
Varimax Rotation(Plan)
2) 진단투입 영역
진단투입 영역에 대한 KMO와 Bartlett의 검정 결과 Table 5.21과 같이 KMO 측도 0.875, Bartlett의 검정 유의확률 0.000으로 모두 유의하였다.
표준형성 적절성의 Kaiser-Meyer-Olkin 측도. .821 Bartlett의 구형성 검정
근사 카이제곱 525.357
자유도 36
유의확률 .000
Table 5.21 Testing Hypothesis with KMO and Bartlett(Input)
진단투입 영역에 대한 공통성(Communality) 분석 결과는 Table 5.22와 같다.
평가지표 초기 추출 평가지표 초기 추출 평가지표 초기 추출
I1-① 1.000 .687 I2-① 1.000 .804 I3-② 1.000 .723 I1-② 1.000 .985 I2-② 1.000 .898 I4-① 1.000 .907 I1-③ 1.000 .725 I3-① 1.000 .663 I4-② 1.000 .912
Table 5.22 Commonality(Input)
성분행렬은 회전시키기 전의 결과는 Table 5.23과 같고 Kaiser 정규화가 있는 베리멕스 회전된 성분행렬 결과는 Table 5.24와 같다. 따라서 진단(대행)기관의 진단기능 부합 여부(I1-①) 및 진단인력 구성의 질적(전문성)․양적(규모) 충분성 (I1-③)은 진단역량 항목에 있는 평가지표이나 성분행렬 결과 진단자료 항목으 로 분류할 수 있을 것으로 분석된다.
평가지 표
성분
진단자료 진단기간 진단비용 진단역량 I1-① .708 -.319 .155 -.243 I1-② .600 .027 .306 .728 I1-③ .739 -.311 .234 -.163 I2-① .779 -.053 -.441 .025 I2-② .663 .134 -.650 .132 I3-① .732 -.327 -.138 -.038 I3-② .752 -.302 .256 -.035 I4-① .690 .622 .132 -.163 I4-② .649 .660 .194 -.131 Table 5.23 Element Matrix Result before
Varimax Rotation(Input)
평가 지표
성분
진단자료 진단기간 진단비용 진단역량 I1-① .793 .162 .175 .031 I1-② .253 .192 .147 .929 I1-③ .809 .181 .135 .138 I2-① .409 .199 .766 .102 I2-② .121 .221 .908 .099 I3-① .652 .043 .468 .127 I3-② .777 .168 .142 .265 I4-① .206 .897 .221 .103 I4-② .166 .917 .153 .141 Table 5.24 Element Matrix Result after
Varimax Rotation(Input)
3) 진단수행 영역
진단수행 영역에 대한 KMO와 Bartlett의 검정 결과 Table 5.25와 같이 KMO 측도 0.904, Bartlett의 검정 유의확률 0.000으로 모두 유의하였다.
표준형성 적절성의 Kaiser-Meyer-Olkin 측도 .904 Bartlett의 구형성 검정
근사 카이제곱 712.540
자유도 45
유의확률 .000
Table 5.25 Testing Hypothesis with KMO and Bartlett(Process)
공통성(Communality) 분석 결과는 Table 5.26과 같다.
평가지표 초기 추출 평가지표 초기 추출 평가지표 초기 추출
P'1-① 1.000 .850 P'2-① 1.000 .759 P'3-① 1.000 .753 P'1-② 1.000 .720 P'2-② 1.000 .775 P'3-② 1.000 .772 P'1-③ 1.000 .702 P'2-③ 1.000 .736 P'3-③ 1.000 .813
P'2-④ 1.000 .652 Table 5.26 Commonality(Process)
성분행렬은 회전시키기 전의 결과는 Table 5.27과 같고 Kaiser 정규화가 있는 베리멕스 회전된 성분행렬 결과는 Table 5.28과 같다. 따라서 신뢰할 수 있는 질적․양적 평가방법 활용의 적절성(P'1-③)은 진단수행방법 항목에 있는 평가지 표이나 진단수행내용 항목으로 분류할 수 있을 것으로 분석된다.
평가 지표
성분
진단수행내용 진단수행절차 진단수행방법 P'1-① .576 .380 .612 P'1-② .765 .282 .236 P'1-③ .778 .311 -.015 P'2-① .797 .056 -.348 P'2-② .772 .291 -.308 P'2-③ .805 .003 -.296 P'2-④ .792 -.066 -.141 P'3-① .813 -.301 .035 P'3-② .702 -.498 .174 P'3-③ .774 -.389 .250 Table 5.27 Element Matrix Result before
Varimax Rotation(Process)
평가 지표
성분
진단수행내용 진단수행절차 진단수행방법 P'1-① .121 .198 .893 P'1-② .465 .288 .649 P'1-③ .646 .209 .491 P'2-① .797 .333 .117 P'2-② .826 .147 .267 P'2-③ .752 .392 .129 P'2-④ .621 .477 .197 P'3-① .449 .715 .201 P'3-② .220 .838 .144 P'3-③ .255 .815 .291 Table 5.28 Element Matrix Result after
Varimax Rotation(Process)
4) 진단결과 영역
진단결과 영역에 대한 KMO와 Bartlett의 검정 결과 Table 5.29와 같이 KMO 측도 0.861, Bartlett의 검정 유의확률 0.000으로 모두 유의하였다.
표준형성 적절성의 Kaiser-Meyer-Olkin 측도 .861 Bartlett의 구형성 검정
근사 카이제곱 383.656
자유도 21
유의확률 .000
Table 5.29 Testing Hypothesis with KMO and Bartlett(Output)
공통성(Communality) 분석 결과는 Table 5.30과 같다.
평가지표 초기 추출 평가지표 초기 추출 평가지표 초기 추출
O1-① 1.000 .782 O2-① 1.000 .793 O3-① 1.000 .778 O1-② 1.000 .847 O2-② 1.000 .771 O3-② 1.000 .838 O3-③ 1.000 .653 Table 5.30 Commonality(Output)
성분행렬은 회전시키기 전의 결과는 Table 5.31과 같고 Kaiser 정규화가 있는 베리멕스 회전된 성분행렬 결과는 Table 5.32와 같다. 따라서 진단보고서 이해 관계자 요구 반영 정도(O2-①)는 진단보고서 유용성 항목에 있는 평가지표이나 진단보고서 신뢰성 항목으로 분류할 수 있을 것으로 분석된다.
평가 지표
성분 진단결과
보고
보고서 신뢰성
보고서 유용성 O1-① .805 -.355 -.088 O1-② .785 -.465 -.122 O2-① .727 .022 -.514 O2-② .691 -.217 .497 O3-① .776 .369 .200 O3-② .746 .511 -.141 O3-③ .770 .152 .191 Table 5.31 Element Matrix Result before
Varimax Rotation(Output)
평가 지표
성분 진단결과
보고
보고서 신뢰성
보고서 유용성 O1-① .226 .733 .440 O1-② .130 .800 .437 O2-① .507 .730 -.061 O2-② .217 .248 .814 O3-① .752 .157 .434 O3-② .872 .260 .099 O3-③ .579 .276 .492 Table 5.32 Element Matrix Result after
Varimax Rotation(Output)
5) 진단활용 영역
진단활용 영역에 대한 KMO와 Bartlett의 검정 결과 Table 5.33과 같이 KMO 측도 0.830, Bartlett의 검정 유의확률 0.000으로 모두 유의하였다.
표준형성 적절성의 Kaiser-Meyer-Olkin 측도 .830 Bartlett의 구형성 검정
근사 카이제곱 274.288
자유도 15
유의확률 .000
Table 5.33 Testing Hypothesis with KMO and Bartlett(Utilization)
공통성(Communality) 분석 결과는 Table 5.34와 같다.
평가지표 초기 추출 평가지표 초기 추출 평가지표 초기 추출
U1-① 1.000 .819 U1-③ 1.000 .811 U2-② 1.000 .860 U1-② 1.000 .799 U2-① 1.000 .770 U3-① 1.000 .802
Table 5.34 Commonality(Utilization)
성분행렬은 회전시키기 전의 결과는 Table 5.35와 같고 Kaiser 정규화가 있는 베리멕스 회전된 성분행렬 결과는 Table 5.36과 같다. 따라서 대상사업자의 이 행사항에 대한 모니터링 체계의 적정성(U1-③)은 진단결과관리 항목에 있는 평 가지표이나 진단시스템개선 항목으로 분류할 수 있을 것으로 분석된다.
평가 지표
성분
진단결과관리 진단결과활용 진단시스템개선 U1-① .778 -.200 -.417 U1-② .722 -.518 -.096 U1-③ .722 -.311 .440 U2-① .849 .154 -.161 U2-② .677 .616 -.150 U3-① .735 .281 .428 Table 5.35 Element Matrix Result before
Varimax Rotation(Utilization)
평가 지표
성분
진단결과관리 진단결과활용 진단시스템개선 U1-① .822 .366 .099 U1-② .801 .022 .396 U1-③ .400 .089 .802 U2-① .527 .642 .282 U2-② .148 .908 .113 U3-① .073 .570 .687 Table 5.36 Element Matrix Result after
Varimax Rotation(Utilization)
평가 영역
평가
항목 평가지표 순위 평균 분산 편차 개선 순위
진단 계획 (P)
진단 여건
P1-① 진단의 법적․제도적 근거의 명확성 2 3.77 0.7627 0.8697 6 P1-② 진단규정의 형태 및 내용적 적합성 15 3.56 0.6315 0.7914 18 P1-③ 진단항목의 세부 진단기술기준 명확성 31 3.43 0.6471 0.8011 9 진단
목표
P2-① 진단목표의 명료성 3 3.77 0.6793 0.8208 20 P2-② 진단목표의 해상교통안전적 가치 고려 부합성 1 3.90 0.7401 0.8567 16 P2-③ 진단목표의 지속가능성과 인근 예정사업간 연관성 고려의 적절성 19 3.52 0.6517 0.8039 12 진단
대상
P3-① 진단대상의 진단서 제출(면제) 대상여부 검토의 적절성 41 3.16 0.9001 0.9448 1 P3-② 대상사업 시행 추진 대비 진단대상의 진단시기 적절성 36 3.31 0.9640 0.9778 5 P3-③ 진단대상의 진단범위 설정 적절성 26 3.46 0.8174 0.9003 9 진단
설계
P4-① 대상사업 특성을 고려한 진단계획의 구체성 35 3.32 0.5536 0.7409 14 P4-② 진단 수행자들간 역할분담과 권한의 명확성 40 3.26 0.7421 0.8579 22 P4-③ 사전조사 등을 통한 이해관계자와 요구사항 파악의 정확성 21 3.49 0.7019 0.8343 20
진단 투입 (I)
진단 역량
I1-① 진단(대행)기관의 진단기능 부합 여부 6 3.67 0.7065 0.8370 15 I1-② 진단(대행)기관의 중립성과 독립성 34 3.33 0.9398 0.9654 4 I1-③ 진단인력 구성의 질적(전문성)․양적(규모) 충분성 28 3.44 0.6982 0.8321 18 진단
비용
I2-① 진단비용 규모의 적정성 44 3.01 1.0749 1.0325 3 I2-② 진단비용의 안정적 지원 여부 43 3.05 0.9642 0.9779 21 진단
자료
I3-① 이용 가능한 진단자료의 질적․양적 충분성 37 3.31 0.6006 0.7717 23 I3-② 진단자료의 활용가치가 있는 핵심내용 포함 여부 12 3.61 0.5895 0.7646 22 진단
기간
I4-① 진단항목별 투입기간 및 진단서 작성기간의 적절성 29 3.44 0.5815 0.7594 20 I4-② 진단 협의기간의 충분성 33 3.37 0.6022 0.7728 16
Table 5.37 Quantity Analysis Result of Evaluation Index(Index Order)