IV. 평가지표의 보완 및 확대
4. 지표의 평가 결과
가. 평가 기준
◦ 앞서 연구 방법에서 서술하였듯이 각 지표를 평가하기 위하여 의료 질 구성 요소, 측정 목적에 따른 지표의 구분, 지표의 속성에 대한 문헌을 검토하여 중요성, 과학적 수용성, 실행가능성의 3가지 측면으로 지표의 평가 기준을 선정하였음.
(1) 중요성(importance)
◦ 측정과 보고의 중요성은 지표의 초점을 지지하는 근거와 결과치의 간극을 측정하는 것 으로 구분 할 수 있음 40) .
지표의 초점을 지지하는 근거로서는 건강 결과, 중간 임상 결과, 과정, 구조, 효율성이 포함됨.
결과치의 간극에는 의료공급자 간의 변이와 인구집단간의 차이가 해당됨.
◦ 이러한 내용을 바탕으로 중요성을 평가하기 위해 아래의 세부 기준을 사용하였으며, 이 를 종합하여 ‘상’, ‘중’, ‘하’ 로 평가하였음.
관련 질병 부담 측면에서의 중요성: 유병률, 사망률 등
불평등 측면에서의 중요성: 지역, 연령대, 성별 등에서의 차이의 정도
이해관계자 측면에서의 중요성: 이해관계자가 중요하다고 생각하는지 여부
개선가능성 측면에서의 중요성: 이상적 수준과의 차이의 정도, 다른 나라와의 차이의 정도
다른 지표와의 중복 여부, 조화에 대한 고려
(2) 과학적 수용성(scientific acceptability)
◦ 각 지표별 과학적 수용성을 살펴보기 위해 미국의 National Quality Forum (NQF), Agency for Healthcare Research and Quality (AHRQ), National Healthcare Quality Report (NHQR), Joint Commission on Accreditation of Healthcare Organizations (JCAHO), National Committee for Quality Assurance (NCQA)에서 만든 근거 기반, 합의 기반의 평가 틀을 비교한 AHRQ의 보고서를 참조하였음 41) .
◦ 각 평가의 틀은 평가 단위, 평가 목적, 자료원 등이 다르고 사용한 용어에서도 다소 차이점이 존재하나, 과학적 수용성(scientific acceptability) 또는 과학적 건전성 (scientific soundness)과 관련하여 공통된 부분을 정리하면 다음과 같음.
40) National Quality Forum. Measure Evaluation Criteria and Guidance for Evaluating Measures for Endorsement. Avaliable at:
http://www.qualityforum.org/Measuring_Performance/Endorsed_Performance_Measures_Maintenance.aspx 41) Remus D FI. Guidance for Using the AHRQ Quality Indicators for Hospital-level Public Reporting or
Payment. Rockville, MD: Department of Health and Human Services, Agency for Healthcare Research and Quality, 2004. Available at: http://qualityindicators.ahrq.gov/downloads/technical/qi_guidance_appendix_B.pdf.
과학적 수용성은 지표와 의료서비스의 질의 관계에 대한 과학적 근거를 의미함.
지표와 관련된 용어는 잘 정의되고 정확하게 명시하여야 함.
지표의 타당도는 평가하려고 의도했던 의료 서비스의 양상을 측정하며, 평가하여야 하 는 개념을 정확하게 나타내는 것을 의미함. 또한 의료 서비스 제공자 성과의 실제 차 이를 충분히 식별해낼 수 있어야 함. 이는 지표 결과에 나타나는 전체 변이가 확률적 변이(random variation)나 환자의 특성으로 인해 발생하는 부분이 작고, 공급자의 성 과(performance)에 의해 설명되는 부분이 충분히 큰 것을 의미함.
지표의 신뢰도는 동일한 인구집단에 대해서 측정할 때 지표가 일관된 결과를 산출하는 것임. 이를 위해서 지표의 설명서(specification)가 정확하고 논란이 없으며 완전하게 작성되어 있어야 일관되게 지표를 산출할 수 있고 기관별 비교를 할 수 있음.
◦ 이러한 부분을 참조하여 각 지표의 과학적 수용성을 평가하기 위해서 임상적 근거, 타 당도, 신뢰도의 세 가지 세부기준을 사용하였음. 임상적 근거, 타당도, 신뢰도의 기준을 모두 충족하는 경우 ‘상’, 타당도가 다소 미흡하거나 지표의 설명서가 명확하지 않아 신 뢰도 판단이 어려운 경우 ‘중’, 임상적 근거가 없거나 타당도가 많이 떨어지는 경우는
‘하’로 평가하였음.
(3) 실행가능성(Feasibility)
◦ 실행가능성은 측정의 논리(logic)을 포함한 설명서와 과도한 부담 없이 측정에 필요한 자료를 이용하거나 포착(capture) 할 수 있으며, 성과 측정을 위해 구현할 수 있는 정 도를 말함 42) .
혈압, 검사 결과, 진단, 투약 처방 등 지표 생성에 필요한 자료가 주기적으로 생성되고 진료과정에 사용됨.
필요한 자료는 전자 의무기록에서 얻을 수 있음
자료 수집에 대한 전략이 있음
◦ 각 자료 요소의 실행가능성에 대한 점수의 측정 방법은 표 4-7과 같음.
42) National Quality Forum. Measure Evaluation Criteria and Guidance for Evaluating Measures for Endorsement. Avaliable at:
http://www.qualityforum.org/Measuring_Performance/Endorsed_Performance_Measures_Maintenance.aspx
항 목 내 용
자 료 의 가 용 성
구 조 화 된 양 식 안 에 서 자 료 를 손 쉽 게 이 용 할 수 있 는 가 3 – 자 료 의 요 소 가 전 자 의 무 기 록 의 구 조 화 된 양 식 으 로 존 재 함 2 – 현 재 는 구 현 되 지 않 았 지 만 , 향 후 에 는 가 능 함
1 – 자 료 의 요 소 를 전 자 의 무 기 록 의 구 조 화 된 양 식 에 서 이 용 할 수 없 음
자 료 의 정 확 성
자 료 요 소 에 대 한 정 확 한 정 보 를 포 함 하 는 가 , 자 료 의 출 처 와 기 록 이 명 확 한 가
3 – 정 보 의 출 처 가 가 장 믿 을 만 하 거 나 정 보 가 정 확 할 가 능 성 이 매 우 높 음 (예 , 실 험 실 데 이 터 )
2 – 정 보 의 출 처 가 가 장 믿 을 만 하 지 않 거 나 정 확 할 가 능 성 이 중 간 정 도 임 (예 , 예 방 접 종 의 자 가 보 고 )
1 – 정 보 가 정 확 하 지 않 을 수 있 음 (예 , 복 용 약 물 리 뷰 를 위 한 체 크 리 스 트 의 수 행 )
자 료 의 표 준
자 료 요 소 가 국 가 적 으 로 수 용 된 용 어 표 준 을 사 용 하 여 코 드 화 되 어 있 는 가 3 – 자 료 의 요 소 가 국 가 적 으 로 수 용 된 용 어 의 표 준 을 사 용 하 여 코 드 화 됨
2 – 자 료 의 요 소 가 정 확 하 게 이 용 할 수 있 는 용 어 의 표 준 이 지 만 , 전 자 의 무 기 록 에 서 일 관 성 있 게 사 용 되 지 않 음
1 – 존 재 하 는 표 준 의 코 드 화 를 전 자 의 무 기 록 에 서 지 원 하 지 않 음
업 무 흐 름 (w o rk
flo w )
진 료 과 정 의 어 느 단 계 에 서 자 료 요 소 를 포 착 하 는 가 , 전 형 적 인 진 료 과 정 에 서 사 용 자 에 게 어 떻 게 영 향 을 주 는 가
3 – 자 료 의 요 소 가 정 기 적 인 진 료 과 정 의 부 분 으 로 주 기 적 으 로 수 집 되 고 , 단 지 질 측 정 과 전 자 의 무 기 록 을 이 용 하 지 않 는 사 용 자 의 인 터 페 이 스 변 화 를 위 한 의 료 진 으 로 부 터 의 추 가 적 인 자 료 가 요 구 되 지 않 음 .(예 , 검 사 결 과 , 활 력 징 후 , 문 제 목 록 등 )
2 – 자 료 의 요 소 가 정 기 적 인 진 료 과 정 의 부 분 으 로 주 기 적 으 로 수 집 되 지 않 고 , 일 부 이 득 을 가 지 고 있 다 고 여 겨 지 는 추 가 적 인 시 간 과 노 력 이 필 요 함 .
1 – 자 료 의 요 소 를 수 집 하 기 위 하 여 진 료 에 대 한 즉 각 적 인 이 득 이 없 는 추 가 적 인 시 간 과 노 력 이 필 요 함 .
출처. National Quality Forum, 2015
표 4-8. 실행가능성에 대한 항목별 평가 기준
◦ 또한, 3가지 측면에서 실행가능성을 고려할 수 있음.
측정 측면: 자료의 이용가능성과 비용을 고려함.
이해관계자 측면: 의료제공자 뿐만 아니라 환자와 일반인까지 포함하여 판단함
의도하지 않은 결과 발생의 가능성: 지표로 인한 이득과 비교하여 판단 가능함.
◦ 이러한 내용을 바탕으로 실행가능성을 자료의 가용성, 정확성, 표준, 업무 흐름 (workflow)의 기준을 이용하였고, 각 세부 항목별로 3점 척도로 평가하였음. 아울러, 이 해관계자 측면으로 건강보험심사평가원과 관련 학회의 의견 조사 결과를 참고하여 실행 가능성을 ‘상’, ‘중’, ‘하’로 평가하였음.
나. 평가 결과
◦ 지표의 평가는 평가 기준에 따라 연구진 6명이 각자의 의견을 독립적으로 표시하였고,
다수결의 원칙에 따라 종합 결과를 산출하였음.
번
호 지 표 명
심 평 원 뇌 졸 중 적 정 성 평 가 평 가 의 견
지 표 에 반 영
모 니 터 링 지 표 에
반 영
미 반 영
1 전 문 인 력 구 성 여 부 (신 경 과 , 신 경 외 과 ,
재 활 의 학 과 전 문 의 ) 5 1 0
작 은 병 원 에 서 전 문 인 력 을 갖 추 도 록 유 도 하 는 것 이 필 요 함
2 금 연 교 육 실 시 율 (의 사 기 록 ) 0 4 2
금 연 클 리 닉 의 뢰 , 금 연 교 육 서 식 작 성 등 의 기 준 을 보 완 하 여 평 가 하 는 것 이 필 요 함
3 연 하 장 애 선 별 검 사 실 시 율 (첫 식 이 전 ) 4 2 0 뇌 졸 중 진 료 의 중 요 한 진 료
과 정 으 로 제 한 된 시 간 내 에 시 행 해 야 함
4 뇌 영 상 검 사 실 시 율 (1 시 간 이 내 ) 4 2 0
5 조 기 재 활 치 료 평 가 율 (5 일 이 내 ) 2 4 0 평 가 한 후 시 행 하 는 것 이
더 중 요 함 6 지 질 검 사 실 시 율
(입 원 전 3 0 일 이 내 검 사 포 함 ) 2 3 1 검 사 이 후 중 재 에 대 한
검 토 가 필 요 함
7 정 맥 내 t- P A 투 여 고 려 율 4 2 0 뇌 졸 중 진 료 의 중 요 한 진 료
과 정 으 로 제 한 된 시 간 내 에 시 행 해 야 함
8 정 맥 내 t- P A 투 여 율 (6 0 분 이 내 ) 6 0 0
9 항 혈 전 제 퇴 원 처 방 률 2 4 0
뇌 졸 중 진 료 의 기 본 진 료 과 정 이 나 평 가 초 기 부 터 달 성 률 이 높 은 지 표 로 모 니 터 링 지 표 로 하 여 현 황 조 사 를 하 는 것 이
적 절 하 겠 음
10 항 응 고 제 퇴 원 처 방 률 (심 방 세 동 환 자 ) 2 4 0
11 건 당 입 원 일 수 (입 원 일 수 장 기 도 지 표 , L I) 0 5 1
현 행 중 증 도 보 정 방 식 에 대 한 추 가 적 인 검 토 가 필 요 하 겠 음
12 구 급 차 이 용 률 0 4 2 현 황 파 악 이 필 요 함
13 입 원 결 정 소 요 시 간 (중 앙 값 ) 0 2 4 결 정 만 빠 른 것 은 의 미
없 음
14 입 원 배 치 소 요 시 간 (중 앙 값 ) 0 4 2 현 황 파 악 이 필 요 함
15 증 상 발 생 후 응 급 실 도 착 시 간 (중 앙 값 ) 0 5 1 현 황 파 악 이 필 요 함
표 4-9. 지표의 평가 결과(연구진 의견)
번
호 지 표 명
심 평 원 뇌 졸 중 적 정 성 평 가 평 가 의 견
지 표 에 반 영
모 니 터 링 지 표 에
반 영
미 반 영
16 S tro k e U n it 운 영 여 부 2 4 0
S tro k e U n it에 대 한 정 의 , 수 가 , 인 증 기 준 등 이 명 확 히 정 해 지 면 평 가 지 표 로 전 환 검 토
17 S tro k e S c a le 실 시 율 1 5 0
중 증 도 보 정 에 필 요 한 정 보 이 나 모 든 환 자 가 동 일 한 s c a le 을 쓰 지 않 으 면 사 용 할 수 없 음
18 F u n c tio n a l o u tc o m e s c a le 실 시 율 (퇴 원 시 ) 0 6 0 기 관 별 사 용 하 는 도 구 가 다 름
19 조 기 재 활 치 료 실 시 율 6 0 0
재 활 평 가 율 보 다 는 실 시 율 을 평 가 하 는 것 이 적 절 하 겠 음
20 조 기 재 활 치 료 실 시 소 요 일 자 (중 앙 값 ) 0 6 0 현 황 파 악 이 필 요 함
21 정 맥 내 t- P A 투 여 율 (4 .5 시 간 이 내 ) 0 5 1 현 황 파 악 이 필 요 함
22 항 혈 전 제 투 여 율 (4 8 시 간 이 내 ) 0 6 0 현 황 파 악 이 필 요 함
23 사 망 률 (원 내 / 입 원 3 0 일 내 ) 0 6 0
현 행 중 증 도 보 정 방 식 에 대 한 추 가 적 인 검 토 가 필 요 하 겠 음
24 건 당 진 료 비 (진 료 비 고 가 도 지 표 , C I) 0 6 0
현 행 중 증 도 보 정 방 식 에 대 한 추 가 적 인 검 토 가 필 요 하 겠 음
25 흡 연 력 조 사 율 0 0 6
26 고 혈 압 기 왕 력 기 록 률 0 0 6
27 당 뇨 기 왕 력 기 록 률 0 0 6
28 신 경 학 적 검 사 실 시 율 0 0 6
29 뇌 영 상 검 사 실 시 율 (2 4 시 간 이 내 ) 0 0 6
30 병 원 도 착 2 4 시 간 이 내 규 칙 적 인
혈 당 검 사 실 시 율 0 0 6
31 외 래 환 자 수 (명 ) 0 0 6
32 입 원 환 자 수 (명 ) 0 0 6
33 S tro k e U n it(S U ) 평 균 재 원 일 수 (일 ) 0 0 6 34 S tro k e U n it 이 용 건 수
(S U 에 입 실 한 전 체 환 자 수 ) 0 0 6
35 s tro k e u n it 이 용 률 0 5 1
이 용 에 따 른 효 과 를 평 가 하 기 위 해 이 용 률 확 인 이 필 요 함
36 뇌 경 색 , 뇌 출 혈 환 자 수 0 0 6