1) 조사-재조사(test-retest reliability)
조사-재조사 신뢰도 평가는 1차 조사에서 수행하였다. 카파계수는 0.2-0.4를 어느 정도 일치도, 0.4-0.6을 적당한 일치도, 0.6-0.8을 상당한 일치도, 그 이상을 완벽한 일치도로 본다(Landis & Koch, 1977). 주요 측정문항인 미충족의료 경험의 응답 일치율(percent agreement) 과 카파 검정은 일부 문항에서 선택지의 개수가 많아 60명의 재검사 수로는 충분 한 검정 값을 내기 어려웠으나 선택지의 개수가 3개 이하인 경우는 대부 분 적합하였으며 단축형 설문문항은 전체 문항에 비해 선택지가 적어 상 대적으로 더 나은 결과 값을 보였다(표 18).
단축형 문항
의료추구와 도달 단계
미충족의료 경험 95.5% 0.83
미충족 이유 100% 1.00
의료이용 중 단계
미충족의료 경험 100% 1.00
미충족 이유 100% too few rating categories 의료이용 결과
단계
미충족의료 경험 95.5% 0.91
미충족 이유 100% 1.00
문항 % Agreement Kappa
의료 추구와 도달 단계 미충족 경험 79.26% 0.47
미충족 이유 74.29% 0.65
의료이용 중 단계 미충족 경험 90.32% 0.65
미충족 이유 80.77% 0.74
표 19. 미충족의료 경험의 표준형 문항과 단축형 문항의 응답 일치도–1차 조 사
2) 동형검사 신뢰도
(1) 1차 설문도구
개발된 설문문항에서 표준형 문항은 의료이용의 세 단계에 따른 미충 족 경험의 여부, 각 경우의 의료필요 상황, 미충족 이유, 그로 인해 발생 한 미충족 결과의 수준과 빈도를 물었다. 단축형 설문문항은 의료이용 세 단계에 대해 각각 미충족 경험을 묻는 것은 동일하나 각 경우의 의료 필요 상황과 미충족 결과의 빈도는 묻지 않고 미충족 이유만을 묻는 문 항으로 구성되었다. 미충족 이유 중 비슷한 개념에 해당하는 세부 선택 지는 하나의 선택지로 종합하고 미충족 수준은 미충족 여부 문항에 결합 하여 질문하는 방식을 취했다.
의료이용의 세 단계 별로 구성된 미충족경험 여부와 이유에 대해 각 각 응답 일치율을 확인하였다(표 19). 표준형 문항과 단축형 문항 간 선 택지의 수가 다르기 때문에 비슷한 개념을 축약하여 숫자를 줄인 단축형 문항을 기준으로 코딩을 변환하여 일치도 검증을 수행하였다. 단축형 설 문항목 결과는 전체 설문과 비교할 때 의료이용 단계별 미충족 유형이나 이유에서 완전히 동일한 경향을 보이지는 않았다. 그러나 응답 일치율과 카파계수를 봤을 때 대부분 적당하였고 일부는 상당한 일치도를 보였다.
의료이용 결과 단계 미충족 경험 85.25% 0.55
미충족 이유 74.07% 0.64
문항 % Agreement Kappa
의료 추구와 도달 단계 미충족 경험 75.75% 0.46
미충족 이유 43.48% 0.26
의료이용 중 단계 미충족 경험 73.50% 0.48
미충족 이유 44.30% 0.23
의료이용 결과 단계 미충족 경험 79.50% 0.53
미충족 이유 43.21% 0.24
표 20. 미충족의료 경험의 표준형 문항과 단축형 문항의 응답 일치도–2차 조 사
(2) 2차 설문도구
1차 조사 이후 개정한 2차 설문도구에서 단축형 설문의 문장과 선택 지를 상당 부분 바꾸었기 때문에 2차 설문도구 결과로 전체 문항과 단축 문항 간의 응답 일치율을 다시 확인하였다(표 20). 미충족 경험에서는 카파 계수가 모두 0.4 이상으로 적당한 일치도를 보였으나 미충족 이유 는 0.2 수준으로 1차 조사의 결과와 비교할 때 상당히 떨어졌다. 1차 조 사 때는 오히려 경험 여부보다 이유에서 일치도가 높았던 것과 비교하면 잘 이해하기가 어렵다. 문항의 수정은 주로 미충족 경험을 묻는 데서 바 뀌었고 이유를 묻는 문항은 거의 그대로 두었는데도 일치도가 떨어진 데 에는 다음과 같은 이유가 가능하다. 첫째, 앞의 미충족 경험을 묻는 문항 이 세분화되면서 표준형 미충족 경험과는 다른 종류의 의료경험을 떠올 렸을 가능성이다. 미충족의 이유와 달리 경험여부의 일치율가 높게 나온 것은 표준형과 단축형에서 서로 다른 상황을 떠올렸다고 하더라도 있던 경험을 없던 것으로 기억하게 될 확률은 낮기 때문인 것으로 보인다. 둘 째, 조사 대상자의 나이나 소득수준 등이 1차 조사 대상자와 다르기 때 문에 관련된 요인에 의해 응답의 변동이 더욱 컸을 수 있다. 셋째, 1차와 2차 조사에서 다른 조사원이 투입되었고 조사한 시기도 여름과 겨울로 차이가 나기 때문에 조사원의 태도나 조사환경이 달라졌기 때문일 수 있 다.
문항 % Agreement Kappa
의료 추구와 도달 단계 이용 지연 60.94% 0.22
미이용 78.91% 0.26
의료이용 중 단계 과소 이용 59.38% 0.20
이용 포기 65.63% 0.09
의료이용 결과 단계 재이용 66.30% 0.34
표 21. 미충족의료 경험 세분화 전체 문항과 단축 문항 간 응답 일치도 – 2차 도구
단축형 문항은 미충족경험의 여부를 묻는 문항에서 선택지를 세분하 여 경험 여부와 동시에 의료이용 지연, 미이용, 과소이용, 이용포기, 재이 용 등을 함께 물을 수 있도록 구성하였다. 이를 표준형 문항에서 따로 물었던 항목과 비교하여 응답 일치도를 확인하였다(표 21). 그 결과 이 용 지연, 미이용, 과소이용, 재이용의 경우 어느 정도의 일치도를 보였지 만 이용 포기의 경우 상당히 불일치하게 나타났다. 표준형에서는 이미 미충족경험을 했다고 응답한 사람에 한해서 이용 지연이나 과소이용과 같은 미충족의 영향을 질문했으므로 처음부터 미충족 경험을 여러 종류 로 물어본 방식과 문항의 순서와 응답자의 범위에 차이가 난다. 표준형 과 단축형 문항에서 내용은 같다고 할지라도 문항의 순서나 구조가 달라 앞의 경우와 유사하게 응답자가 상기한 경험이 서로 다르기 때문일 것으 로 보인다. 또는 이용 지연, 과소이용이나 이용 포기가 미이용이나 재이 용보다 그 경험 여부를 판단하기 애매하여 상대적으로 일치도가 떨어졌 을 수도 있다.
3) 기존 문항과의 비교
기존 문항의 경우 지역사회건강조사 자료를 보면 지역 간의 편차가 심한 편이다. 어떤 군 지역은 경험률이 하위 10개 안에 속하는 반면, 상 황이 그리 다르지 않은 군 지역인데도 대도시 지역과 함께 상위 10%에 속하기도 한다. 예컨대 2013년도 조사 자료에 의하면 전남 완도군은
그림 5. 기존문항으로 측정한 하위집 단 경험률의 산포도
그림 6. 개발문항으로 측정한 하위집 단 경험률의 산포도 – 의료 찾기 23.7%인 반면, 전남 진도군은 3.6%에 불과하다. 이와 같이 기존 문항과 조사의 신뢰도에 대한 문제가 제기되기도 했다(김새롬, 2016). 이에 본 연구에서는 미충족의료가 발생할 확률이 높은 집단을 가정하여 하위그룹 으로 나눈 뒤 미충족 경험률을 계산한 후 산포도와 표준편차를 통해 신 뢰도를 비교하였다. 미충족 경험의 관련 요인으로 사회경제적, 의료적, 대응자원에서 가장 잘 알려진 소득수준, 주관적 건강수준, 시간적 여유의 세 가지를 선정하였다. 예측집단 1은 각 세 가지 중 하나라도 좋지 않은 경우를 설정하였고 예측집단 2는 각 세 가지 중 두 개씩 포함한 경우를 설정하였다. 예측집단 3은 세 요인 모두가 좋지 않은 경우인데 산포도를 보기에 숫자가 적으면 분석에 의미를 두기 어려워 예측집단 1로만 분석 하였다. 1차와 2차 조사 자료를 합할 때 동일한 조건을 주기 위하여 분 석은 의료필요가 있었던 총 617명만을 대상으로 수행했다. 예측집단 1은 총 273명이고 이들에 무작위 수를 부여하여 10개의 하위집단으로 나누었 다. 각 하위집단에서 기존 문항과 개발한 세 단계의 미충족 경험률을 계 산하고 표준편차를 구했다. 기존 문항은 8.53, 개발문항 중 의료 찾기/선 택/도달 단계는 8.74, 의료이용 중 단계는 5.99, 의료이용 결과 단계는 5.92로 기존 문항에 비해 개발 문항의 이용 중 단계와 결과 단계의 표준 편차가 낮았다. 산포도는 <그림 5>에서 <그림 8>에 표시하였다.
그림 7. 개발문항으로 측정한 하위집 단 경험률의 산포도 – 의료이용 중
그림 8. 개발문항으로 측정한 하위집 단 경험률의 산포도 – 의료이용 결과