OSCE. Gandes Retno Rahayu Department of Medical Education Faculty of Medicine Gadjah Mada University. Education for family planning SUTURING

(1)

OSCE

Gandes Retno Rahayu

Department of Medical Education

Faculty of Medicine

Gadjah Mada University

Education for family planning

Demonstrate exam of the thyroid gland Examine the deep

tendon reflexes

SUTURING Test for blood

glucose level

Take history taking from the mother of sick child

(2)

OSCE

O

bjective

S

tructured

C

linical

E

xamination

Objective? or POSCE?

Seven “Ps” of OSCE

• Performance assessment

• Process and product assessment

• Profile of students

• Progress of students can be monitored and

feedback can be given

• Public assessment

• Participation of staff from different disciplines

• Pressure for change

(3)

OSCE:

Direct observation of simulated

hands-on clinical behavior under

standardized test taking

conditions, but……….

They come in a variety of

ways…….

Varieties

of

OSCEs

Patient-based

Written

task

Clinical

task

Traditional

OSCE

….

SP-based

test

….

Station

couplets

….

(4)

Disadvantages

Expensive

(time and manpower)

Vulnerable

(logistics)

Miller’s competency pyramid

Knows

Knows how

Shows how

Does

Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

(5)

The construction of an OSCE-station

Step 1:

• Decide what you want to assess

• Develop blue print for representativeness

Measure what it claims to

measure

(6)

Validity

Blue print / Matrix

Expert judgment on the

representativeness

Competence Categories CVS RS NB GI Repro MSS Endo/ Metab Haem/ Oncology GUS Head & Neck Special Sense Phsyciatry Case AMI (3B) TB Lung Febrile Conv. (SP) Diarrhea (pediatric ) Obgyn (contrasept ion) Low Back Pain Thyroid (SP) DHF Grade 3-4 (adult) (SP) Urinary Retenti on (SP) Mild-Moderate Head Injury (SP) Hearing Dissorders (3A, depkes) Schizoprenia (SP) (3A, depkes) History Taking Physical Exam Tests & Procedures Management Communicati on & Patient Education Perilaku Profesional

(7)

The construction of an OSCE-station

Step 2:

• Writes the assignment for the student

- situation

- part of the consultation that should be

demonstrated

- maximum time available

Skenario klinik:

Seorang laki-laki usia 35 tahun datang ke

Puskesmas dengan keluhan utama mata

merah

Tugas:

Lakukanlah anamnesis dan pemeriksaan

dasar mata untuk pasien ini kemudian

tentukan diagnosis dan penatalaksanaan yang

dibutuhkan

(8)

The construction of an OSCE-station

Step 3:

• Writes the role/script for the simulated patient

Nama : Nama SP sendiri Rentang usia : 25 – 35 tahun

Jenis kelamin : Laki-laki/Perempuan, dengan Visus normal

Pekerjaan : Sesuai SP sendiri

Status pernikahan : Sesuai SP sendiri Pendidikan terakhir : Sesuai SP sendiri Riwayat penyakit sekarang :

Keluhan utama : Mata merah lokasi : Mata kanan

sejak kapan : 4 hari yang lalu

perjalanan penyakit : Semakin hari Semakin memerah

keluhan lain terkait keluhan utama : Mata sulit dibuka di pagi hari, ada kotoran mata warna putih kekuningan, mata terasa nyeri, kelopak mata bengkak

hal-hal yang memperburuk keluhan : jika mata digosok bertambah merah hal-hal yang mengurangi keluhan: tidak ada

Riwayat pengobatan sekarang:

sudah diberi obat tetes mata yang dibeli di apotik tapi tidak ada perubahan, lupa nama obatnya apa

(9)

Riwayat penyakit dahulu : tidak ada Penyakit kronis : tidak ada

Riwayat pengobatan penyakit dahulu : tidak ada

Riwayat penyakit keluarga : Suami/Istri mengalami keluhan yang sama Riwayat kebiasaan sosial

olahraga = sesuai SP sendiri merokok = sesuai SP sendiri diet = sesuai SP sendiri

hubungan suami istri = sesuai SP sendiri

hubungan dengan tetangga/teman = sesuai SP sendiri Peran yang harus dilakukan:

Yang harus dilakukan: memakai kaca mata hitam

Pada waktu pemeriksaan Snellen, SP dapat membaca sampai huruf/angka yang terkecil dengan lancar

Bila peserta tidak memberikan resep, tanyakan pada peserta obat apa yang harus dibeli

Setelah peserta memberikan resep, tanyakan: apa saja yang harus dihindari

The construction of an OSCE-station

Step 4:

(10)

Instruksi:

Penguji mengamati dan menilai penampilan peserta berdasarkan lembar penilaian

Penguji tidak diperbolehkan melakukan interupsi ataupun bertanya kepada peserta selain yang ditentukan

Penguji mengingatkan waktu yang tersisa peserta jika tersisa 3 menit lagi Penguji memberikan informasi terhadap data yang dibutuhkan setelah

peserta melakukan pemeriksaan fisik sesuai dengan apa yang diperiksa oleh peserta :

Inspeksi: Mata merah sebelah kanan, edema palpebra (+)

Oblique Iluminasi : Injeksio Konjungtiva (+), secret (+) mukopurulen,

Penguji menanyakan hal berikut kepada kandidat: Pertanyaan untuk kandidat:

Apakah diagnosis pasien ini?

Apakah penatalaksanaan untuk pasien ini?

Jawaban:

Konjungtivitis/ Konjungtivitis Akut Penatalaksanaan :

Oxitetracyclin 1% zalf mata (boleh menjawab merek dagang) Vitamin C

Hygiene diperbaiki Bed Rest

Hindari kontak dengan orang lain

(Jawaban yang betul wajib menyebutkan Oxitetracyclin 1% zalf mata (boleh menjawab merek dagang) dan Vitamin C)

(11)

The construction of an OSCE-station

Step 5:

– Develop the instrument (narrative rating

scale)

INSTRUMEN PENILAIAN STATION MATA Komponen yang dinilai 0 1 2 3

Anamnesis Hanya menanyakan keluhan utama

Menanyakan: keluhan utama

proses perjalanan penyakit sekarang

Menanyakan: keluhan utama

proses perjalanan penyakit sekarang Riwayat penyakit dahulu

Menanyakan riwayat penyakit secara lengkap mencakup riwayat penyakit dahulu dan riwayat penyakit keluarga Pemeriksaan fisik Tidak dilakukan Hanya Melakukan inspeksi Melakukan:

 Inspeksi

 Oblique Iluminasi dengan cara membuka palpebra dan posisi senter yang tidak benar

Melakukan:  Inspeksi

 Oblique Iluminasi dengan cara membuka palpebra dan posisi senter sekitar 60o

Keterampilan prosedur klinik

Tidak melakukan pemeriksaan Visus

Melakukan pemeriksaan visus dengan menempatkan posisi pasien secara tidak benar

Melakukan pemeriksaan visus dengan:  menempatkan posisi pasien secara benar  urutan pemeriksaan tidak sesuai prosedur*

Melakukan pemeriksaan visus dengan:  menempatkan posisi pasien secara benar  urutan pemeriksaan sesuai prosedur* Diagnosis dan

Tatalaksana

Diagnosis salah Diagnosis benar, tata laksana salah Diagnosis Benar dan tatalaksana benar tapi tidak lengkap

Diagnosis Benar dan tatalaksana benar dan lengkap

Profesionalisme Tidak menciptakan hubungan dokter pasien yang baik (respek dan empati) Tidak melakukan

informed consent sebelum melakukan pemeriksaan

Melakukan informed consent sebelum melakukan pemeriksaan tapi tidak menciptakan hubungan dokter pasien yang baik (respek dan empati), atau

Menciptakan hubungan dokter pasien yang baik (respek dan empati) tapi tidak melakukan informed consent sebelum melakukan pemeriksaan

Berusaha menciptakan hubungan dokter pasien yang baik (respek dan empati) Melakukan informed consent sebelum

melakukan pemeriksaan

Menciptakan hubungan dokter pasien yang baik (respek dan empati) Melakukan informed consent sebelum

melakukan pemeriksaan Konseling Tidak memberikan

penjelasan

Memberikan penjelasan yang tidak benar Menjelaskan apa yang harus dihindari dan apa yang harus dilakukan dengan benar tapi dengan bahasa yang tidak dimengerti oleh pasien

Menjelaskan apa yang harus dihindari dan apa yang harus dilakukan dengan benar dan dengan bahasa yang mudah dimengerti oleh pasien

Keterangan:

(12)

The construction of an OSCE-station

Step 6:

Identify the all equipments needed,

including how to set

•

Ruangan dengan ukuran panjang minimal 3 meter dengan cermin ukuran 1 x 1 meter yang diletakkan 3 meter di depan SP dan kartu Snellen diletakkan di belakang SP

•

meja pemeriksaan = 1

•

meja alat = 1

•

kursi = 3

•

Senter = 1

•

Snellen Test = 1 set

•

Kapas Lidi = 1 set

•

Kasa Steril = 1 set

•

Wastafel = 1

•

Sabun cair = 1

•

Tissue = 1 dos

•

Tempat sampah = 1

•

Catatan rekam medik & ATK

•

Blanko Resep

(13)

The construction of an OSCE-station

Step 7:

Write down the station writer(s)

Station writers:

dr. Suliati P. Amir, dr. Syamrina, dr.

Rustam, dr. Asty Amalia

(14)

The construction of an OSCE-station

Step 8:

– Write down the reference(s) referred

(15)

The construction of an OSCE-station

Step 9:

– Station review

– Make necessary correction

The construction of an OSCE-station

Step 10:

– Train the simulated patients

– Train the examiners/observers

(16)

Psychometric Issues

• Reliability (R)

• Validity (V)

• Educational impact (E)

• Acceptability (A)

• Cost (C)

We can’t have them all

OSCE = POSCE ?

• Wider range of competences can be sampled

• Students are assessed by several number of

examiner NOT just one

• Criteria are agreed in advance

• A uniform/comparable assessment can be

implemented

(17)

OSCE = POSCE ?

• Bottlenecks are:

– Number of suitable rooms

– Days available in curriculum schedule

– Number of students

– Available staff

– Patients or simulation patients

– Test material (models etc)

OSCE = POSCE ?

• Avoid

excessive time pressure to students

ambiguous instruction

poorly constructed instrument

poorly prepared examiners

(18)

OSCE = POSCE ?

The reliability of a test like this is dependant on many

factors but very important are the total test time and the

number of stations

Many studies have been done:

to accomplish a 0.80 reliability requires a 4 hour test

with 12-24 stations.

A 0.60 reliability requires a 2 hour test with 6-12

stations.

(van der Vleuten and Swanson 1990)

Absolute Methods

1. Angoff (modified)

2. Ebel

Compromise Methods

1. The Hofstee Method

2. The Borderline Group

Method

3. The Borderline regression

method

(19)

A N G O F F METHOD

Content experts serve as judges:

Discuss characteristics of a borderline examinee

and what constitutes adequate/inadequate

knowledge

Reach consensus on the qualities of a borderline

candidate with specific examples in mind

Each judge estimates performance of borderline

examinee (s) on each item (1 / 100) MPL

Independent observer records judgments

Judgments combined (totaled and averaged) to

determine passing score

Modified Angoff in

OSCE

Items full mark

Explain to pt 1

Position pt 1

Inspection of skin 2 Temperature change 1

Pulsa-tion Femoral _Popliteal 1 ₁ Post. tibial 1 Dors. pedis 1 Capillary refill 1



Based on

each item

in checklist



Average scores from

judges will be the

cut-off point



Both overall cut-off

and item-by-item one

can be calculated

80% 0.8 80% 0.8 80% 1.6 60% 0.6 80% 0.8 50% 0.5 50% 0.5 50% 0.5 50% 0.5

(20)

The Ebel Method

Content experts serve as judges:

Session 1

Independently classify each item for

DIFFICULTY (easy, medium, or hard);

and RELEVANCE (acceptable, important

or essential).

May review representative performance

data.

Compute summary statistics – guide

The Ebel Method

Session 2

Reach consensus on qualities of a borderline

candidate.

Prompt: “If a borderline student had to perform

a large number of items like these, what

percentage would they get correct?”

Judges independently estimate the percentage

of items in each category that borderline test-

takers will answer correctly.

Judgments averaged and a passing score is

calculated.

(21)

Hofstee’s method

Content experts serve as judges:

Review the exam paper

What is the minimum acceptable pass score?

Min % correct that allows candidate to pass

What is the maximum acceptable pass score?

Max % correct that allows candidate to pass

What is the minimum acceptable pass rate?

Lowest acceptable % of failing candidates

What is the maximum acceptable pass rate?

Highest acceptable % of failing candidates

After the test is given, the distribution of scores in

graphed and the passing score computed

(22)

Borderline Regression Method

• Increasingly popular in OSCE and performance based

examination

• In each station each examinee is assessed using two

methods

– Check list based method

– Global performance (e.g. fail, borderline, pass, outstanding)

• Data from each station is aggregated

• A regression equation is developed using global

performance is independent variable and check list

marks as dependent variable

• Cut-mark (standard) is the boundary between borderline

and pass

Borderline Regression Method

Items Full mark Mark Explain to pt 1

Position pt 1 Inspection of skin 2 Temperature change 1

Pulsa-tion Femoral _Popliteal 1 ₁ Post. tibial 1 Dors. pedis 1 Capillary refill 1 Total 10

Put the global rating from the overall performance in OSCE Fail (1) Borderline (2) Pass (3) Outstanding (4) 1 1 2 1 1 1 0 1 1 9

a

(23)

Borderline Regression Method

Items Full mark Mark Explain to pt 1

Position pt 1 Inspection of skin 2 Temperature change 1

Pulsa-tion Femoral _Popliteal 1 ₁ Post. tibial 1 Dors. pedis 1 Capillary refill 1 Total 10

Put the global rating from the overall performance in OSCE Fail (1) Borderline (2) Pass (3) Outstanding (4) 1 1 1 0 0 1 0 1 0 5

a

Borderline Regression Methods

Global

Rating Actual Mark

4 10 4 10 3 9 3 8 3 8 3 7 2 7 2 6 2 4 6 8 10 Ac tu a l M a rk           Actual Mark = 2.67 + 1.79 * gr R-Square = 0.85