PROM K3 TM 6.7 . Evaluasi PK3

(1)

EVALUASI PKP

(2)

EVALUASI PROGRAM

• _Tujuan

_:

memperbaiki program

• _{Evaluasi: “}

_pemeriksaan

_sistematik

_dan

penilaian tentang keutamaan suatu

inisiatif dan pengaruhnya

, agar menghasilkan informasi yang dapat digunakan oleh mereka yang

berminat dalam hal perbaikan atau

(3)

MANFAAT

• Mempengaruhi pembuat keputusan dan

penyumbang dana, agar program dapat berlanjut (sustainable)

• Membangun kapasitas kelompok masyarakat dan melibatkannya

• Memberitahu apa yang dapat bekerja dan yang tak dapat bekerja, dibanding dengan

(4)

ENAM LANGKAH

EVALUASI PROGRAM

1. Melibatkan stakeholders

2. Menggambarkan atau merencanakan

program

(3 komponen gambaran program:

stadium program, pernyataan masalah, model

logic).

3. Fokus pada evaluasi

4. Kumpulkan bukti yang dapat dipercaya

(

credible evidence)

5. Memberikan alasan

bagi

kesimpulan-kesimpulan

6. Memastikan bahwa pelajaran yang dipelajari

(5)

PERBEDAAN EVALUASI PROGRAM

DARI EVALUASI RISET DASAR

Evaluasi program

1.Evaluasi dikendalikan oleh stakeholders

2.Standar termasuk kegunaan, feasibilitas,akurasi, kewajaran (fairness)

3.Menilai kegunaan dan kepentingan

4.Holistik dan fleksibel, dapat dirubah

5.Evaluasi tentang apa yang sedang berjalan Jangkauan (scope) luas agar integratif

6.Pertimbangan tergantung nilai – nilai yang dinyatakan oleh

stakeholders

7.Penggunaan data wajib untuk perbaikan program

Evaluasi riset dasar

1.Evaluasi lebih oleh peneliti sesuasi design

2.Lebih menekankan validitas external dan internal

3.Lebih menekankan asosiasi

4.Lebih terkendali ketat 5.Dibatasi oleh timeframe

yang spesifikLebih sempit 6.Lebih bebas nilai

(6)

EVALUASI DALAM PROMOSI

KESEHATAN DI TEMPAT KERJA

MENILAI “OBJECT INTEREST” (PROGRAM) terhadap PENCAPAIAN NILAI STANDAR

•_{Object Interest misalnya :}

• _{Meningkatkan PENGETAHUAN} • _{Perubahan perilaku}

• _{Penurunan risiko}

•_{Nilai Standar misalnya} • _{25% pekerja stop rokok}

• _{80% penderita taat program penurunan tensi} • _{10% tiap bulan peserta fitnes}

• _{Isu penting}

(7)

TUJUAN EVALUASI

1. Bisnis: Dana Program PKP efisien & Efektif?

2. Accountability: Tujuan PKP tercapai? 3. Ilmu & Aplikasi:

• _{Informasi bagi pengusaha & pekerja dalam menentukan}

(8)

EVALUASI

Berdasarkan level/tingkat (tradisional)

1. Evaluasi proses/formatif

Fokus :- cara melaksanakan program

Cara menilai kualitas & kelayakan praktis, mis:

• Jumlah brosur yang didistribusi

• Kualitas informasi mis. Tentang program fitness

• _{Level instruktur dan atau cara mengajar}

2.

Evaluasi pencapaian/output

Fokus : menilai efek kegiatan program, Mis

• _{Perubahan pengetahuan, sikap, perilaku} • _{Profil faktor risiko}

(9)

TINGKAT EVALUASI

…LANJUT

Berdasarkan basis pengukuran

• _{Efek jangka pendek}

• _{Jumlah kursus yang diminta}

• _{Jumlah sesi yang diikuti}

• _{Peningkatan pengetahuan factor risiko PJK}

• _{Peningkatan keyakinan atas pencegahan}

penyakit kronik

• _{Peningkatan disiplin pengendalian tensi}

• _{Peningkatan peserta senam aerobik}

• _{Penurunan pencegahan rokok}

(10)

TINGKAT EVALUASI

…LANJUT

Efek jangka panjang (tidak langsung)

• Produktifitas

• Absenteisme (Absence Rate)

• Claim biaya asuransi

• Incidence Rate & Severity Rate

(11)

CONTOH STANDAR

PENGUKURAN DARI BUREAU

OF LABOR STATISTICS (BLS)

1. Incidence Rate

Measures the number of absences per 100

employees during a given time period

2. Absence Rate

Measures the percent of time lost due to

absenteisme per 100 employees

3. Severity Rate

(12)

INCIDENCE RATE

Number of workers absent

--- X 100

Total employees

• Hitunglah, suatu perusahaan mempunyai jumlah karyawan

(13)

Incidence rate: 15 x 100 = 6% 250

Intepretasi:

(14)

ABSENCE RATE:

Number of hours absent

--- X 100

Number of hours usually worked

Jika ke 250 karyawan pada perusahaan

tsb. Bekerja selama 40 jam setiap

minggunya, sementara ke15 karyawan

masing2 tidak masuk selama 3 hari,

(15)

15 (3 x 8 jam)

Absence rate = --- X 100

240 x 40 jam

= 3,6%

INTEPRETASI

(16)

SEVERITY RATE:

Average number of hours lost by absent employee

--- X

100 Average number of hours usually worked

(17)

SEVERITY RATE:

3 x 8 24

--- X 100 = --- X 100 = 20% 3 x 40 120

INTEPRETASI

(18)

STANDAR OF

ACCEPTABILITY

Standar Normatif

• _{Pencapaian pengalaman industri lain.}

• _{Misalnya : tiap 6 bulan peserta fitness}

meningkat 10% (setelah program PKP)

Standar Historical

• _{Pencapaian intern periode lalu}

• _{Misalnya : Tahun lalu perokok}

menurun10%

(19)

STANDAR OF

ACCEPTABILITY

LANJUTAN…

Standar teoritis

• Pencapaian penelitian dengan intrervensi

di lab/klinis

• _{Misalnya : di UI di LKKK strategi}

(20)

STANDAR OF

ACCEPTABILITY

LANJUTAN…

Standar Absolut

• _{Level tertinggi yang dapat dicapai}

• _{Tidak realistis. Misalnya perokok menurun 100%}

Standar Kompromi

• _{Pertimbangan atas kombinasi nilai standar lain}

• _{Misalnya : standar kompromi penurunan jumlah}

perokok : 35%

• _{Atas dasar : - Standar normative 30%}

(21)

DISAIN EVALUASI

Keterbatasan disain PKP yang ada :

• _{Disain penelitian: logis /akurat (kerangka konsep)}

• Populasi kontrol / pembanding sulit didapat

• _{Gagal menilai perubahan perilaku (hanya}

pengetahuan/sikap)

• Jangka pendek



sulit mendapatkan jawaban

pasti

• Lain-lain : praktis/aplikasi,etika, dana

• _{Misalnya :}

• _{sulit mendapatkan populasi secara random/acak karena}

isu informed consent & atas dasar sukarela

(22)

DISAIN EVALUASI

LANJUTAN…

Kompromi pemilihan disain:

• _{Pertimbangkan keterbatasan disain}

• Pertimbangkan keterbatasan organisasi (ekonomis)

• Sesuaikan level penilaian dengan tujuan program,

S.D yang ada

• Memilih dari bab contoh disain

• Relasi perusahaan & pekerja

• Benefit pekerja

• Pajak (potongan)

(23)

21

HEALTH RISK ASSESSMENT _INTERVENTION _EVALUATION

Historical Record-keeping Approach

Inventory Approach

Comparative Approach

Quasi-experimental Approach

Controlled Experimental Approach

Full-blown Evaluative Research Project

Types of Evaluation Design in Workers’

Health Promotion Program

.

V

v

(24)

THE HISTORICAL, RECORD

KEEPING APPROACH

• _{Membuat prosedur pencatatan data}

akumulatif

• _{Data dalam tabel / grafik kumulatif}

• Memperlihatkan program pelaksanaan

(25)

(26)

(27)

THE INVENTORY APPROACH

Tentukan : - Waktu penilaian berkala - Target pencapaian

- Cara survai / Observasi

Contoh 1

Program Kontrol Hipertensi di Gimbels & Bloomingdale, tahun 1973 3000 pekerja hipertensi , 2220 diikutkan dalam program

Tim a perawat, protocol penanganan, biaya konsultasi, lab, obat 

beban perusahaan

 data ekonomis : Biaya pengobatan & perawatan, absenteisme menurun tiap tahun

data medis :

(28)

THE INVENTORY APPROACH

Contoh 2

•_{Program penurunan BB di perusahaan minyak Texas}

Pendidikan 8 sesi @ 1 jam/mg oleh ahli gizi yang ahli prilaku

 kuesioner data awal - Diet & prilaku

- BB, TB, trisep skin fold

Contoh 3

Program stop rokok the Campbell soup company dengan Kelas stop rokok oleh P.T.

 Data periodic 1.5, 3, 6,12 bulan dicatat oleh S.D.M internal

 evaluasi oleh Perusahaan

(29)

COMPARATIVE APPROACH

• _{Menggunakan data & format eks sebagai}

pembanding/standar evaluasi.

• _{Dari perusahaan lain.}

• _{Misalnya : Bell System menggunakan}

AT & T program stop rokok

Evaluasi - pada bulan ke 3-6. 12.

• _{Standar Nasional}

• _{Standar Regional}

(30)

THE CONTROLLED COMPARISON

(QUASI-EXPERIMENTAL APPROACH)

• Membandingkan kelompok intervensi dengan kelompok pembanding

• K. pembanding dari perusahaan lain yang mirip settingnya • Kelompok

1. diberi pendidikan elemen PKP yang intensif, all out 2. Tidak diberi pendidikan ttg PKP

• masing-masing kelompok dibagi subkelompok berdasarkan karakteristik tertentu :

Umur, sex, pendidikan, dll

• Contoh. Untuk hipertensi

(31)

High nutrients balanced calories

Dynamic Physical Move

Fresh air without smoke

LDL Cholesterol & Triglyceride reduction ;

HDL Cholesterol increase

(and other chronic degenerative

diseases)

-1.Combined risk reduction 2. Work Capacity increase 3. Health status increase

STRUCTURAL MODEL

(32)

Logical Model for Evaluation of Implementation Stage

of Workplace Health Promotion

INPUT

EDUCATION

• Curriculum development • Group training

• Questionnaire with feedback • Appreciative consultation • Social marketing Contest

ORGANIZATION • Advisory Committee for Leadership & partnership since planning stage • Local policy & regulation • Social support Standards selection

ENVIRONMENT

• Smoke free zone/segregated ventilation planning

• Supply of heart healthy nutrition (high nutrition). • New catering contract & caterer

• Exercise facilities & access

Resources: workers who attend the group training (% total)

Curriculum available

Policy & regulation available Exercise facilities’ adding and the access to those facilities is easier than before

OUTPUT1

Increase proportion of workers who

believe that the threat of CVD is serious; that it can happen to them with probability depends on their position in

combined risk category; that the recommended actions are effective

to avert the danger, that they are

capable to perform the recommended actions including overcoming barriers (e.g time, cost, etc)

ACTIVITY

INFLUENTIAL FACTORS

Management commitment, funding, socioeconomic factors, government support, community facilities, mass media & advertisement

(33)

INPUT ACTIVITY OUTPUT INITIAL OUTCOME

Increase p roportion of workers whose biological indices (indirect indicators) are normal:

1. Body Mass Index: 18.5 – 22.9 2. Physical Work Capacity:

Male > 9.75 METs Female > 8.63 METs 3. LDL Chol. <130 mg/dl

HDL Chol. >45 mg/dl Triglyceride < 200 mg/dl

4. Blood pressure < 120/80 mg/dl

5. Blood glucose 70 - 110 mg/dl

6. Waist circumference: Male < 90 cm; female <80 cm

*Increase proportion of green card holders (low combined risk category) among workers

*Increase proportion of workers with adequate PWC

Reduction of morbidity and mortality

of CVD and other chronic diseases

Reduction of sickness absenteeism (LWDC)

1. Reduction of medical cost

- Reduce morbidity & mortality due to CVD and other chronic diseases

Increase proportion of workers who

practice recommen ded actions as routine life style:

1. Eat high nutrient

1.8 Calories according to body weight in BMI 18.5 – 22.9

1.9. Drink water/liquid approx. 8 glasses /d

2. Relax by Dynamic Body Move

2.1. Cardio - fitness move: at least 30 min ea.( 3000 steps) ; 3 X/w

2.2. Muscular streng th move: 20 - 30 min ea; 2X/w

2. 3. Flexibility move (warm up & cool down): 10 min before and after 2.1. and 2.2.

3. Breathe in fresh air

without smoke

(Increase proportion of workers who do not smoke)

Healthy workers in healthy company .

Advisory Co mmittee leads implementation of local policy and regulations, social support, and acceptable standards

Supply of high nutrient pyramid is implemented. Exercise facilities and accessibility are available.

Segregated ventilation for smokers and smoke free zone for all are implemented.

(34)

22

HEALTH RISK ASSESSMENT 1

INTERVENTION

HEALTH RISK ASSESSMENT

2; 3; etc PARTICIPANTS

HEALTH RISK

ASSESSMENT 1 _{ASSESSMENT 2}HEALTH RISK

NON-PARTICIPANTS

(35)

THE CONTROLLED EXPERIMENTAL

APPROACH

• Prosedur seperti uji klinik

• Seleksi acak : kelompok intervensi/tidak

• Masing-masing ada subkelompok

• Contoh : 4 Sub kelompok diberi pendidikan anti ca.

payudara dengan metoda pendidikan yang berbeda

• 2 sub kelompok tanpa intervensi (pendidikan

(36)