Australia – Indonesia
Partnership for Maternal and Neonatal Health
Laporan Evaluasi Akhir
Program Performance Management and Leadership (PML Puskesmas) di Belu, Sikka , Manggarai dan Sumba Timur, April – Mei 2014
Laporan Versi 1 December 2014
i Evaluasi Akhir PML 2014
Daftar isi
DAFTAR SINGKATAN ...iii
RINGKASAN EKSEKUTIF ... 1
BAB I. PENDAHULUAN ... 5
A. LATAR BELAKANG ... 5
B. TUJUAN EVALUASI ... 6
C. TIM EVALUATOR ... 6
D. JADWAL EVALUASI ... 6
BAB II. KERANGKA DAN METODE EVALUASI ... 7
A. METODE EVALUASI ... 7
B. ASPEK EVALUASI DAN INDIKATOR... 7
C. METODE ANALISA ... 7
BAB III. HASIL EVALUASI ... 9
A. PENCAPAIAN INDIKATOR PML ... 9
B. HASIL ANALISA KUALITATIF ... 12
C. HASIL ANALISA KUANTITATIF ... 15
BAB IV. TANTANGAN DAN KENDALA ... 23
BAB V. KESIMPULAN ... 24
BAB VI. PEMBELAJARAN... 25
BAB VII. REKOMENDASI ... 26
VIII. PENUTUP ... 27
DAFTAR PUSTAKA ... 28
LAMPIRAN ... 28
ii Evaluasi Akhir PML 2014 Grafik
Grafik 1 Kondisi sebelum dan sesudah implementasi program PML per peserta program ... 16
Grafik 2 Perubahan individual total score sebelum dan sesudah program PML puskesmas... 17
Grafik 3 Total Skor Perubahan Nilai Indikator Program PML Menurut Kabupaten ... 18
Grafik 4 Perubahan nilai sebelum dan sesudah program PML untuk masilng –masing elemen ... 19
Grafik 5 Rata – rata perubahan nilai indikator sebelum dan sesudah program PML ... 20
Grafik 6 Pencapaian atau kondisi saat ini/ sekarang (rata-rata semua peserta) ... 21
Grafik 7 Peningkatan kompetensi setelah program dilaksanakan di 4 kabupaten ... 22
Tables Table 1. Jumlah Puskesmas dan rincian jumlah responden per kabupaten ... 6
Table 2 Hasil Indikator 1 : Manajemen dan Kepemimpinan Manager ... 9
Table 3 Hasil indikator 2: Kepemimpinan kepala puskesmas ... 9
Table 4 Hasil indikator 11: Replikasi ... 12
Table 5 Rata – rata total skor perubahan nilai sebelum dan sesudah program PML menurut kabupaten ... 18
Table 6 pencapaian kondisi saat ini di 4 kabupaten ... 20
iii Evaluasi Akhir PML 2014
DAFTAR SINGKATAN
AIPMNH Australia Indonesia Partnership Maternal Neonatal Health
AKB Angka Kematian Bayi
AKI Angka Kematian Ibu
APBD Anggaran dan Pendapatan Belanja Daerah
ANOVA Analysis of Variance
BOK Biaya Operasional PUSKESMAS
BPPSDM Badan Pemberdayaan dan Pengembagan Sumber Daya Manusia IAKMI Ikatan Ahli Kesehatan Masyarakat Indonesia
K1 Kunjungan kehamilan pertama
K4 Kunjungan kehamilan ke empat
KN Kunjungan Neonatus
KIA Kesehatan Ibu dan Anak
PML Performance Management and Leadership PERMENKES Peraturan Menteri Kesehatan
POA Plan of Action
SDM Sumber Daya Manusia
SPO Standar Pelayanan Operasional
UPTD Latnakes Unit Pelaksana tehnis Daerah Pelatihan Tenaga Kesehatan
1 Evaluasi Akhir PML 2014
RINGKASAN EKSEKUTIF
Program Performance Management and Leadership (PML) bertujuan untuk meningkatkan kompetensi (hard skills maupun soft skills) managerial dan kepemimpinan kepala puskesmas dan staf senior. Kegiatan dilaksanakan melalui pelatihan dan pendampingan sesuai dengan ketentuan Permenkes RI No 971/2009, tentang Kompetensi Pejabat Dinas Kesehatan. PML Puskesmas dilaksanakan di 4 kabupaten: Belu, Sumba Timur, Manggarai, Sikka mewakili 14 Kabupaten/Kota dukungan AIPMNH. Setiap Kabupaten, dipilih 6 Puskesmas mewakili Puskesmas Rawat Jalan dan Rawat Inap. Program pelatihan dan mentoring dilaksanakan selama tujuh bulan (Juni –Desember 2012) kemudian dilanjutkan dengan bimbingan tehnis dan monitoring triwulanan oleh Dinas Kesehatan Kabupaten, mentor dan fasilitator dari IAKMI Yogja.
Evaluasi ini bertujuan untuk menilai perkembangan dan hasil program PML Puskesmas setelah dua tahun program berjalan. Evaluasi menggunakan pendekatan kuantitatif dan kualitatif dengan wawancara dan observasi serta analisis data sekunder. Evaluasi dilakukan terhadap 12 indikator sebagaimana tercantum dalam Permenkes RI No 971/2009. Kepala Puskesmas dan 1-2 staf setiap Puskesmas dinilai dan diwawancarai. Total responden sebanyak 64 orang.
Penilaian kuantitatif meliputi 3 penilaian: oleh diri sendiri (self assessment), oleh atasan atau bawahan dan oleh evaluator. Jenis analisa mencakup penilaian: kondisi sebelum program PML, kondisi sesudah program PML, peningkatan yang terjadi dan kondisi saat ini. Untuk kondisi sebelum dan kondisi sesudah, menggunakan penilaian: self assessment dan atasan/bawahan. Sedangkan untuk analisa peningkatan dan kondisi saat ini menggunakan penilaian: hasil self assessment, atasan/ bawahan dan external evaluator. Kondisi sebelum dan kondisi sesudah dibandingkan untuk menilai perubahan. Kondisi saat ini dinilai untuk menilai skor pada saat penilaian. Perubahan setiap indikator (pre dan post) dianalisis dan kemaknaan perubahan diuji secara statistik.
Hasil evaluasi menujukkan bahwa program PML telah mampu meningkatkan kompetensi managerial dan kepemimpinan di Puskesmas. Semua kabupaten memperlihatkan pencapian indikator program yang memuaskan: (1) tingkat kepuasan kepala Puskesmas, (2) kepuasan staf senior terhadap pelaksanaan program PML,(3) adanya tim pendamping kabupaten yang rutin melakukan pendampingan, (4) memulai adanya replikasi program ke puskesmas lain, (5) tersusunnya standar operasional pelayanan (SOP), (6) mulai adanya kejelasan uraian tugas bagi setiap staf puskesmas, (7) perbaikan sistem pencatatan dan pelaporan Puskesmas, (8) adanya rencana usulan kegiatan dan (9) adanya rencana pelaksanaan kegiatan puskesmas, (10) terlaksanakanya lokakarya mini bulan dan triwulan dan (11) adanya peningkatan penyerapan dana BOK (Biaya Operasional Kesehatan).
Gambaran pencapaian score 12 elemen PML Puskesmas terlihat pada grafik di bawah. Hasil penilaian ini merupakan rata–rata dari 3 komponen penilaian meliputi: self assessment, penilaian oleh atasan/bawahan dan penilaian oleh evaluator.
Grafik: Hasil pencapaian score penilaian kondisi saat ini 12 elemen PML Puskesmas di empat kabupaten/kota
2 Evaluasi Akhir PML 2014
Hasil analisis kualitatif menunjukkan bahwa program PML Puskesmas sangat dirasakan manfaat tidak hanya untuk organisasi (Puskesmas) namun juga bagi individu staf. Program PML Puskesmas telah menambah pengetahuan staf, memberikan pengalaman baru, dan telah meningkatkan kemampuan diri staf dalam mengelola program dan kepemimpinan. Secara organisasi, manajemen Puskesmas menjadi lebih baik, tata kerja berubah, tujuan organisasi jelas, staf bekerja dapat terarah dan ini telah berdampak terhadap peningkatan kepuasan masyarakat terhadap pelayanan kesehatan. Dari segi pimpinan puskesmas, pimpinan lebih percaya diri, berani memutuskan, tegas dan kreatif. Lebih lanjut lingkungan fisik puskesmas juga berubah menjadi lebih bersih.
Secara umum program PML telah memberikan dampak positip bagi tatakelola Puskesmas dan kualitas pelayanan kesehatan di Puskesmas. Pelaksanaan program ini diharapkan tidak hanya terbatas di empat kabupaten saja, namun diharapkan dapat direplikasi ke daerah lain dengan dukungan anggaran pemerintah daerah maupun sumber lainnya. Program ini perlu diadvokasi ke pemerintah pusat maupun daerah agar dapat menjadi program reguler (rutin) dan dilaksanakan di seluruh puskesmas.
5.31 5.21 4.99
5.17 4.95
5.42 5.34 5.11 5.07
5.26 5.33 5.26
4.83 5.09 5.03 4.78
4.94 5.13 5.12 4.99 4.95 4.82
5.24 5.21
4.90 4.89 4.93 4.86 4.76
5.12 4.95 4.78 4.75 4.71
4.86 4.89
4.48 4.21 4.05 3.86 3.81
4.28 3.79 3.71 3.60
3.85 4.27 3.68
0.00 1.00 2.00 3.00 4.00 5.00 6.00
Integritas Kepemimpinan Perencanaan M&E Penganggaran Pengorganisasian Orientasi Pada Pelayanan Orientasi Pada Kualitas Berpikir analitis Berpikir Konseptual Keahlian tehnikal manajerial dan profesional Inovasi
Sikka Manggarai Sumba Timur Belu
Keterangan: 1 score terendah; 6 score tertinggi
Skor= rata rata penilaian diri, staf dan orang luar di antara staf yang dinilai dari 6 Puskesmas terpilih di setiap kabupaten. Jumlah responden Manggarai (14), Sumba Timur (12), Sikka (22), Belu (16).
3 Evaluasi Akhir PML 2014
EXECUTIVE SUMMARY
The Performance Management and Leadership (PML) Program aims to improve competencies (hard and soft skills) in management and leadership of the head and senior staff of Puskesmas. PML program activities, such as training and supervision, align with the Ministry of Health’s Regulation No 971/2009 on Competencies of Health Office Senior Staff. The PML program is being implemented in four of the 14 AIPMNH supported districts: Belu, Sumba Timur, Manggarai and Sikka. In each of the four districts, six Puskesmas are covered making a total of 24 Puskesmas in the program. Intensive training and mentoring was conducted for seven months (June –December 2012) followed by quarterly technical supervision from the district health office, former local mentors and the facilitators from IAKMI Yogjakarta.
This evaluation aimed to assess the progress and impact of the PML program after two years of implementation. Quantitative and qualitative assessments were conducted including interviews, observation and secondary data collection based on the indicators as outlined in the Ministry of Health Regulation No 971/2009. The Puskesmas head and up to two staff were assessed and interviewed from each of the six Puskesmas from each district, leading to a total of 64 managers and staff from the 24 Puskesmas.
Quantitative assessment covered: (i) self-assessment; (ii) assessment conducted by the supervisor or the subordinates; and (iii) assessment conducted by the evaluator. Analyses included the measures of ‘before’ and ‘after’ the PML Program. Self-assessment and assessment by the supervisor or subordinates were used to evaluate the conditions before and after the PML program. The analysis of current conditions used self-assessment by supervisors or subordinates plus assessments conducted by the external evaluator. The conditions before and after the PML program were compared to measure change. Current conditions were assessed to measure participants’ scores.
Changes in each indicator (before and after) were analysed using statistical tests to assess significance.
Results of the evaluation indicate that the PML program has improved management and leadership in the Puskesmas. All districts show satisfactory achievements of the program indicators: (1) level of satisfaction of the head of Puskesmas, (2) level of satisfaction of senior staff regarding the implementation of PML program, (3) district supervisory team conducting supervision regularly, (4) replication of the program to other puskesmas, (5) standard operating procedures established, (6) job descriptions for all staff are clearly defined, (7) Puskesmas recording and reporting system are improved, (8) proposed activities developed (9) Puskesmas implementation plan developed, (10) monthly and quarterly mini-workshop implemented, and (11) utilisation of available operational funds increased.
Results are summarised in the graphic in the Bahasa version of the Executive summary. The graph shows the average score for each element of the Permenkes elements of management and leadership. The average score is the average of self assessment, staff assessment and external assessment for each of the Puskesmas staff followed up in the evaluation, and then averaged across the staff from each district.
4 Evaluasi Akhir PML 2014
Qualitative analysis demonstrated that the program has great benefits not only for the Puskesmas as an organisation but also for staff as individuals. The program has increased staff knowledge, given new experience for staff, and improved staff’s leadership and competencies in managing their programs. Puskesmas management has improved, as has puskesmas governance, organisational objectives are clear, Puskesmas staff perform with clear direction and consequently the community has increased satisfaction with the health services. Puskesmas leaders are more confident, assertive and creative. As an added benefit, Puskesmas surroundings are much cleaner than ever before.
The PML Program has brought positive impacts on Puskesmas’ governance and service quality. It is recommended that implementation of this program should be expanded not only in the four districts but also replicated in other areas with the support of local government budgets and other funds. It is also recommended that the PML Program be advocated to the Central and Regional governments so that the Program may be included as part of the government’s regular program and implemented in all Puskesmas.
5 Evaluasi Akhir PML 2014
BAB I. PENDAHULUAN
A. LATAR BELAKANG
Untuk meningkatkan kapasitas kepemimpinan dan manajemen puskesmas telah dirancang sebuah Pusat kesehatan masayarakat (puskesmas) merupakan garda terdepan pelayanan kesehatan dasar dan mempunyai peran strategis dalam menanggulangi berbagai masalah kesehatan spesifik yang ada di daerah. Agar peran Puskesmas lebih optimal dalam memberikan pelayanan kepada masyarakat, perlu dilakukan upaya penguatan kapasitas manajemen dan kepemimpinan Puskesmas. Dengan peningkatan kapasitas kepemimpinan dan manajemen kepala puskesmas, dan pimpinan administrasi diharapkan akan terjadi perbaikan pengelolaan sistem manajemen dan pelayanan kesehatan di puskesmas, yang diharapkan akan berdampak apda peningkatan kinerja pelayanan kepada masyarakat.
Program pelatihan yang mengacu pada Peraturan Menteri Kesehatan RI No 971 /2009, tentang Kompetensi Pejabat Dinas Kesehatan. Sebuah pelatihan manajemen dan kepemimpinan bagi kepala Puskesmas dan staf administrasi untuk kompetensi hard skills maupun soft skills.
Program pelatihan ditujukan untuk memperkuat sistem dan mekanisme yang sudah ada, memfasilitasi dan memberikan dukungan teknis yang difokuskan pada proses manajemen dan identifikasi kelemahan manajemen untuk mewujudkan pola manajemen Puskesmas yang baru.
Program ini dilakukan dengan pelaksanaan beberapa lokakarya dengan memberikan beberapa materi kompetensi berkaiatan dengan manajemen program pokok puskesmas. Lokakarya dilakukan secara periodik dengan menggunakan pendekatan belajar dan bekerja dalam tim dengan pendampingan. Program ini juga memakai dan mengembangkan pedoman dan panduan yang sudah ada dengan berkoordinasi dan berkolaborasi dengan Pusat Pendidikan dan Pelatihan Aparatur (Pusdiklat Aparatur BPPSDM).
Program Performance Management and Leadership (PML) dilakukan di 4 kabupaten di NTT (Belu, Sumba Timur, Manggarai, Sikka) di 6 Puskesmas per kabupaten/kota. Program PML ini dilakukan secara intensif selama 7 bulan mulai Juni tahun 2012 sampai Desember 2012. Kemudian dilakukan dengan bimbingan tehnis dan monitoring per 3 bulan oleh tim dinas kesehatan kabupaten di bantu oleh eks mentor lokal serta didukung fasilitator dari IAKMI Yogja. Dukungan Dinas Kesehatan Kabupaten untuk
Laporan ini mengevaluasi hasil pencapaian berbagai indikator pelaksanaan program PML dan mengidentifikasi aspek pembelajaran (perubahan perilaku kepemimpinan dan pengelolaan manajemen). Aktualisasi perubahan perilaku kepemimpinan dan manajemen program setelah pelatihan PML juga merupakan aspek penting dari kajian evaluasi ini.
6 Evaluasi Akhir PML 2014
B. TUJUAN EVALUASI
Kegiatan evaluasi akhir ini bertujuan untuk menilai:
1. perkembangan implementasi Plan of Action untuk kegiatan jangka pendek dan menengah sebagai indicator perubahan perilaku kepemimpinan dan pengelolaan manajemen pelayanan kesehatan di Puskesmas;
2. perubahan kompetensi kepemimpinan dan manajemen pelayanan kesehatan di Puskesmas (sebelum dan sesudah, kondisi saat ini dan peningkatan) dan
3. manfaat PML puskesmas bagi individu maupun organisasi.
C. TIM EVALUATOR
Tim evaluator terdiri dari beberapa unsur yang memenuhi persyaratan termasuk mengetahui atau pernah mengikuti program PML. Untuk menghindari bias, tim fasilitator dan mentor lokal tidak melakukan evaluasi ditempat yang pernah didampingi sebelumnya.
Tim evaluator terdiri dari:
- Tim IAKMI Yogjakarta sebagai Koordinator;
- Tim UPTD Latnakes Dinas Kesehatan Provinsi Nusa Tenggara Timur; dan - Mentor lokal
Setiap tim beranggotakan 5 orang terdiri dari: 2 orang dari IAKMI Yogjakarta, 1 orang dari UPTD Latnakes Dinas Kesehatan Provinsi NTT, 1 mentor lokal, 1 orang dari PKMK UGM untuk administrasi dan logistik. Setiap tim melakukan evaluasi di 2 kabupaten. Jumlah responden dan rinciannya dapat dilihat pada Table 1.
Table 1. Jumlah Puskesmas dan rincian jumlah responden per kabupaten
Kabupaten Jumlah
Puskesmas Jumlah responden Kep Pusk
Jumlah responden Staf
Total jumlah responden
Belu 6 6 10 16
Sumba Timur 5 5 7 12
Manggarai 6 5 9 14
Sikka 8* 8 14 22
Total 25 24 40 64
*Ditambah dengan 2 Puskesmas replikasi
D. JADWAL EVALUASI
Evaluasi dilakukan pada tanggal 28 – 30 April 2014 untuk Kabupaten Manggarai dan Sikka.
Sedangkan untuk Kabupaten Sumba Timur dilaksanakan pada tanggal 5 – 9 Mei dan Kabupaten Belu pada tanggal 19 – 21 Mei 2014.
Diperlukan waktu 3 hari untuk melakukan evaluasi di setiap kabupaten kecuali di kabupaten Sumba Timur yang memerlukan waktu lebih lama (4 hari) karena lokasi beberapa puskesmas yang cukup jauh. Waktu yang dibutuhkan untuk evaluasi di setiap puskesmas selama satu hari penuh untuk puskesmas yang jauh dari kota sedangkan yang dekat kota hanya memerlukan waktu setengah hari.
Jadwal lengkap evaluasi dapat dilihat pada lampiran.
7 Evaluasi Akhir PML 2014
BAB II. KERANGKA DAN METODE EVALUASI
A. METODE EVALUASI
Metode evaluasi menggunakan pendekatan yang diperkenalkan oleh Kirk Patrick yang terdiri dari 4 level evaluasi yaitu evaluasi reaksi (level 1), evaluasi belajar (level 2), evaluasi perilaku (level 3) dan evaluasi hasil (level 4). Namun fokus evaluasi akhir ini hanya pada level 1, 2 dan 3. Level 4 belum dapat dilakukan karena untuk mengukur dampak terhadap cakuan K1, K4, KN, kematian ibu dan bayi memerlukan waktu implementasi program yang lebih lama.
Perincian tingkat evaluasi dan tujuan terperinci dapat dilihat pada lampiran.
Evaluasi dilakukan terhadap nilai sebelum dan sesudah, kondisi saat ini dan peningkatan yang terjadi. Metode evaluasi menggunakan wawancara dan observasi/pengamatan dilapangan.
1. Wawancara
Wawancara dilakukan dengan Kepala Puskesmas, staf puskesmas yang telah mengikuti pelatihan dan pendampingan. Wawancara memerlukan waktu kurang lebih 1 sampai 2 jam perorang. Kuesioner yang dipakai adalah kuesioner terstruktur yang berisi hal-hal positif yang telah dicapai sesuai dengan standar kompetensi pelatihan PML.
Wawancara menggunakan 3 pendekatan: self assessment, atasan atau bawahan dan evaluator/assessor.
2. Observasi atau pengamatan
Observasi atau pengamatan dilakukan dengan memakai check list yang sudah disiapkan untuk menilai perkembangan yang terjadi di puskesmas. Formulir observasi terlampir (form E).
B. ASPEK EVALUASI DAN INDIKATOR
Topik – topik yang dievaluasi mencakup:
1. Permenkes No. 971/ 2009. Untuk itu hal pokok yang ditanyakan meliputi aspek:
integritas, kepemimpinan, perencanaan, monitoring dan evaluasi, penganggaran, pengorganisasiaan, orientasi pada pelayanan, orientasi pada kualitas, berpikir analitis, berpikir konseptual, keahlian tehnikal manajerial dan professional dan inovasi;
2. penerimaan/retensi terhadap perubahan yang terjadi;
3. hambatan-hambatan selama implementasi;
4. manfaat implementasi proposal/POA program PML; dan
5. kondisi fisik Puskesmas (dulu dan setelah PML), termasuk bukti dokumentasi dan foto secara fisik.
C. METODE ANALISA
Analisa data akan dilakukan dengan pendekatan kuantitatif dan kualitatif.
1. Analisa kuantitatif
8 Evaluasi Akhir PML 2014
Setiap pertanyan dalam kusioner diberi nilai 1 sampai 6. Nilai 1 menunjukkan nilai buruk sekali sedangkan 6 baik sekali. Hasil penilaian dianggap baik jika peserta mencapai nilai diatas skala 3 dan peningkatan dianggap baik jika mendapat nilai diatas 1.
Analisa dilakukan dengan membandingkan nilai sebelum dan sesudah. Perbedaan nilai di uji statistik menggunakan paired t test. Perbedaan rata-rata nilai antar kabupaten kota di uji dengan menggunakan Anova test.
2. Analisa kualitatif
Analisis kualitatif juga dilakukan terhadap keseluruhan komponen PML Puskesmas sesuai dengan standar Permenkes. Disamping itu juga di explore tingkat penerimaan/retensi terhadap perubahan yang terjadi, hambatan-hambatan yang mereka alami selama implementasi program PML, manfaat yang dirasakan setelah Plan of Action program PML diimplementasikan serta analisis terhadap hasil observasi selama kunjungan ke puskesmas.
9 Evaluasi Akhir PML 2014
BAB III. HASIL EVALUASI
Hasil evaluasi terdiri dari 3 bagian yang terdiri dari hasil pencapaian indikator program PML sesuai dengan rancangan program PML, hasil analisa kualitatif dan hasil analisa kuantitatif. Berikut ini adalah hasil evaluasi untuk masing – masing bagian tersebut.
A. PENCAPAIAN INDIKATOR PML
Program PML mempunyai 11 indikator yang dirancang untuk mengukur keberhasilan program..
Indikator program PML Puskesmas dapat dilihat di Lampiran X dan pencapaian masing – masing indikator diuraikan dibawah ini.
Indikator 1 : Manajemen dan Kepemimpinan Manager
Semua responden mencapai nilai yang memuaskan; dengan nilai terendah 3.92 (sedang/
cukup) diperoleh kabupaten Sikka dan nilai tertinggi 5.14 (tinggi) diperoleh oleh kabupaten Belu. Perinciannya dapat dilihat pada Table 2.
Table 2 Hasil Indikator 1 : Manajemen dan Kepemimpinan Manager
Kabupaten Hasil
Sikka Rata-rata peningkatan: 1.37 (range: 1.2 –1.79) Kondisi saat ini: 3.92 (sedang/cukup)
Belu Rata-rata peningkatan : 1.31 (range: 1.03 –1.72) Kondisi saat ini: 5.14 (tinggi)
Manggarai Rata-rata peningkatan : 1.39 (range: 1.15 –1.6) Kondisi saat ini : 4.81 (sedang/ cukup)
Sumba Timur Rata-rata peningkatan: sebesar 1.64 (range: 1.4 –1.84) Kondisi saat ini : 5.03 (Tinggi)
Pencapaian Semua kabupaten menunjukkan peningkatan nilai yang sangat baik, namun bervariasi antar kabupaten.
Indikator 2: Kepemimpinan Kepala Puskesmas
Semua responden kepala puskesmas (n=24) mencapai nilai post asesement yang memuaskan. Perincian nilai per Kabupaten dapat dilihat pada Table 3.
Table 3 Hasil indikator 2: Kepemimpinan kepala puskesmas
Kabupaten Pencapaian
Sikka 7 dari 8 kepala puskesmas mengalami rata – rata kenaikan diatas 1 poin (range 0.94–
2.4)
4 dari 8 kepala puskesmas memperoleh rata-rata kenaikan diatas 4 poin (range 3.78–
4.79)
Peningkatan tertinggi 2.41 dan terendah 1.23
10 Evaluasi Akhir PML 2014 Kabupaten Pencapaian
Belu 5 dari 6 kepala puskesmas mengalami rata-rata kenaikan diatas 1 poin (range: 0.63–1.95) 6 dari 6 puskesmas memperoleh nilai rata –rata diatas 4 (range: 4.98–5.66)
Peningkatan tertinggi: skala 1.78 dan peningkatan terendah 0.63
Manggarai 5 dari 6 kepala puskesmas mengalami rata – rata kenaikan diatas 1 poin (range: 0.74–
2.55)
5 dari 6 puskesmas mendapat nilai rata –rata diatas 4 (range: 4.10–5.68) Peningkatan tertinggi 1 kepala puskesmas : poin 2.55, terendah 0.37
Sumba Timur Semua kepala puskesmas mengalami peningkatan diatas 1 poin ( 1 puskesmas tidak bisa dinilai) dengan range: 1.18–4.03.
5 puskesmas memperoleh nilai diatas 4 (range: 4.65–5.75) Peningkatan tertinggi sebesar 4.03 dan terendah 1.18 poin.
Pencapaian: minimal 4 kepala puskesmas di masing – masing kabupaten mencapai hasil post assessment yang memuaskan (poin diatas 4)
Disetiap kabupaten minimal 4 dari 6 kepala puskesmas mencapai nilai yang memuaskan. Di Sumba Timur peningkatan cukup tinggi (4.03), namun di kabupaten Belu hanya mengalami peningkatan 0.63 poin.
Indikator 3: Bimbingan Teknis dan Monitoring – Evaluasi
Semua kabupaten mempunyai tim dan memberikan bimbingan teknis dan monitoring evaluasi secara rutin minimal 3 bulan sekali.
Kabupaten Sikka: Ada tim PML Kabupaten yang melakukan pendampingan secara rutin dengan menggunakan dana APBD dan sudah mereplikasi kegiatan ini di 2 puskesmas baru.
Kabupaten Manggarai: Tim PML Kabupaten sudah terbentuk sejak awal dan sudah melakukkan pendampingan secara rutin. Tahun depan (2015) direncanakan akan menambah 6 puskesmas PML sumber dana dari APBD.
Kabupaten Belu: Tim PML Kabupaten melakukan pendampingan tiap 3 bulanan dan ada replikasi di 1 puskesmas.
Kabupaten Sumba Timur: Tim PML Kabupaten melakukan pedampingan sekaligus pendampingan untuk persiapan akreditas puskesmas.
Masing-masing kabupaten sudah mempunyai tim PML dan secara rutin melakukan monitoring dan evaluasi serta membantu puskesmas baru yang akan implementasi program PML. Keberadaan dan berfungsinya tim PML di tingkat kabupaten ini memegang peranan penting dalam keberlanjutannya progtam ini. Karena tim ini yang akan mendampingi puskesmas termasuk dalam memberikan bimbingan tehnis. Bimbingan tehnis oleh narasumber atau pelatih diberikan setiap tiga bulanan oleh tim dari provinsi.
11 Evaluasi Akhir PML 2014 Indikator 4:
Uraian Tugas enam puskesmas di tiga kabupaten sudah mempunyai uraian tugas bagi masing-masing staff. Hanya satu puskesmas di satu kabupaten yang belum mempunyai uraian tugas karena adanya pergantian Kepala puskesmas dan penggantinya tidak meneruskan program ini dengan maksimal.
Indikator 5: Standar Prosedur Operasional
Semua puskesmas PML di 4 kabupaten sudah mempunyai standard prosedur operasional pelayanan namun jumlahnya beragam. Beberapa puskesmas mempunyai SPO lengkap sedangkan beberapa lainnya tidak lengkap atau hanya sedikit. SPO yang terbanyak adalah SPO terkait dengan pelayanan Kesehatan ibu dan anak.
Indikator 6: Sistem Pencatatan dan Pelaporan
Rata-rata puskesmas di 4 kabupaten mempunyai data dan mempunyai papan informasi yang berisi data cakupan pelayanan. Beberapa Puskesmas data ditampilkan sangat informative dan sangat menarik , termasuk di puskesmas Halilulik di Belu, Puskesmas Lewa di Sumba Timur dan puskesmas Wangko di Manggarai dan puskesmas Lekebai di Sikka). Namun ada beberapa puskesmas membuat papan informasi dengan data seadanya dan kurang kreatif.
Indikator 7: Dokumen Perencaaan Puskesmas / Rencana Usulan Kegiatan (RUK)
Rata – rata minimal 3 puskesmas di masing – masing kabupaten bisa menunjukkan dokumen rencana Ususlan Kegiatan tahun 2014. Namun hanya beberapa puskesmas saja yang menyusun dokumen sesuai dengan pedoman yang telah ditetapkan Kementrian Kesehatan (buku pedoman Perencanaan Tingkat Puskesmas) yang lengkap dengan hasil analisa dan narasi. RUK yang dihasilkan oleh puskesmas kebanyakan hanya berupa dokumen dan matriks kegiatan. Untuk itu puskesmas masih perlu mendapat bimbingan tehnis dari Dinas Kesehatan kabupaten dalam menyusun dokumen perencanaan (RUK).
Indikator 8: Dokumen Rencana Pelaksanaan Kegiatan (RPK) Puskesmas.
Semua puskesmas PML di 4 kabupaten membuat RPK (Rencana Pelaksanaan Kegiatan).
Dokumen ini diperlukan untuk pencairan dana BOK.
Indiktor 9: Lokakarya Mini Bulanan dan Triwulanan Puskesmas
Semua puskesmas di 4 kabupaten melakukan lokakarya mini. Kegiatan ini merupakan salah satu syarat untuk pencairan dana BOK. Namun kualitas pelaksanaan lokakarya mini belum dievaluasi dan perlu menjadi perhatian dimasa mendatang.
Indikator 10: Kualitas Pencatatan dan Pelaporan
Hampir semua puskesmas di tiap kabupaten membuat notulensi rapat bulanan (minilokakarya dan rapat evaluasi bulanan). Notulensi ini diperlukan sebagai salah satu dasar jika akan membuat sebuah keputusan atau menjadi bukti jika sebuah keputusan dipertanyakan. Beberapa puskesmas yang belum membuat terutama disebabkan oleh kurangnya kinerja kepemimpinan dari kepala puskesmas.
12 Evaluasi Akhir PML 2014 Indikator 11: Replikasi
2 kabupaten sudah mempunyai replikasi ke puskesmas lain untuk tahun 2014 sedangkan 2 kabupaten lainnya akan dilaksanakan pada tahun 2015. Hasil replikasi dapat dilihat pada Table 4.
Table 4 Hasil indikator 11: Replikasi
Kabupaten Replikasi Keterangan
Sikka 2 APBD
Belu 2 APBD dan AIPMNH
Manggarai - APBD 2015 6 puskesmas replikasi
Sumba Timur - Direncanakan dalam APBD 2015
Dengan adanya penambahan puskesmas yang berpartisipasi dalam program ini (replikasi) diharapkan program ini bisa menjadi program rutin di masing–masing Dinas Kesehatan kabupaten
B. HASIL ANALISA KUALITATIF
Secara umum program PML membawa hasil yang baik bagi seluruh peserta di 4 kabupaten. Terjadi peningkatan kompetensi manajemen dan kepemimpinan di hampir semua puskesmas. Beberapa puskesmas yang tidak mengalami peningkatan kompetensi pada umumnya disebabkan karena ada pergantian/mutasi staf.
Semua puskesmas telah melaksanakan kegiatan sesuai dengan rencana terutama rencana jangka pendek dan beberapa kegiatan di rencana jangka menengah yang dilaksanakan secara mandiri (memakai sumber pembiayaan dari dana BOK).
Program ini memberikan manfaat yang cukup besar kepada para kepala dan staff senior puskesmas.
Setelah mengikuti program PML, kompetensi mereka meningkat terutama dalam mengelola tugas- tugas Puskesmas sehari. Selain itu, Puskesmas telah mempunyai tata kerja yang jelas. Berikut akan dijelaskan hasil analisis kualitatif per Kabupaten.
1. Kabupaten SIKKA
a. Kompetensi manajemen dan kepemimpinan
o 3 puskesmas mengalami perubahan yang cukup pesat dan 3 puskesmas yang lain terjadi perubahan namun belum sesuai dengan yang diharapkan sedangkan 2 puskesmas belum menunjukkan kemajuan.
b. Kepemimpinan Kepala Puskesmas
o 3 kepala puskesmas mengalami perubahan yang bermakna setelah mengikuti program PML. Sekarang Kepala Puskesmas sudah lebih berani mengambil keputusan dan dapat mengelola puskesmas dan stafnya lebih baik. Disamping itu sudah mempunyai kemampuan dalam menganalisa masalah dan membuat keputusan dalam peningkatan kualitas pelayanan.
13 Evaluasi Akhir PML 2014
o 1 puskesmas replikasi menunjukkan hasil yang lebih baik. Kepala Puskesmas mempunyai motivasi dan kepemimpinan yang cukup baik. Program PML telah mampu meningkatkan pengetahuan dan kemampuan.
c. Pencapaian indikator PML
o Semua puskesmas mencapai indikator target indikator program PML
d. Perkembangan implementasi rencana aksi (Plan of Action) jangka pendek dan jangka menengah
o 8 puskesmas telah menyelesaikan POA jangka pendek dan sebagian jangka menengah dengan menggunakan dana BOK.
e. Manfaat pelatihan
o Bagi individu: Sangat bermanfaat dalam menambah pengetahuan, pengalaman yang berbeda, meningkatkan kemampuan diri dalam mengelola program kesehatan.
o Bagi Organisasi: Menjadikan organisasi puskesmas lebih baik dan terarah, terjadi perubahan dalam pengelolaan puskesmas terutama kemajuan fisik. Bekerja menjadi mudah, tata kerja berubah, tujuan organisasi jelas, serta meningkatkan kepuasan masyarakat.
2. Kabupaten BELU
a. Kompetensi manajemen dan kepemimpinan
Ada peningkatan kapasitas manajemen Kepala Puskemas, serta menambah wawasan bagi pengelola program khususnya staf peserta pelatihan PML.
b. Kepemimpinan Kepala Puskesmas
Pimpinan merasa mempunyai percaya diri, berani memutuskan, tegas dan kreatif.
Mengupayakan lingkungan fisik puskesmas berubah menjadi lebih bersih, staf bekerja dapat terarah.
c. Pencapaian indikator PML
Semua puskesmas peserta awal mencapai target indikator sedangkan 2 puskesmas replikasi belum bisa dinilai
d. Perkembangan implementasi rencana aksi (Plan of Action) jangka pendek dan jangka menengah
Semua puskesmas telah menyelesaikan POA jangka pendek dan sebagain jangka menengah dengan menggunakan dana BOK
e. Manfaat pelatihan
Bagi individu: Sangat bermanfaat dalam menambah pengetahuan, pengalaman yang berbeda, serta meningkatkan kemampuan diri dalam mengelola program kesehatan.
14 Evaluasi Akhir PML 2014
Bagi Organisasi: Menjadikan organisasi puskesmas lebih baik dan terarah; terjadi perubahan dalam pengelolaan puskesmas terutama kemajuan fisik. Bekerja menjadi mudah, tata kerja berubah, tujuan organisasi jelas serta kepuasan masyarakat.
3. Kabupaten Manggarai
a. Kompetensi manajemen dan kepemimpinan
Terdapat peningkatan kompetensi yang ditunjukkan dengan adanya semangat dan kemampuan membuat visi, misi, dan perencanaan puskesmas, membuat SOP pelayanan kesehatan, perubahan administrasi puskesmas menjadi lebih baik dari sebelumnya.
Disamping itu, adanya keberhasilan advokasi terhadap stakeholder untuk mendapatkan bantuan sarana fisik.
b. Kepemimpinan Kepala Puskesmas
Rata–rata kepala puskesmas mengalami peningkatan kompetensi manajerial dan kepemimpinan yang dirasakan oleh staffnya. Bahkan 1 puskesmas mengalami kemajuan yang pesat; diawal program amat sulit untuk melaksanakan kegiatan dan kurang motivasi namun dengan berjalannya waktu puskesmas tersebut mengalami kemajuan dengan hasil yang memuaskan dan mempunyai motivasi yang tinggi.
c. Pencapaian indikator PML
semua puskesmas peserta program mencapai target indikator PML.
d. Perkembangan implementasi proposal (POA) jangka pendek dan jangka menengah
POA jangka pendek sudah diselesaikan sedangkan jangka menengah sementara berjalan, Sumber dana dari BOK
4. Kabupaten SUMBA TIMUR
a. Kompetensi manajemen dan kepemimpinan
Kepala Puskesmas telah melakukan perubahan pengelolaan pelayanan terutama penatausahaan/administrasi dan berupaya meningkatkan fisik puskesmas selama proses hingga berakhirnya pelatihan PML. Perubahan juga terlihat dari adanya peningkatan kualitas pelayanan kesehatan di puskesmas, terutama pelayanan Rawat inap PONED dan rawat jalan.
Meningkatkan keterampilan semua staf dalam menerapkan manajemen puskesmas menjadi lebih baik dan telah dibuat beberapa SOP, perencanaan tahunan maupun POA puskesmas.
b. Kepemimpinan Kepala Puskesmas
Meningkatnya kemampuan kepemimpinan dalam mengelola puskesmas walaupun belum maksimal. Kerjasama telah terjalin dengan baik dengan dan atar staf. Kegiatan perencanaan dan pelaksanaan kegiatan puskesmas menjadi lebih terarah. Disiplin kerja, kemampuan
15 Evaluasi Akhir PML 2014
negosiasi terhadap lintas sektoral dan pemberdayaan masyarakat meningkat setelah program PML.
c. Pencapaian indikator PML
5 dari 6 puskesmas peserta program telah mencapai target 11 indikator PML . Satu puskesmas tidak dapat mencapai indikator karena ada pergantian kepala puskesmas dan kepala puskesmas yang baru kurang motivasi untuk melanjutkan progam PML.
d. Perkembangan implementasi proposal (POA) jangka pendek dan jangka menengah
6 puskesmas telah menyelesaikan POA jangka pendek sedangkan untuk POA jangka menengah 5 puskesmas telah menyelesaikan POA jangka menengah dengan menggunakan dana BOK.
e. Manfaat pelatihan
- Bagi individu: Pelatihan merupakan kebutuhan untuk meningkatkan pengetahuan, sikap, perilaku dalam pelaksanaan tugas kerja. Memberikan pengalaman dan kemampuan memimpin, berpikir analitis, keterampilan membuat perencanaan dan memahami sistim penganggaran.
- Bagi organisasi: Program PML telah merubah organisasi puskesmas menjadi lebih baik dan terarah. Perubahan juga jelas terlihat dari sisi kemajuan fisik Puskesmas. Suasana kerja menjadi lebih nyaman, mudah, tata kerja yang lebih jelas, tujuan organisasi juga lebih jelas serta terjadinya peningkatan tingkat kepuasan masyarakat terhadap pelayanan kesehatan.
C. HASIL ANALISA KUANTITATIF
Secara keseluruhan hasil analisa kuantitatif menunjukkan hasil yang memuaskan dengan adanya peningkatan kompetensi peserta dari sebelum dan sesudah implementasi program, pencapaian kondisi saat ini yang dicapai peserta dan adanya peningkatan pencapaian score atau nilai setelah pelaksanaan program. Berikut ini dijelaskan analisa kuantitatif menurut pendekatan analisis data (sebelum dan setelah, kondisi saat ini dan pencapaian).
1. Perbandingan kondisi sebelum dan sesudah implementasi program.
Hasil analisa menggambarkan terjadi peningkatan kompetensi peserta dari sebelum dan sesudah pelaksanaan program di semua kabupaten yang mengikuti program PML.
Perubahan per Kabupaten dijelaskan dibawah ini.
16 Evaluasi Akhir PML 2014
Grafik 1 Kondisi sebelum dan sesudah implementasi program PML per peserta program
1a. Kabupaten Belu 1b. Kabupaten Sumba Timur
1c. Kabupaten Manggarai 1d. Kabupaten Sikka
a. Kab Belu
Dari Grafik 1 terlihat bahwa semua peserta di kabupaten Belu mengalami peningkatan kompetensi dari sebelum pelatihan dan sesudah pelatihan. Uji statistik menunjukkan bahwa perubahan tersebut secara statistik bermakna (P value <0.05). Detail hasil uji statistik dapat dilihat di Lampiran. Rata-rata peningkatan skor 1.5 dengan range 0.63-1.98. Peningkatan yang cukup bermakna, hampir semua meningkatan diatas 1 poin; hanya tiga peserta saja meningkat kurang dari 1 poin.
4.60 4.17 4.48 4.83 3.02
3.61
3.24 3.80 5.03 5.11 5.26 4.01
3.76 3.54 3.76 3.85
5.78 5.65 5.86 6.00 4.14 5.28
4.62 5.59 5.70 5.77 5.89 5.66 5.74 4.88 5.21 5.31
0 2 4 6
T…
k1 s1 s2 k2 s3 k3 s4 k4 s5 s6 k5 s7 s8 k6 s9 s10
Sesudah Sebelum
4.41 3.83
4.67 3.41
3.49 3.97 3.94
4.28 3.39
3.46 2.65 2.48
5.71 4.97
5.75 4.80
4.90 5.06
5.22 5.52 4.39 3.97
5.22 4.50
0.00 2.00 4.00 6.00
k1 s1 k2 s2 s3 k3 s4 s4 k4 s5 k5 s6
Sesudah Sebelum
2.82 3.51 2.86
4.27 3.62 2.58 2.45
3.71 3.70 3.67
4.57 4.41 3.83 3.35
5.37 5.20 4.00
5.16 4.84 3.91
4.99 4.62
5.21 5.01
5.11 5.00 4.20 3.98
0.00 1.00 2.00 3.00 4.00 5.00 6.00 K 1
S 1 K 2 S 2.1 S 2.1 K 3 S 3.1 S 3.2 K 4 S 4.1 S 4.2 S 4.3 K 5 S 5
Sesudah Sebelum
3.19 3.22 3.32 2.37 2.73 2.75 2.83 2.98 3.00 3.07 3.13 1.48
1.48 2.88 2.89 2.97 3.05 3.30 3.41 3.62 3.72 3.73
4.26 4.39 4.48 4.51 4.90 4.17 4.37 4.37 4.40 4.41 4.52 5.03 5.14 5.20 5.41 4.14 4.40 4.44 4.85 4.89 4.97 3.87
0.00 1.00 2.00 3.00 4.00 5.00 6.00 K1
K 2 S 3 S 4 S 5 K 5 S 8 S 9 K 7 S 12 S 13
Sesudah Sebelum
17 Evaluasi Akhir PML 2014 b. Kabupaten Sumba Timur
Grafik 2 menggambarkan kondisi sebelum dan sesudah pelaksanaan program di Kabupaten Sumba Timur. Tidak berbeda dengan Kabupaten Belu, semua peserta di Kabupaten Sumba Timur juga mengalami peningkatan kompetensi dengan range peningkatan skor: 0.51-2.58.
Dari 12 peserta yang ikut program PML hanya 1 peserta yang mendapat nilai peningkatan dibawah 1. Perubahan ini secara statistik juga bermakna (P value <0.05).
c. Kabupaten Manggarai
Dari Grafik 3 bisa dilihat bahwa semua peserta mengalami peningkatan kompetensi dengan rata-rata peningkatan 1.23 (range 0.37-2.55); namun demikian, ada lima peserta, perubahannya kurang dari 1 poin. Perubahan ini juga secara statistic bermakna (P value
<0.05).
d. Kabupaten Sikka
Di Kabupaten Sikka (Grafik 4), menunjukkan rata-rata peningkatan skore 1.63 dengan range 0.52-2.89. Secara umum peningkatan cukup baik, semua peserta meningkat skore minimal 1 poin. Peningkatan secara statistic bermakna (P value <0.05).
e. Gabungan 4 kabupaten – perubahan total scored individu
Grafik 5 mengambarkan perubahan total score individu sebelum dan sesudah implementasi program dengan menggabungkan semua peserta di empat kabupaten menjadi satu kesatuan unit analisis. Rata-rata perubahan individual skor adalah 1.4 poin (range 0.37 – 2.89).
Grafik 2 Perubahan individual total score sebelum dan sesudah program PML puskesmas
0.00 1.00 2.00 3.00 4.00 5.00 6.00
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63
Score (0-6)
Individual partisipan
18 Evaluasi Akhir PML 2014
f. Perubahan nilai indikator program PML per kabupaten
Perbandingan perubahan rata-rata nilai per Kabupaten dapat dilihat pada Grafik 6 . Ada sedikit variasi rata-rata skor antar kabupaten namun berbedaan ini secara statistik tidak bermakna (P value = 0.143). Lebih rinci dapat dilihat pada Tabel 5.
Grafik 3 Total Skor Perubahan Nilai Indikator Program PML Menurut Kabupaten
Berikut ini adalah table rata – rata skor perubahan nilai sebelum dan sesudah program PML
Table 5 Rata – rata total skor perubahan nilai sebelum dan sesudah program PML menurut kabupaten
Kabupaten sample Rata-Rata Total Perubahan Skor Min Max
Belu 16 1.31 0.63 1.98
Sumba Timur 12 1.34 0.51 2.58
Manggarai 14 1.23 0.37 2.55
Sikka 22 1.63 0.52 2.89
g. Analisa Perubahan nilai sebelum dan sesudah program PML untuk masing – masing elemen
Analisa ini untuk melihat perubahan yang terjadi untuk masing-masing elemen. Dari Gafik 7 bisa dilihat bahwa terjadi perubahan tertinggi dari elemen inovasi. Ini menandakan bahwa melalui program PML mampu meningkatkan kemampuan atau kompetensi untuk berinovasi dari peserta; dan peningkatan komponen ini paling tinggi dibandingkan dengan komponen lainnya.
.511.522.53Perubahan Total Score Program PML Menurut Kabupaten
Belu Manggarai Sikka Sumbatim
19 Evaluasi Akhir PML 2014
Grafik 4 Perubahan nilai sebelum dan sesudah program PML untuk masilng –masing elemen
h. Rata-rata perubahan nilai per elemen
Untuk melihat rata-rata perubahan nilai tiap elemen dengan unit analisa penggabungan seluruh peserta dapat dilihat pada Grafik 8. Sebelum program dilaksanakan, rata-rata nilai terendah 3.09 untuk elemen Inovasi dan tertinggi 3.79 untuk elemen Pengorganisasian.
Setelah pelaksanaan program PML Puskesmas, rata-rata nilai terendah 4.77 untuk elemen berpikir analitik dan tertinggi 5.2 untuk elemen pengorganisasian.
-4-20246
Integritas Kepemimpinan
Perencanaan Monev
Penganggaran Pengorganisasian
Orientasi pada Pelayanan Orientasi Kualitas
Orientasi Analitik Berpikir Konseptual
Profesional Inovasi
20 Evaluasi Akhir PML 2014
Grafik 5 Rata – rata perubahan nilai indikator sebelum dan sesudah program PML
2. Kondisi saat ini (setelah mengikuti program/saat evaluasi dilakukan)
Kompetensi para peserta setelah 2 tahun progam PML Puskesmas berjalan apat dilihat pada Table 6. Kabupaten Belu menunjukkan hasil yang terbaik dengan mendapatkan nilai diatas 5 untuk 10 elemen dari 12 elemen dengan rata-rata skor 5.2. Sedangkan Kabupaten Sumba Timur memperoleh hasil sedikit dibawah Kabupaten Belu dengan nilai diatas 5 hanya di 7 elemen dengan rata-rata 5.01. Hal yang sama dengan Kabupaten Manggarai; skor sedikit dibawah Sumba Timur dan nilai diatas 5 hanya pada 2 elemen dengan rata-rata 4.87. Lebih lanjut, Kabupaten Sikka tidak ada satu pesertapun mempeoleh nilai 5 dan rata-rata hanya 3.97. Rincian per komponen dapat dilihat pada Grafik 9. Perbedaan rata-rata nilai antara kabupaten secara statistic bermakna (P value <0.05)
Table 6 pencapaian kondisi saat ini di 4 kabupaten
Kabupaten Rata - rata Minimal Max
Belu 5.2 4.95 5.34
Sumba Timur 5.01 4.82 5.24
Manggarai 4.87 4.71 5.12
Sikka 3.97 3.6 4.48
Keterangan: 1= Buruk sekali; 2 = Baik sekali
3.58 3.63 3.58 3.61
3.47 3.79 3.51 3.51 3.49 3.40 3.44 3.09 3.51 4.98 4.89 4.95 4.95 4.78 5.20 4.93 4.86
4.77 4.88 5.11
4.72 4.92
0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00
21 Evaluasi Akhir PML 2014
Grafik 6 Pencapaian atau kondisi saat ini/ sekarang (rata-rata semua peserta)
3. Peningkatan kompetensi yang terjadi setelah mengikuti program
Grafik peningkatan yang terjadi setelah pelaksanaan program di 4 kabupaten dapat dilihat dalam Grafik 10. Grafik 10 tersebut menunjukkan peningkatan yang terjadi dimasing – masing kabupaten dilihat dari masing – masing elemen sesuai PERMENKES 971/2009. Dari grafik tersebut dapat dilihat bahwa disemua elemen dari 4 kabupaten terjadi peningkatan lebih dari 1 poin. Hal ini menunjukkan bahwa peserta mengalami peningkatan kompetensi yang baik setelah mendapatkan program ini.
Rata – rata peningkatan perkabupaten untuk semua elemen adalah sebagai berikut: Belu 1.32; Sumba Timur 1.84; Manggarai 1.40 dan Sikka 1.22. Dari data tersebut dapat dilihat bahwa peserta di kabupaten Sumba Timur mengalami peningkatan yang cukup tinggi dibandingkan dengan kabupaten yang lainnya. Namun dari hasil uji statistik (p value 0.526) menunjukan bahwa tidak ada perbedaan bermakna nilai rata-rata antar kabupaten.
5.31 5.21 4.99
5.17 4.95
5.42 5.34 5.11 5.07 5.26
5.33 5.26
4.83 5.09 5.03 4.78
4.94 5.13 5.12 4.99 4.95 4.82
5.24 5.21
4.90 4.89 4.93 4.86 4.76
5.12 4.95 4.78 4.75 4.71 4.86
4.89
4.48 4.21 4.05 3.86 3.81
4.28 3.79 3.71 3.60
3.85 4.27 3.68
0.00 1.00 2.00 3.00 4.00 5.00 6.00
Integritas Kepemimpinan Perencanaan M&E Penganggaran Pengorganisasian Orientasi Pada Pelayanan Orientasi Pada Kualitas Berpikir analitis Berpikir Konseptual Keahlian tehnikal manajerial dan profesional Inovasi
Sikka Manggarai Sumba Timur Belu
22 Evaluasi Akhir PML 2014
Grafik 7 Peningkatan kompetensi setelah program dilaksanakan di 4 kabupaten
1.28 1.17 1.13
1.23 1.09
1.34 1.41 1.34 1.13
1.45 1.72 1.58
1.84 1.76 1.53 1.40
1.43 1.70
1.73 1.56
1.59 1.58
1.74 1.78
1.33 1.30
1.46 1.37 1.35
1.48 1.41 1.30 1.23
1.64 1.58 1.49
1.41 1.24
1.42 1.27
1.32 1.23
1.28 1.30 1.22
1.42 1.57 1.40
0.00 0.20 0.40 0.60 0.80 1.00 1.20 1.40 1.60 1.80 2.00 Integritas
Kepemimpinan Perencanaan M&E Penganggaran Pengorganisasian Orientasi Pada Pelayanan Orientasi Pada Kualitas Berpikir analitis Berpikir Konseptual Keahlian tehnikal manajerial dan profesional Inovasi
Sikka Manggarai Sumba Timur Belu
23 Evaluasi Akhir PML 2014
BAB IV. TANTANGAN DAN KENDALA
1. Belum semua peserta mempunyai komitmen yang tinggi dalam mengikuti program secara keseluruhan. Hal ini bisa dilihat dari hasil penugasan yang diberikan tidak diselesaikan. Ini merupakan tantangan kedepan dalam merancang program peningkatan kapasitas manajerial bagi staf puskesmas yang sesuai agar peserta mempunyai komitmen yang tinggi.
2. Beberapa peserta belum familiar dengan computer/laptop, terutama peserta yang sudah berusia lanjut; Disamping itu belum semua puskesmas atau dinas kesehatan kabupaten mempunyai jaringan internet atau sinyal internet yang lemah. Ini merupakan tantangan utama pengembangan pelatihan menggunakan konsep pembelajaran jarak jauh dan pemanfaatan tehnologi.
3. Keleluasaan menggunakan dana menjadi tantangan pelaksanaan PML Puskesmas; mengingat kegiatan-kegiatan inovasi yang lahir dari program ini membutuhkan dukungan anggaran untuk pelaksanaannya.
4. Adanya beberapa faktor di luar kendali peserta seperti penataan SDM (beban kerja yang tidak merata dan pengembangan SDM (kesempatan untuk mendapat pelatihan dari dana APBD yang terbatas), kondisi gedung yang sudah tua dan mutasi Kepala Puskesmas menghambat perkembangan dan implementasi program.
5. Ada kecenderungan bagi para peserta yang berpendidikan “tinggi” menganggap bahwa materi pelatihan sudah diperoleh ketika mereka mengikuti pendidikkan formal sehingga kadang menimbulkan keengganan untuk belajar.
24 Evaluasi Akhir PML 2014
BAB V. KESIMPULAN
1. Beberapa Puskesmas telah mencapai target yang ingin dicapai dari program PML; terjadi peningkatan kemampuan manajerial dan kepemimpinan di Puskesmas. Sedangkan puskesmas yang belum dapat mencapai sepenuhnya target program PML Puskesmas dikarenakan rendahnya motivasi peserta atau mutasi peserta ke tempat lain.
2. Dari hasil analisa kualitatif disimpulkan bahwa program ini sangat dirasakan manfaat, terutama oleh kepala puskesmas yang belum pernah memperoleh pelatihan tentang manajemen dan kepemimpinan. Program ini juga memberikan pengalaman baru bagi mereka dan telah meningkatkan kemampuan memimpin, berpikir analitis, keterampilan membuat perencanaan dan memahami sistim penganggaran. Program PML Puskesmas telah membuat pengelolaan puskesmas menjadi lebih baik, suasana bekerja menjadi lebih nyaman dan mudah, tata kerja menjadi lebih baik, tujuan organisasi dipahami dengan baik, penampilan fisik puskesmas menjadi lebih bersih dan rapi serta telah mampu meningkatkan tingkat kepuasan masyarakat terhadap pelayanan kesehatan.
3. Hasil analisa kuantitatif menunjukkan bahwa semua peserta di 4 kabupaten mengalami peningkatan kompetensi manajerial dan kepemimpinan secara bermakna. Semua peserta mampu mencapai skor nilai diatas cukup (>3). Rata-rata skor cukup bervariasi antara kabupaten namun peberdaan tidak bermakna secara statistik . Disamping itu, semua puskesmas peserta program di semua kabupaten telah menyusun rencana jangka pendek untuk pengembangan Puskesmas.
4. Dukungan dan bimbingan tehnis dari Dinas Kesehatan Kabupaten sangat menentukan keberhasilan program ini. Puskesmas yang mendapat bimbingan teknis rutin dari Dinas Kesehatan Kabupaten menunjukkan performance program PML lebih baik.
25 Evaluasi Akhir PML 2014
BAB VI. PEMBELAJARAN
Pengetahuan dan pemahaman tentang kompetensi manajemen dan kepemimpinan sangat dipengaruhi oleh komitmen dan motivasi masing –masing peserta. Peserta yang mempunyai komitmen dan motivasi untuk maju yang tinggi memperoleh hasil lebih baik. Sedangkan untuk keterampilan dipengaruhi oleh pendidikan formal peserta tingkat “kepercaya diri” sebagai pimpinan atau manajer di Puskesmas, terutama bila tingka pendidikan formal staf yang mungkin lebih tinggi Keberanian kepala puskesmas untuk menata dan menggerakkan staf (termasuk tenaga medis, dokter dan dokter gigi) merupakan kunci menuju kinerja pelayanan yang lebih baik.
Program PML Puskesmas mampu “budaya” kerja Puskesmas yang lebih baik.
Implementasi dan keberhasilan program PML Puskesmas sangat ditentukan oleh dukungan politis dan manajemen dari atasan (Dinkes Kabupaten dan Provinsi) meningat banyak faktor diluar kendali peserta latih yang mempengaruhi hasil pelatihan.
Untuk keberhasilan program PML dalam meningkatkan kompetensi peserta sesuai dengan PERMENKES 971/ 2009 perlu komitmen dan motivasi yang tinggi dari peserta untuk mengikuti seluruh kegiatan.
Latar belakang pendidikan formal tidak bisa sepenuhnya menjamin komitmen yang tinggi dan mau menjadikan program PML sebagai wahana pembelajaran untuk melakukan perubahan; Beberapa kepala puskesmas dengan pendidikan formal yang lebih rendah bahkan menunjukkan komitmen yang tinggi dalam melaksanakan program PML.
Program PML Puskesmas telah mampu meningkatkan pengetahuan dan ketrampilan peserta dalam menggunakan tehnologi informasi (seperti teleconference, belajar melalui web, berinteraksi dengan surat elektronik) karena metode belajar pada program ini memanfaatkan tehnologi tersebut.
26 Evaluasi Akhir PML 2014
BAB VII. REKOMENDASI
Untuk meningkatkan motivasi dan komitmen peserta dalam mengikuti program ini perlu adanya akreditasi pelatihan dari instansi yang berwenang (UPTD Latnakes Kupang dan Pusdiklat Apartur BPPSDM Kementrian Kesehatan), sehingga peserta akan memperoleh angka kredit yang bisa dipakai dalam kenaikan golongan Pegawai Negeri Sipil.
Dukungan politis serta manajemen dan kepemimpinan dari Dinas Kkesehatan Kabupaten dan Provinsi diperlukan secara konsisten untuk mengembangkan secara optimal peningkatan kemampuan manajemen dan kepemimpinan di tingkat Puskesmas.
Perlu adanya peningkatan bimbingan tehnis atau supervisi dari Dinas Kesehatan Kabupaten ke tingkat Puskesmas (peningkatan frekuensi). Demikian pula bimbingan tehnis dari Dinas Kesehatan Provinsi ke Dinas Kesehatan Kabupaten.
Perlu adanya pembinaan secara terpadu (antar program) yang dilakukan sesuai kondisi, permasalahan dan perkembangan wilayah setempat (kecamatan) sehingga mengarah kepada permasalahan spesifik/ khusus kecamatan.
Perlu dibuat kriteria /standarisasi dalam menetapkan Kepala Puskesmas sebagai pimpinan sehingga kemampuan manajerial dan kepemimpinan seorang kepala puskesmas sudah mumpuni sehingga bisa memimpin puskesmas dengan lebih baik.
Perlu disusun panduan pembinaan tehnis dan monitoring yang dapat digunakan oleh Dinas Kesehatan dalam memberikan bimbingan tehnis dan menindaklanjuti kegiatan-kegiatan PML.
Dengan adanya panduan ini diharapkan bimbingan tehnis dan monitoring yang dilakukan dapat lebih fokus dan terarah kepada pemecahan masalah.
Perlu dukungan dari Dinas Kabupaten dan Provinsi dalam bentuk bimbingan tehnis rutin agar puskesmas dapat melaksanakan seluruh rencana jangka menengah maupun jangka panjang.
Sedangkan untuk pendanaan dapat diambil dari dana BOK.
Kepesertaan dalam pelatihan PML hendaknya dapat digunakan sebagai bahan pertimbangan untuk pengangkatan kepala puskesmas. Untuk itu pelatihan ini perlu mendapat akreditasi agar bisa diakui pencapaiannya dalam sistem pengangkatan pegawai pemerintah.
Peningkatan kompetensi manajer di puskesmas diperlakukan sebagai strategi atau pendekatan yang dilaksanakan melalui pelatihan berbasis WEB untuk meningkatkan kinerja kepala dan pengelola program puskesmas dalam memimpin organisasinya untuk memberikan pelayanan yang optimal.
27 Evaluasi Akhir PML 2014
VIII. PENUTUP
Puskesmas sebagai garda terdepan dalam pelayanan kesehatan di Indonesia perlu mendapat dukungan yang optimal dalam memberikan pelayanan kesehatan yang berkualitas. Dukungan tersebut terutama dalam peningkatan kinerja manajemen dan kepemimpinan yang mempunyai pengaruh yang cukup besar dalam pelayanan kesehatan. Program PML ini merupkan jawaban akan kebutuhan yang diperlukan oleh puskesmas.
Evaluasi akhir yang dilaksanakan setelah program berjalan hampir dua tahun ini memperlihatkan hasil yang sangat positif yaitu telah terjadi peningkatan kompetensi manajerial dan kepemimpinan para manajer puskesmas sebagai peserta program. Dengan hasil yang positif ini diharapkan program ini bisa dilaksanakan di puskesmas dan kabupaten lain yang belum mendapatkan program ini dengan dukungan Dinas Kesehatan Kabupaten dan Provinsi.
Hasil yang positif dari program yang digagas dan dikembangkan oleh Dinas Kesehatan Provinsi ini perlu mendapat perhatian khusus dari pemerintah pusat terutama dalam pendanaan mengingat APBD yang dimiliki pemerintah NTT belum terlalu besar saat ini.
28 Evaluasi Akhir PML 2014
DAFTAR PUSTAKA
1. Laporan Monitoring dan Evaluasi program PML tahun 2012. IAKMI Pusat 2. Laporan Akhir program PML tahun 2012 . IAKMI Pusat
3. Peraturan Menteri Kesehatan Republik Indonesia Nomor 971/ MENKES/ PER/XI/2009 tentang Standar Kompetensi Pejabat Struktural Kesehatan, Menteri Kesehatan Republik Indonesia.
Kementrian Kesehatan RI
LAMPIRAN
1. Jadwal Evaluasi
2. Tingkat evaluasi menurut Kirk Patrick 3. Indikator program PML
4. Hasil uji statistik
5. Instrumen Evaluasi Pasca Pelatihan bagi kepala puskesmas dan staf 6. Instrumen Evaluasi Pasca Pelatihan Verifikasi bagi Kepala Puskesmas 7. Instrumen Evalausi Pasca Pealtihan Pelaksanaan di lapangan
8. Checklist dokumen untuk Evaluasi PML Puskesmas
29 Evaluasi Akhir PML 2014
1. Jadwal Kegiatan Evaluasi Pasca Pelatihan PML di Puskesmas
Hari Jam Pokok Bahasan Pengampu Keterangan
Hari pertama tanggal (I) Kunjungan ke Puskesmas 08.00 – 09.00
09.00 – selesai
Bertemu dengan Kadinkes Kabupaten
Wawancara dengan Kepala Puskesmas dan Staf dengan melihat dokumen/data , serta observasi lingkungan fisik
Surveyor UGM, dan
tim Administrasi Tim dibagi dua
Hari kedua (II) Kunjungan ke Puskesmas
Wawancara dengan Kepala Puskesmas dan Staf dengan melihat dokumen/data , serta observasi lingkungan fisik
Surveyor UGM dan
Tim Administrasi Tim dibagi dua
Hari ketiga (III) Kunjungan ke Pukesmas
08.00 – Selesai Wawancara dengan Kepala Puskesmas dan Staf dengan melihat dokumen/data , serta observasi lingkungan fisik (Tim I dan II)
Seluruh surveyor dan
Tim Administrasi Tim I dan Tim II
30 Evaluasi Akhir PML 2014
2. Tingkat Evaluasi Metode Kirk Patrick
Level/ Tingkat Tujuan
Level 1: Evaluas reaksi(reaction), yang teriri dari proses tahapan pelaksanaan pelatihan PML dan reaksi peserta terhadap setiap tahapan.
1) Mengetahui reaksi peserta terhadap setiap tahapan proses kegiatan PML
2) Mengetahui peningkatan kompetensi peserta pada tiap tahapan proses kegiatan PML
Level 2: Evaluasi Belajar (learning) yang mengukur peningkatan kompetensi
Level 3: Evaluasi Perilaku (behaviour) yang akan mengukur hasil jangka pendek dalam organisasi akibat perubahan perilaku dan peningkatan kompetensi manajer.
1) Mengetahui perkembangan implementasi proposal/Plan of Action (POA) jangka pendek pada tingkat puskesmas, Dinkes Kabupaten maupun Dinkes Provinsi.
2) Mengetahui perkembangan implementasi proposal/Plan of Action (POA) jangka menengah pada tingkat Puskesmas, Dinkes Kabupaten maupun Dinkes Provinsi NTT
3) Menilai kompetensi manajemen dan
kepemimpinan para peserta latihan, baik di tingkat Puskesmas, Dinkes Kabupaten maupun Dinkes Provinsi.
4) Mengetahui manfaat yang diperoleh individu maupun organisasi.
5) Melakukan pendampingan dan konsultasi antara peserta latih dengan fasilitator mengenai
permasalahan latih dengan fasilitator mengenai permasalahan dalam implementasi hasil pelatihan.
Level 4: Evaluasi Hasil, yang akan mengukur dampak terhadap cakupan K1, K4, KN dan mungkin kematian ibu dan kematian bayi
31 Evaluasi Akhir PML 2014
3. Indikator Program PML
1 3 orang manajer di 6 puskesmas di 4 kabupaten di NTT mencapai hasil post assessment pelatihan
2 4 kepala puskesmas mencapai hasil post assessment pelatihan yang
memuaskan dalam topik program pelatihan manajemen dan kepemimpinan.
3 Adanya tim pelatihan manajemen dan kepemimpinan provinsi yang aktif memberikan bimbingan teknis dan melaksanakan monev
4 Tersusunnya uraian tugas yang jelas baginsatf puskesmas
5 Tersusunnya protap (prosedur tetap)/ standard pelayanan operasional pelayanan di puskesmas
6 Tersedianya data dalam bentuk system pencatatan dan pelaporan
7 Tersusunnya Usulan Kegiatan tahunan puskesmas 8 Tersusunnya Rencana Pelaksanaan Kegiatan (RPK)
9 Terlaksananya lokakarya mini bulanan dan triwulan puskesmas 10 Adanya peningkatan kualitas pencatatan dan pelaporan
11 Ada replikasi ke puskesmas lain
32 Evaluasi Akhir PML 2014
4. Hasil uji statistik
a. Hasil uji statistik kondisi sebelum dan sesudah di Belu
t-Test: Paired Two Sample for Means
Variable 1 Variable 2
Mean 4.130136 5.44307
Variance 0.466588 0.263635
Observations 16 16
Pearson Correlation 0.806673
Hypothesized Mean Difference 0
df 15
t Stat -12.9532
P(T<=t) one-tail 7.55E-10
t Critical one-tail 1.75305
P(T<=t) two-tail 1.51E-09
t Critical two-tail 2.13145
Kesimpulan: Significant increase
b. Hasil Uji statistik peningkatan kondisi sebelum dan sesudah di Sumba Timur Sumba Timur
t-Test: Paired Two Sample for Means
Variable 1 Variable 2
Mean 3.665412809 5.001437114
Variance 0.435701376 0.287877578
Observations 12 12
Pearson Correlation 0.636908339 Hypothesized Mean
Difference 0
df 11
t Stat -
8.866769053 P(T<=t) one-tail 1.21245E-06 t Critical one-tail 1.795884819 P(T<=t) two-tail 2.4249E-06 t Critical two-tail 2.20098516 Significant increase
c. Hasil Uji statistik peningkatan kondisi sebelum dan sesudah di kabupaten Manggarai
t-Test: Paired Two Sample for Means
Variable 1 Variable 2
Mean 3.5241534 4.756516755
Variance 0.4326266 0.265992422
Observations 14 14
Pearson Correlation 0.3528473
Tabel disamping ini merupakan hasil dari t test paired yang menunjukan hasil yang bermakna yaitu nilai P lebih kecil dari 0.5 (1.51E-09)
Tabel disamping ini merupakan hasil dari t test paired yang menunjukan hasil yang bermakna yaitu nilai P lebih kecil dari 0.5 ( 1.51E-09)
Tabel disamping ini merupakan hasil dari t test paired yang menunjukan hasil yang bermakna yaitu nilai P lebih kecil dari 0.5 (1.254E-05)