E. Islamic Development Bank (IDB)
2.4 PENGUKURAN KINERJA PENGADAAN
2.4.1 Pengukuran Kinerja Pengadaan Bank Dunia dan ADB
Dalam tujuannya untuk memberantas kemiskinan dan meningkatkan kapasitas pembangunan di negara-negara berkembang, Bank Dunia dan ADB berusaha agar pinjaman yang diberikan dapat berfungsi efektif sesuai dengan tujuan pinjaman dengan membuat suatu sistem pengadaan yang diharapkan dapat menjadi pedoman bagi negara-negara peminjam untuk implementasi proyeknya. Akan tetapi, setiap negara memiliki sistem pengadaan yang berbeda-beda sehingga dalam penggunaan pinjaman seringkali terjadi keterlambatan dan kesalahan dalam proses pengadaan (misprocurement). Adanya perbedaan atau ”gap” di dalam prosedur pengadaan ini mengakibatkan kinerja pengadaan yang dilakukan negara peminjam tidak sesuai dengan kinerja yang diharapkan pemberi pinjaman.
Latar Belakang Mengukur Kinerja Pengadaan
Perbedaan sistem pengadaan di Negara-negara peminjam dengan sistem pengadaan Bank Dunia dan ADB membuat ADB dan Bank Dunia perlu memastikan bahwa sistem pengadaan yang diusulkan pada proyek yang dibiayainya harus sesuai dengan sistem pengadaan Bank Dunia dan ADB sebelum diterapkan. Oleh karena itu, Bank Dunia dan ADB melakukan pengukuran kinerja pengadaan di Negara-negara peminjam yang bertujuan untuk mengukur apakah ada ketidaksesuaian atau “gap” antara sistem pengadaan Bank Dunia/ADB dengan sistem pengadaan di Negara-negara peminjam. Pengukuran ketidaksesuaian atau gap ini dilakukan dengan misi untuk menyesuaikan dan menyelaraskan sistem pengadaan di Negara-negara berkembang dengan sistem pengadaan Bank Dunia dan ADB. Dengan terciptanya keselarasan antara kedua sistem, maka efektifitas pinjaman yang diberikan diharapkan dapat tercapai.
Dalam banyak hal, penyesuaian sistem pengadaan terhadap Negara berkembang membutuhkan pelatihan dan peningkatan kapasitas agar sesuai dengan standar internasional. Negara-negara berkembang membutuhkan pedoman teknis dan dukungan di dalam mengubah sistem yang ada. Usaha ini membutuhkan
pengembangan kebijakan dan kerangka hukum serta peningkatan kapasitas institusi. Oleh karena itu, ADB dan Bank Dunia mengembangkan suatu alat pengukuran kinerja yang disebut dengan Public Procurement Model of Excellence (PPME). Alat pengukuran kinerja pengadaan ini dikembangkan bekerjasama dengan Organisation
for Economic Co-operation and Development (OECD)/Development Assistance Committee (DAC) dan resmi dipublikasikan pada tahun 2005.
Prosedur Pengukuran “Gap” Sistem Pengadaan Bank Dunia/ADB dengan Sistem Pengadaan Negara Berkembang
Pengukuran kinerja pengadaan Bank Dunia dan ADB dilakukan di Negara-negara berkembang yang mendapatkan pinjaman dari Bank Dunia dan ADB. Prosedur pengukuran ini dimulai dengan mengidentifikasi apakah ada ketidaksesuaian atau “gap” antara sistem pengadaan di Negara yang diukur dengan sistem pengadaan Bank Dunia dan ADB dalam implementasinya. Perbedaan-perbedaan ini diukur dengan menggunakan alat pengukuran kinerja PPME yang terdiri dari indikator-indikator kinerja (Performance Measurement Indicator). Indikator-indikator kinerja PPME ini sangat kompleks dan membutuhkan penilaian professional untuk mencapai pengukuran yang adil dan objektif yang bertujuan untuk memberikan tinjauan yang luas terhadap perbandingan kekuatan dan kelemahan sistem pengadaan dari suatu Negara.
Dengan menggunakan indikator-indikator kinerja yang ditetapkan, dilakukan pengukuran untuk mengetahui seberapa besar “gap” yang terjadi. Jika tidak terdapat gap, berarti sistem pengadaan yang ada telah sesuai dan yang perlu dilakukan adalah tinjauan terhadap sistem untuk peningkatan kinerja secara kontinu. Tetapi jika terdapat gap antara kedua sistem, maka berdasarkan gap yang ada akan dianalisis langkah apa yang harus dilakukan untuk mengembangkan sistem agar sesuai dan selaras dengan sistem pengadaan Bank Dunia dan ADB. Untuk lebih jelasnya, prosedur pengukuran kinerja pengadaan Bank Dunia dan ADB ini dapat dilihat pada
Gambar 2. 11 Prosedur Pengukuran “Gap” Sistem Pengadaan Bank Dunia/ADB dengan Sistem Pengadaan Negara Berkembang
Sistem Pengukuran Kinerja Pengadaan Bank Dunia dan ADB
Sistem pengukuran kinerja Bank Dunia dan ADB, Public Procurement Model of
Excellence (PPME) adalah seperangkat alat yang digunakan untuk mengukur kualitas
pengadaan terhadap standar yang telah ditentukan dan untuk pengawasan kinerja dalam setiap tingkatan kinerja. Sistem pengukuran kinerja pengadaan PPME terdiri dari 3 (tiga) bagian yaitu:
• Baseline Indicator System (BIS), digunakan untuk mengukur kekuatan dan
kelemahan sistem pengadaan di suatu negara dibandingkan dengan sistem pengadaan dengan standar internasional. Hal ini dilakukan untuk mengidentifikasi bagian dalam sistem yang memerlukan perbaikan atau penyelarasan berdasarkan pada sistem standar yang telah ada. BIS ini melihat sistem secara keseluruhan, tetapi tidak mengukur kinerja aktual.
• Performance Assesment System (PAS), yaitu alat pengawasan dan pelaporan untuk
mengukur dan mengatur kinerja yang sedang dilakukan di tingkat nasional. • Performance Measurement Indicators (PMI), yaitu alat pengukuran untuk
mengevaluasi kinerja pada tingkat entitas pengadaan. PMI ini fokus pada kegiatan dimana data bisa dikumpulkan dan dikelompokkan untuk dianalisis dan diatur dalam sistem kinerja .
Baseline Indicator System terdiri dari 4 pillar yang seluruhnya memiliki 12 (dua
belas) indikator. Masing-masing indikator memiliki sub-indicator dan mandatory
indicator. PAS memiliki 4 (empat) area penilaian yaitu Management System, Programme Design, Procurement Process dan Contract Management yang
masing-masing area terdiri dari beberapa indikator. Sedangkan Performance Measurement
Indicator (PMI) adalah indikator-indikator kinerja proses pengadaan yang
dikembangkan sesuai dengan kebutuhan dan tujuan pengukuran kinerja pengadaan. Untuk lebih jelasnya sistem pengukuran kinerja yang dikembangkan dapat dilihat pada gambar 2.12.
Sistem pengukuran kinerja pengadaan PPME ini dirancang untuk mencapai tujuan antara lain:
1. Membantu dalam hal implementasi proses perubahan untuk perbaikan kinerja pengadaan pada tingkat entitas, regional dan nasional.
2. Untuk menyediakan informasi yang objektif dalam mengukur penyesuaian proses pelaksanaan pengadaan dengan persyaratan yang ditetapkan dalam sistem pengadaan.
3. Untuk mengevaluasi kinerja pengadaan pada setiap tingkatan yang berbeda-beda dan menyediakan rekomendasi untuk perbaikan kinerja proses pengadaan.
4. Untuk digunakan sebagai dasar penilaian dalam proses sertifikasi entitas pengadaan di suatu Negara.
10
Aplikasi model pengukuran kinerja PPME ini dilakukan ADB untuk mengukur kinerja pengadaan dengan metode ICB (Supporting the Use of Country Procurement
Sistems, Technical Assistance Report, ADB, 2006). Indikator ICB yang
dikembangkan terdiri dari 14 (empat belas) indikator beserta target dan cara mengukurnya seperti terlihat pada Tabel 2.5.
Tabel 2.5 Indikator Kinerja Pengadaan ADB dengan metode Pelelangan Kompetitif Internasional (ICB)
No Indikator Uraian/Indikasi Ukuran Satisfactory Threshold
1 Advertisement of bids and publication of awards
Transparency and openness of sistem
Number of bids (in %) for which invitation to bid and contract award results are publicly advertised
95% or more
2 Time for preparation of bids
Real opportunity for bidders to submit bids
Number of days between invitation to bid and bid opening
21 days or more for open bidding, 10 days or more for restricted bidding, and 3 days or more for shopping
3 Time for bid evaluation
Efficiency of bidding process
Number of days between bid opening and publication of award
90 days or less
4 Bidders participation Level of confidence of private sector in the process
Average number of bidders submitting bid in each bid process
5 bids or more (calculated as the average for the sample of transactions)
5 Method of
procurement used
Level of competition Number of bidding processes using a method less competitive than the process recommended for the estimated contract amount
1% or less
6 Direct contracting Transparency and level of competition
Percent of contracts (by number and value) awarded on a sole-source basis
10% or less of number of contracts and 5% or less of total value of contracts
7 Processes cancelled Quality of bidding process
Percent of bid processes declared null before contract signature
5% or less
8 Number of protests Quality and fairness of process
Ratio (in %) between the number of protests posted and the number of bids submitted
Not less than 10% and not more than 50%
9 Time to answer protests
Efficiency and fairness of protest sistem
Number of days between submission and final response to protests
21 days or less
10 Protest results Effectiveness of protest sistem
Percent of contracts with award recommendation modified because of a protest
5% or less
11 Late payments Quality and consistency of payment process
Percent of payments made more than 45 days late
10% or less
12 Contract amount increase
Quality of bidding and contract management
Percentage increase of final contract amount due to changes and amendments
15% or less (calculated as the average for the sample of transactions)
13 Restricted
competition for consultants
Quality of advice Percent of processes for the selection of consultants using open competition instead of a restricted competition or shortlist methodology
5% or less
14 Selection method for consultants
Weight of quality to price ratio used in selection
Percent of processes for the selection of consultants having price weighted more than 20% of the total scoring points
2.4.2 Pengukuran Kinerja Pengadaan di Ghana
Salah satu aplikasi PPME untuk mengukur kinerja pengadaan di negara berkembang dilakukan di Ghana. Pada tahun 2002, Badan Pengadaan Publik Ghana (Public
Procurement Board of Ghana) bekerjasama dengan Badan Pengadaan Swiss (IDEAS Centre of Geneva-Switzerland) menggunakan alat pengukuran kinerja pengadaan
publik PPME dalam mengembangkan indikator kinerja (Performance Measurement
Indicator) untuk memonitor sistem pengadaan publik di Ghana yang dibiayai dengan
pinjaman Bank Dunia dan OECD/DAC (Organisation for Economic Co-operation
and Development/Development Assistance Committee).
Lingkup aspek penilaian PPME di Ghana terdiri dari aspek hukum pengadaan
(procurement law), prosedur (procedures), proses (process) dan aspek sumber daya
manusia (human resources). Pada Tabel 2.6 dapat dilihat 14 (empat belas) indikator kinerja pengadaan (Performance Measurement Indicators) yang dikembangkan di Ghana.
Menurut Adjei (2002), pengukuran kinerja pengadaan yang dilakukan bermanfaat untuk mengetahui kapasitas perkembangan pengadaan dan meningkatkan akuntabilitas dan transparansi serta peningkatan nilai. Tetapi pengukuran kinerja ini juga memiliki keterbatasan dalam pengembangan kapasitas pengadaan karena tidak bisa mencakup pengawasan pengembangan kapasitas secara keseluruhan (Adjei, 2002, CEO Public Procurement Board of Ghana).
Tabel 2.6 Indikator Kinerja Pengadaan Bank Dunia yang digunakan untuk mengukur kinerja pengadaan di Ghana.
No Indikator Kinerja
Pengadaan Bank Dunia Uraian/Indikasi Ukuran
1 Advertisement of tender (bid) opportunities
Pengumuman adanya kesempatan untuk mengikuti penawaran secara terbuka
% of open bidding procedures publicly advertised
2 Publication of awards Pengumuman pemenang kontrak secara terbuka
% of contract awards publicly disclosed
3 Time for bid preparation
Waktu yang ditentukan untuk
mempersiapkan dokumen
penawaran
Average no. of days between invitation to bid and bid opening
4 Bidder participation
Peserta yang memasukkan dokumen
penawaran dan mengikuti
pelelangan
Average no. of bidders
5 Bid Acceptance Kelengkapan dan keabsahan dokumen penawaran
Average no. of responsive bids
6 Method of procurement Metode pengadaan yang dilakukan % of contract awards publicly disclosed
7 Bid processing lead time Waktu evaluasi penawaran sampai penandatanganan kontrak
Average no. of days between bid opening & contract award
8 Cancelled bidding procedures
Prosedur pelelangan yang
dibatalkan
% of bid procedures cancelled
9 Protests Sanggahan terhadap prosedur pelelangan
% of bidding procedures with protests
10 Resolution of protests
Perubahan yang terjadi selama proses penawaran terhadap prosedur yang telah ditetapkan
% of outcome of bidding process changed
11 Contract amendment
Amandemen kontrak yang
bertambah setelah penandatangan kontrak
Average increase per contract awarded
12 Contract dispute resolution
Perselisihan yang terjadi yang tidak terselesaikan
% of contracts with unresolved disputes
13 Completion rate Tingkat penyelesaian kontrak yang kinerjanya bisa diterima.
% of contracts resulting in full and acceptable performance
14 Late payment Keterlambatan pembayaran
2.4.3 Pengukuran Kinerja Pengadaan Inter-American Development Bank
Inter-American Development Bank pada tahun 2005 juga mengembangkan indikator
kinerja proses pengadaan yang dibiayai pinjaman Organisation for Economic Co-operation and Development/Development Assistance Committee (OECD/DAC).
Indikator proses pengadaan Inter-American Development Bank dikembangkan berdasarkan tahapan proyek (project phase) yaitu Pre-Procurement, Procurement dan
Contract Implementation seperti pada Tabel 2.7 berikut.
Tabel 2.7 Indikator Kinerja Proses Pengadaan Inter-American Development
Bank Project Phase Procurement
Process Possible Indicators
Project Selection Ratio of selected projects that meet technical locational criteria
Pre-Procurement
Project design/budget estimation
Design specifications posted in website including name(s) of individuals responsible for the design (yes/no)
% of estimated unit prices exceeding 10% of benchmarks Difference in days b/w bid opening date and date of issuance of the
bid documents
Invitation to bid/Advertising
Ratio of no. of days to complete to the maximum allowable under bank rules
# of firms submitting Letter of Intent (LOI)
Pre-qualification # of firms found eligible or pre-qualified relative to total no. of
submissions
Bid Evaluation
# of days to complete bid evaluation and determination of the “winning” bidder
# of eligible or pre-qualified bidders submitting proposals # of eligible or pre- bidders withdrawing proposals standard deviation of bid prices
Post-qualification
Ratio of actual # of days to complete post-qualification to maximum allowable under Bank rules
Ratio of the winning bid to the budget estimate for the project
Procurement
Award of Contract
Ratio of actual # days to issue award of contract to maximum allowable under Bank rules (after post-qualification)
Ratio of actual # days to complete the bid to maximum allowable under Bank rules (after post-qualification)
Ratio of final contract value (which could be other than the “winning” bid if post disqualification occurs) to budget estimate for the project.
Project Completion
Ratio of #of actual days needed to complete the project to the maximum specified in the contract
Ratio of actual cost of project upon completion to the contract value
Presence of variation orders and the extent of variation (in terms of value),
Quality of final product as percent of expected quality (as specified in the contract), .e.g value of defects relative to total value of contract
Contract Implementation
Disbursement # of days it takes for agency to pay contractor after submission of all requirements