BAB IV
MEKANISME PELAKSANAAN EVALUASI KINERJA
DENGAN STUDI EVALUASI KINERJA

Pelaksanaan studi evaluasi kinerja, digunakan untuk mengevaluasi proyek-proyek yang sudah selesai dengan melakukan studi lapangan yang komprehensif. Mengingat pelaksanaan studi evaluasi kinerja membutuhkan waktu dan dana yang besar, maka perlu dibatasi pada proyek atau kumpulan proyek yang mempunyai tujuan akhir sama (cluster project) dan diprioritaskan serta memberikan dampak yang luas kepada masyarakat.

Tujuan studi evaluasi kinerja adalah untuk menilai tingkat pencapaian indikator dan sasaran kinerja pada semua tingkatan (masukan, keluaran, hasil, manfaat, dan dampak), mengidentifikasi permasalahan yang dihadapi, mengidentifikasi pemecahan masalah, serta mengidentifikasi faktor-faktor pendukung dan penghambat keberhasilan proyek. Hasil studi evaluasi ini digunakan sebagai masukan dalam perencanaan yang akan datang dan tindakan koreksi terhadap proyek sejenis yang sedang berjalan.

Evaluasi dengan cara ini menggunakan indikator dan sasaran kinerja yang tersusun dalam kerangka kerja logis (matrik 5 baris, 4 kolom) yang telah dibuat pada tahap perencanaan (jika belum tersedia disusun pada saat pelaksanaan studi evaluasi).

4.1. Organisasi Pelaksanaan Studi Evaluasi Kinerja

  1. Wewenang dan tanggung jawab pelaksanaan studi evaluasi kinerja proyek pembangunan di tingkat departemen/ lembaga dapat dilakukan oleh unit kerja yang sudah ada seperti Biro Perencanaan yang berada di bawah pejabat setingkat eselon I dan memiliki akses langsung kepada pimpinan seperti Sekretaris Jenderal atau pejabat yang setara.
  2. Pelaksanaan studi evaluasi kinerja di daerah dapat dilakukan oleh Bappeda Propinsi.
  3. Bappenas, dalam hal ini Tim Pengarah selain mengkoordinasikan pelaksanaan studi evaluasi kinerja, jika dipandang perlu dapat melakukan studi evaluasi kinerja terhadap masalah-masalah yang bersifat nasional. Sedangkan biro sektor bertanggung jawab terhadap usulan studi evaluasi kinerja serta kesepakatan indikator dan sasaran kinerja yang disusun (jika belum tersedia).

Alur pelaksanaan studi evaluasi kinerja secara rinci dapat dilihat pada Bagan 3.

4.2. Tahapan Pelaksanaan Studi Evaluasi Kinerja

Pelaksanaan studi evaluasi kinerja terdiri atas lima tahapan, yaitu :

  1. Perencanaan.
  2. Penyiapan Kerangka Acuan Kerja (KAK).
  3. Pelaksanaan.
  4. Pelaporan hasil studi evaluasi kinerja.
  5. Implementasi rekomendasi hasil studi evaluasi kinerja.

4.2.1. Perencanaan

Dalam tahap persiapan pelaksanaan studi evaluasi kinerja langkah-langkah awal yang harus ditempuh adalah:

1. Menetapkan obyek studi evaluasi kinerja.
2. Membentuk tim pelaksana studi evaluasi kinerja.

4.2.1.1. Menetapkan Obyek Studi Evaluasi Kinerja

  1. Obyek studi evaluasi kinerja dapat merupakan suatu kumpulan proyek yang mewakili suatu program/wilayah, atau suatu proyek besar yang berdampak luas dan bersifat lintas sektoral.
  2. Aspek yang perlu dipertimbangkan dalam menentukan obyek studi evaluasi kinerja adalah :
  • Mandat atau misi Departemen/Lembaga.
  • Relevansi.
  • Manfaat proyek bagi masyarakat.
  • Isue dalam skala nasional.
  • Nilai proyek.
  • Waktu pencapaian sasaran proyek.

4.2.1.2. Membentuk Tim Pelaksana Studi Evaluasi Kinerja

  1. Dalam pelaksanaan studi evaluasi kinerja perlu dibentuk suatu Tim Pelaksana Studi Evaluasi Kinerja.
  2. Tim Pelaksana Studi Evaluasi Kinerja tersebut dapat berada di bawah Sekjen atau unit yang setingkat dengannya.
  3. Sedang untuk Daerah Propinsi berada di Bappeda Propinsi dalam hal ini Bidang Statistik dan Pelaporan.
  4. Pelaksanaan studi evaluasi kinerja dapat dilakukan secara swakelola atau dikontrakkan kepada pihak ketiga. Dalam hal ini penunjukan Tim Pelaksana Studi Evaluasi kinerja harus berpedoman pada KAK.

4.2.2. Penyiapan Kerangka Acuan Kerja (Term of Reference-TOR)

Sebagai pedoman pelaksanaan studi evaluasi kinerja, maka perlu disusun suatu Kerangka Acuan Kerja (KAK) yang menggambarkan tujuan, ruang lingkup, jangka waktu, biaya dan pelaksana/penanggungjawab dan pelaporannya. Tata cara penyusunan KAK secara rinci hendaknya berpedoman pada butir-butir berikut ini.

1. Format/isi KAK.
2. Pengesahan KAK.

4.2.2.1. Format/Isi Kerangka Acuan Kerja

KAK sebagai suatu pedoman pelaksanaan studi evaluasi kinerja harus mencakup hal-hal sebagai berikut:

  1. Perumusan tujuan dan ruang lingkup pelaksanaan studi evaluasi kinerja.
  2. Perumusan wewenang/penanggungjawab pelaksanaan studi evaluasi kinerja .
  3. Rencana kerja yang rinci:

- metodologi pelaksanaan studi evaluasi kinerja
- jadwal pelaksanaan

  1. Organisasi pelaksanaan studi evaluasi kinerja.
  2. Sistem pelaporan pelaksanaan studi evaluasi kinerja.
  3. Perkiraan kebutuhan sumberdaya yang diperlukan dalam pelaksanaan studi evaluasi kinerja (seperti kebutuhan biaya, SDM).

4.2.2.2. Pengesahan Kerangka Acuan Kerja

Sebagai pedoman pelaksanaan studi evaluasi kinerja yang memuat tujuan dan ruang lingkup pelaksanaan studi evaluasi kinerja, keterlibatan pimpinan instansi dalam penyusunan KAK sejak awal sangat diperlukan. Dalam hal ini KAK harus disahkan oleh Sekjen atau pejabat yang setingkat, dan mendapat persetujuan dari Tim Pengarah Evaluasi Kinerja (Bappenas).

Mekanisme pelaksanaan studi evaluasi kinerja secara lengkap dapat dilihat pada Tabel 4.

4.2.3. Pelaksanaan Studi Evaluasi Kinerja

Pelaksanaan evaluasi kinerja dilakukan secara bertahap, yang secara berurutan meliputi:

  1. Pemahaman terhadap proyek.
  2. Inventarisasi data dan informasi.
  3. Penyusunan indikator dan sasaran kinerja dalam KKL.
  4. Penyepakatan indikator dan sasaran kinerja.
  5. Persiapan survei.
  6. Pelaksanaan survei.
  7. Pra analisis.
  8. Analisis.
  9. Penilaian kinerja.
  10. Kesimpulan dan rekomendasi.

Tahapan-tahapan pelaksanaan studi evaluasi kinerja, secara lengkap dapat dijelaskan tahap demi tahap sebagai berikut :

Tahap I : Pemahaman Terhadap Proyek

Melakukan identifikasi atau pemahaman terhadap proyek yang akan dievaluasi dengan mempertimbangkan hal-hal sebagai berikut :

  • Latar belakang.
  • Maksud, tujuan dan sasaran serta permasalahan yang mungkin terjadi.
  • Ruang lingkup:

- Batasan wilayah (batasan administratif atau fungsional).
- Batasan jangka waktu evaluasi.
- Materi pembahasan evaluasi.

  • Hasil dan manfaat pembangunan yang diharapkan serta dampak positif ataupun dampak negatif yang mungkin terjadi.

Tahap II : Inventarisasi Data

Melakukan inventarisasi data dan informasi tentang hasil pembangunan yang akan dievaluasi (identifikasi indikator dan sasaran kinerja), yaitu berupa data:

  • Masukan: dana, tenaga, waktu, dan lainnya.
  • Keluaran: hasil fisik pembangunan.
  • Hasil dari fungsi pembangunan.
  • Manfaat dari fungsi pembangunan/proyek.
  • Dampak positif atau negatif yang terjadi setelah hasil pembangunan berfungsi.
  • Kebijaksanaan operasional dalam pengelolaan hasil pembangunan.

Tahap III : Penyusunan Indikator dan Sasaran Kinerja dalam Kerangka Kerja Logis

Penyusunan indikator dan sasaran kinerja dalam KKL logis mencakup:

  • Mengidentifikasi dan menyusun indikator dan sasaran kinerja sementara dalam KKL yang diperoleh dari hasil pemahaman terhadap Kerangka Acuan Kerja, data sekunder dan hasil studi pustaka.
  • Penyusunan KKL diperlukan untuk proyek-proyek yang belum mempunyai KKL. Bagi proyek-proyek yang sudah memiliki KKL dapat langsung menggunakannya dalam tahap pengumpulan data dan informasi.
  • Penyusunan KKL harus mengacu pada tatacara penyusunan KKL pada Bab II sebelumnya.

Tahap IV : Penyepakatan Indikator dan Sasaran Kinerja

Indikator dan sasaran kinerja yang telah tersusun tersebut diatas, disepakati bersama instansi terkait untuk dijadikan acuan utama dalam pelaksanaan studi.

Tahap V : Persiapan Survei

  1. Menetapkan (1) jenis dan jumlah responden, (2) metode survei, (3) instansi yang disurvei, (4) lokasi survei.
  2. Membuat perancangan konsep kuesioner dan daftar simak. Penyusunan alat survei tersebut dilakukan guna menyaring data agar sesuai dengan tujuan studi yang akan dilakukan.
  3. Menyusun jadwal survei serta melakukan mobilisasi.

Tahap VI : Kegiatan Survei

  1. Kegiatan survei harus dilakukan dalam pelaksanaan studi evaluasi kinerja.
  2. Kegiatan survei dilakukan dalam rangka pengumpulan data, baik primer maupun sekunder.
  3. Pengumpulan data sekunder dapat dilakukan dengan mengacu kepada daftar simak yang telah disusun pada instansi/lembaga terkait yang mempunyai data-data yang diperlukan, seperti :
  • Staff Appraisal Report (SAR) yang merupakan proposal yang diajukan pada pemberi dana (luar negeri) untuk menggambarkan kegiatan yang akan dilakukan termasuk manfaat dan dampaknya. Dokumen ini merupakan data dasar yang dijadikan acuan untuk menilai kinerja proyek.
  • Feasibility Study (FS). Apabila kegiatan (proyek) yang akan dievaluasi tidak menggunakan dana pinjaman luar negeri maka studi kelayakan menjadi acuan utama dalam melakukan studi evaluasi kinerja.
  • Implementation Completion Report (ICR), merupakan laporan penyelesaian pekerjaan yang dijadikan acuan dalam menilai tingkat realisasi pembangunan fisik.
  • Laporan berkala baik tahunan, kuartalan atau lainnya. Materi utama laporan berkala adalah laporan tentang kegiatan yang dilakukan dan laporan keuangan.
  • Laporan pendukung, seperti hasil studi instansi/lembaga lain. Berupa laporan umum, penelitian, percobaan dan lainnya.
  1. Informasi/data yang diperoleh selanjutnya disusun dalam KKL dengan menggunakan indikator dan sasaran kinerja yang relevan, jelas, tepat dan terukur.
  2. Pengumpulan data primer, dilakukan dengan menggunakan alat survei berupa kuesioner yang ditujukan pada beberapa responden yang sasarannya telah ditetapkan terlebih dahulu.
  3. Untuk menilai kondisi fisik dari hasil pembangunan perlu dilakukan pengamatan lapangan (observasi) dengan menggunakan alat visualisasi serta melakukan pencatatan terhadap bangunan yang dinilai.
  4. Dalam survei, penting dilakukan wawancara langsung secara terbuka dengan narasumber, baik yang berasal dari tokoh masyarakat ataupun pejabat pengelola kegiatan yang mempunyai informasi akurat dan lengkap.
  5. Dengan mempertimbangkan bahwa pada saat pengumpulan data sekunder dan primer ada kemungkinan terjadi perkembangan dalam indikator dan sasaran kinerja yang menjadi acuan dalam menilai/mengevaluasi kinerja proyek pembangunan, maka perlu dilakukan penilaian kembali dan pemantapan indikator dan sasaran kinerja yang telah dirancang pada awal persiapan studi.

Tahap VII : Pra Analisis

  1. Menyusun data hasil pengumpulan dari lapangan, baik data primer maupun data sekunder.
  2. Menyusun data melalui tabulasi untuk memudahkan analisis dalam melakukan kajian data.
  3. Tabulasi data harus dilakukan secara sistematis. Struktur dan klasifikasi data harus disesuaikan dengan model analisis yang akan dilakukan.

Tahap VIII : Analisis

  1. Melakukan analisis terhadap informasi yang diperoleh dengan metode yang tepat dan sesuai dengan hasil akhir yang diharapkan.
  2. Dalam evaluasi kinerja komponen yang penting dianalisis adalah :
  • Analisis Masukan - Keluaran ( Inputs- Outputs)
  • Analisis Realisasi Fungsi/Hasil (Results)
  • Analisis Manfaat (Benefits)
  • Analisis Dampak (Impacts) baik positif maupun negatif
  • Analisis Keuangan
  • Analisis Kebijaksanaan (operasional).

Tahap IX : Penilaian Kinerja

Melakukan penilaian kinerja dengan membandingkan antara indikator dan sasaran kinerja yang direncanakan dengan realisasinya, seperti :

  • Sasaran input dibandingkan dengan realisasi investasi
  • Sasaran fisik dibandingkan dengan realisasi fisik
  • Sasaran hasil dibandingkan dengan realisasi hasil
  • Sasaran manfaat dibandingkan dengan realisasi manfaat
  • Sasaran dampak dibandingkan dengan realisasi dampak
  • Sasaran kebijaksanaan dibandingkan dengan realisasi kebijaksanaan

Tahap X : Kesimpulan dan Rekomendasi

Melakukan tinjauan ulang terhadap evaluasi kinerja secara keseluruhan dengan mengemukakan keberhasilan, permasalahan, serta kendala yang dihadapi dalam pelaksanaan proyek.

  1. Menarik kesimpulan dari seluruh rangkaian kegiatan berdasarkan pada hasil analisis, penilaian kinerja, dan temuan-temuan.
  2. Membuat saran dan rekomendasi tentang kinerja pembangunan/kegiatan proyek yang dinilai.

Adapun tahapan pelaksanaan studi evaluasi kinerja secara rinci dapat dilihat pada Bagan 4.

4.2.4. Pelaporan Hasil Studi Evaluasi Kinerja

Dalam pelaporan hasil studi evaluasi kinerja harus diperhatikan:

  1. Format penulisan laporan.
  2. Isi laporan.
  3. Penyebaran laporan.

4.2.4.1. Format Penulisan Laporan

Penulisan laporan hasil studi evaluasi kinerja harus mencakup hal-hal sebagai berikut:

a. Ringkasan Eksekutif (Executive Summary), meliputi:

  • Maksud dan tujuan studi evaluasi kinerja.
  • Pendekatan yang digunakan.
  • Hasil atau temuan yang diperoleh.

b. Pengantar, meliputi:

  • Persiapan studi : memuat hasil studi tahap I, II, III, dan IV.
  • Persiapan survei : memuat hasil studi tahap V.

c. Pelaksanaan survei, meliputi:

  • Hasil studi tahap VI.

d. Analisis Data, meliputi:

  • Hasil studi tahap VII, VIII, dan IX.

e. Penyajian Hasil Analisis, meliputi:

  • Hasil studi tahap X.

f. Lampiran pendukung.

4.2.4.2. Isi Laporan

Laporan yang dibuat harus memenuhi persyaratan sebagai berikut:

  1. Memadai; dapat memberikan informasi yang memadai, baik mengenai metoda pengumpulan data maupun analisisnya.
  2. Akurat; dapat meminimalkan kesalahan. Untuk itu hasil evaluasi kinerja perlu diseminarkan sebelum menjadi laporan akhir.
  3. Obyektif; dapat memberikan informasi sebenarnya, menyebutkan asumsi-asumsi yang berpengaruh terhadap hasil evaluasi, dapat dipertanggungjawabkan secara ilmiah, dan memberikan bobot penilaian yang sama terhadap hasil studi evaluasi kinerja.
  4. Singkat dan jelas; hasil evaluasi kinerja harus dilaporkan dengan singkat, jelas dan tepat waktu.

4.2.4.3. Penyebaran Laporan

Laporan hasil studi evaluasi kinerja harus terdokumentasi dengan baik dan disampaikan kepada pimpinan instansi teknis, pejabat daerah yang berwenang, serta Tim Pengarah EKPP agar dapat ditindaklanjuti sebagai bahan masukan dalam perencanaan pembangunan. Mekanisme penyampaian laporan hasil studi evaluasi kinerja secara rinci dapat dilihat pada Tabel 4.

4.2.5. Implementasi Rekomendasi Hasil Studi Evaluasi Kinerja

Rekomendasi hasil studi evaluasi kinerja merupakan bahan masukan dalam proses perencanaan selanjutnya dan langkah-langkah perbaikan yang diperlukan terhadap pelaksanaan proyek yang sedang berjalan. Untuk itu tindak lanjut dari rekomendasi hasil studi evaluasi kinerja sangat diperlukan. Implementasi kebijaksanaan yang diambil sebagai tindak lanjut dari rekomendasi hasil studi evaluasi kinerja dapat dilaporkan secara berkala kepada Tim Pengarah-EKPP melalui Sekretariat Tim Pengarah EKPP.