Cara Mengukur Dampak Pelatihan PBJ

I. Pendahuluan

Pelatihan Pengadaan Barang dan Jasa (PBJ) bukan hanya sekadar agenda rutin yang diadakan untuk memenuhi target tahunan atau penyerapan anggaran. Ia merupakan bagian integral dari strategi peningkatan kapasitas aparatur negara dalam mengelola sumber daya publik secara transparan, efisien, dan akuntabel. Mengingat besarnya peran pengadaan dalam pembangunan nasional-baik dari sisi nilai transaksi maupun dampaknya terhadap pelayanan publik-maka keberhasilan pelatihan PBJ harus lebih dari sekadar terselenggaranya kelas dan kehadiran peserta. Ia harus mampu menciptakan perubahan nyata dalam kualitas individu dan organisasi.

Namun, seperti halnya program peningkatan kapasitas lainnya, pelatihan PBJ kerap terjebak dalam jebakan formalitas. Banyak pelatihan dilaksanakan tanpa ukuran keberhasilan yang jelas, apalagi evaluasi dampak jangka panjang. Padahal, pelatihan yang baik seyogianya dilandasi oleh kerangka logis: dimulai dari identifikasi kebutuhan yang spesifik, kemudian dikembangkan menjadi kurikulum yang relevan, disampaikan secara efektif, dan-yang paling penting-dievaluasi hasil serta dampaknya.

Mengukur dampak pelatihan PBJ berarti menilai apakah peserta benar-benar memahami dan menerapkan prinsip-prinsip pengadaan yang sesuai dengan regulasi. Lebih jauh lagi, kita ingin melihat apakah pelatihan tersebut berdampak pada kualitas dokumen pengadaan, pengelolaan risiko, serta kecepatan dan efisiensi proses tender atau pengadaan langsung. Tidak kalah penting, pengukuran ini juga membantu manajemen dalam mengambil keputusan: apakah model pelatihan saat ini cukup efektif, atau perlu didesain ulang?

Dalam konteks tersebut, artikel ini akan mengupas secara sistematis bagaimana menyusun dan menerapkan evaluasi dampak pelatihan PBJ yang tidak hanya kuat dari sisi metodologis, tetapi juga mampu memberikan insight strategis untuk perbaikan berkelanjutan. Kita akan membahas kerangka evaluasi seperti model Kirkpatrick, tahapan evaluasi sebelum dan sesudah pelatihan, pemilihan indikator yang relevan, hingga tantangan umum yang perlu diantisipasi oleh penyelenggara pelatihan dan instansi pemerintah.

II. Kerangka Evaluasi Pelatihan: Model Empat Level Kirkpatrick

Salah satu model evaluasi pelatihan paling populer dan komprehensif adalah Model Empat Level Kirkpatrick, yang dikembangkan oleh Donald Kirkpatrick sejak 1959 dan masih menjadi acuan global hingga kini. Model ini mengusulkan empat tingkatan evaluasi pelatihan yang saling berkaitan, dimulai dari pengalaman peserta hingga dampak organisasi.

Level 1: Reaction (Reaksi Peserta)

Level pertama mengukur respons awal peserta terhadap pelatihan. Ini mencakup persepsi mereka terhadap kualitas penyampaian materi, kompetensi fasilitator, kenyamanan fasilitas, dan relevansi isi pelatihan. Walaupun bersifat subjektif, data ini penting karena dapat menjadi indikator awal tentang seberapa besar keterlibatan peserta selama pelatihan.

Metode yang umum digunakan di level ini adalah kuesioner kepuasan, yang bisa diisi secara daring maupun manual, segera setelah pelatihan selesai. Skala Likert lima poin sering dipakai untuk menilai aspek-aspek seperti:

• Kesesuaian materi dengan tugas dan fungsi peserta
• Kesiapan dan responsivitas fasilitator
• Kelengkapan sarana pelatihan (ruangan, alat bantu, konsumsi)
• Efektivitas metode pembelajaran (ceramah, diskusi, simulasi)

Contoh pertanyaan:

“Sejauh mana Anda merasa materi pelatihan relevan dengan tugas PBJ Anda saat ini?””Bagaimana Anda menilai kemampuan fasilitator dalam menjelaskan konsep-konsep teknis?”

Data dari level ini berguna sebagai umpan balik cepat untuk perbaikan teknis penyelenggaraan pelatihan berikutnya. Namun, hasil baik di level ini tidak otomatis berarti pelatihan berdampak nyata.

Level 2: Learning (Pembelajaran)

Level kedua mengevaluasi sejauh mana pelatihan meningkatkan pengetahuan, keterampilan, dan sikap (attitude) peserta terhadap topik PBJ. Aspek ini krusial karena pengetahuan merupakan syarat awal terjadinya perubahan perilaku.

Untuk mengukurnya, pelatihan harus menyediakan pre-test dan post-test. Pre-test dilakukan sebelum pelatihan dimulai untuk mengetahui baseline kompetensi peserta. Sedangkan post-test dilakukan sesudah pelatihan, menggunakan soal yang sama atau setara tingkat kesulitannya.

Contoh indikator di level ini antara lain:

• Persentase peningkatan skor post-test dibandingkan pre-test
• Persentase peserta yang mencapai skor minimal kompetensi
• Kualitas output praktikum, seperti studi kasus penyusunan RUP atau KAK

Selain tes tertulis, metode simulasi kasus, diskusi kelompok, dan presentasi juga bisa menjadi sarana untuk mengukur kedalaman pemahaman dan kemampuan analisis peserta.

Level 3: Behavior (Perilaku di Tempat Kerja)

Setelah pelatihan selesai dan peserta kembali ke tempat kerja, tantangan selanjutnya adalah memastikan bahwa mereka menerapkan ilmu yang diperoleh dalam aktivitas pengadaan sehari-hari. Di sinilah evaluasi level 3 memainkan peran penting.

Evaluasi perilaku dapat dilakukan dalam rentang waktu tertentu (misalnya 1-3 bulan setelah pelatihan) melalui:

• Observasi langsung oleh atasan atau mentor
• Wawancara tindak lanjut dengan peserta
• Survei 360 derajat, yang mencakup masukan dari atasan, rekan kerja, dan bawahan
• Self-assessment yang dilengkapi bukti pendukung

Contoh perilaku yang diharapkan:

• Menyusun spesifikasi teknis secara lebih terstruktur dan akurat
• Memanfaatkan fitur e-procurement secara mandiri
• Memastikan proses evaluasi penawaran terdokumentasi dengan baik

Evaluasi level ini lebih sulit dilakukan karena memerlukan koordinasi lintas unit dan waktu yang tidak sebentar. Namun hasilnya sangat penting karena menunjukkan dampak nyata pelatihan terhadap praktik kerja.

Level 4: Results (Hasil Organisasi)

Level tertinggi dan paling strategis dari evaluasi pelatihan adalah hasil akhir yang dirasakan oleh organisasi. Ukuran keberhasilan di sini meliputi:

• Efisiensi proses: apakah pelatihan membantu mempercepat proses pengadaan?
• Penghematan biaya: apakah terjadi efisiensi anggaran akibat perencanaan dan evaluasi yang lebih tepat?
• Kepatuhan: apakah terjadi penurunan temuan audit atas proses PBJ?

Metode pengukuran level 4 meliputi:

• Analisis Key Performance Indicator (KPI)
• Perbandingan data sebelum dan sesudah pelatihan (pre-post analysis)
• Audit internal atau eksternal
• Review laporan capaian program

Contoh hasil nyata:

• Rata-rata waktu tender berkurang dari 30 hari menjadi 20 hari
• Jumlah revisi dokumen KAK menurun 50%
• Temuan audit atas pengadaan turun 40% dalam satu tahun

Level ini memerlukan data kuantitatif yang valid serta keterlibatan manajemen puncak dalam proses evaluasi. Namun hasilnya sangat berharga karena dapat membenarkan investasi pelatihan atau menunjukkan perlunya perbaikan mendasar.

III. Tahap Evaluasi Pre- dan Post-Training

Salah satu prinsip dasar dari evaluasi pelatihan yang efektif adalah adanya pengukuran sebelum dan sesudah pelatihan. Dengan membandingkan kondisi awal dan akhir, penyelenggara pelatihan dapat menilai apakah pelatihan benar-benar memberikan dampak. Tahapan ini mencakup:

1. Analisis Kebutuhan (Training Needs Assessment)

Evaluasi yang baik harus diawali dengan pemahaman yang tepat atas kebutuhan peserta. Pelatihan PBJ seharusnya tidak bersifat generik, melainkan berdasarkan analisis kesenjangan (gap analysis) antara kondisi aktual dan kondisi yang diharapkan.

Metode yang dapat digunakan:

• Focus Group Discussion (FGD): Melibatkan Pejabat Pembuat Komitmen (PPK), Pokja Pemilihan, dan staf pengadaan untuk menggali permasalahan aktual.
• Survei Daring: Menggunakan instrumen kuesioner untuk menjaring kebutuhan pelatihan dari berbagai unit kerja.
• Review Temuan Audit: Menelaah dokumen pemeriksaan internal/BPK terkait kelemahan dalam proses pengadaan yang berulang.

Dari sini dapat diketahui tema prioritas pelatihan seperti: penyusunan HPS yang akurat, evaluasi penawaran berbasis nilai, atau pemanfaatan e-purchasing.

2. Pre-Test

Pre-test sangat penting untuk menetapkan baseline kompetensi peserta, terutama dalam aspek teknis yang bisa diukur secara objektif.

Bentuk soal bisa berupa:

• Pilihan ganda (multiple choice)
• Simulasi dokumen (misal, menilai draft KAK)
• Studi kasus singkat

Hasil pre-test bukan hanya digunakan sebagai pembanding post-test, tetapi juga sebagai alat bantu fasilitator dalam menyesuaikan kedalaman penyampaian materi. Jika mayoritas peserta belum memahami regulasi terbaru seperti PerLKPP terbaru, maka pelatihan perlu mempertegas bagian tersebut.

3. Post-Test

Setelah pelatihan berakhir, peserta perlu kembali diuji untuk mengukur sejauh mana pengetahuan dan keterampilan meningkat.

Perbandingan hasil pre-test dan post-test memberikan gambaran kuantitatif tentang efektivitas metode pelatihan, kualitas materi, serta kemampuan fasilitator.

Contoh hasil evaluasi:

• Rata-rata skor pre-test: 58
• Rata-rata skor post-test: 82
• Peningkatan rata-rata: 24 poin atau ±41%

Evaluasi ini juga dapat dipakai sebagai umpan balik kepada peserta mengenai area yang perlu diperbaiki secara individu.

4. Survei Kepuasan Peserta

Selain aspek pengetahuan, kepuasan peserta terhadap keseluruhan pengalaman pelatihan juga perlu dicatat. Survei ini dapat mencakup:

• Relevansi materi terhadap kebutuhan kerja
• Kualitas penyampaian oleh fasilitator
• Efektivitas media pembelajaran
• Kenyamanan fasilitas dan durasi pelatihan

Gunakan kombinasi pertanyaan terbuka dan tertutup agar data yang dikumpulkan tidak hanya kuantitatif, tetapi juga kualitatif (misalnya saran atau keluhan yang tidak tertangkap oleh skala Likert).

IV. Key Performance Indicators (KPI) Pelatihan PBJ

Menetapkan indikator kinerja utama atau Key Performance Indicators (KPI) adalah langkah krusial dalam mengukur keberhasilan pelatihan PBJ (Pengadaan Barang/Jasa). KPI memungkinkan organisasi melihat hubungan antara kegiatan pelatihan dan dampaknya terhadap kinerja organisasi, khususnya dalam proses pengadaan. KPI untuk pelatihan PBJ umumnya difokuskan pada Level 3 dan Level 4 dalam model evaluasi Kirkpatrick-yakni perubahan perilaku dan hasil akhir. Berikut pengembangan indikator yang relevan:

1. Efisiensi Waktu Proses

Indikator ini mengukur kecepatan siklus pengadaan, terutama dari tahap awal (penerbitan Kerangka Acuan Kerja/KAK) hingga penetapan pemenang tender.

• KPI: Rata-rata waktu proses pengadaan sebelum dan sesudah pelatihan.
• Target: Pengurangan waktu proses sebesar 20% dalam enam bulan setelah pelatihan.
• Alasan: Pelatihan yang baik seharusnya mampu meningkatkan kemampuan teknis, komunikasi, dan koordinasi lintas unit kerja, sehingga mempercepat proses tanpa menurunkan kualitas.

2. Penghematan Biaya (Cost Saving)

Selisih antara Harga Perkiraan Sendiri (HPS) dan nilai kontrak pemenang tender menjadi indikator efisiensi anggaran hasil pengadaan.

• KPI: Persentase rata-rata cost saving tahunan.
• Target: Peningkatan dari baseline 5% menjadi 10% dalam satu tahun setelah pelatihan.
• Catatan: Ini mencerminkan kemampuan peserta dalam menyusun spesifikasi teknis dan HPS yang realistis, serta keberhasilan melakukan negosiasi atau tender ulang jika perlu.

3. Kepatuhan Prosedur

Kepatuhan terhadap aturan pengadaan diukur dari kelengkapan dan kesesuaian dokumen tender.

• KPI: Persentase paket pengadaan yang lulus verifikasi dokumen tanpa koreksi.
• Target: 100% kelengkapan pada dokumen penting seperti KAK, RAB, evaluasi teknis, dan BAHP.
• Manfaat: Mengurangi risiko sanggahan, audit negatif, serta meningkatkan integritas proses.

4. Penurunan Temuan Audit

Temuan audit dari BPK, Inspektorat, atau APIP daerah sering kali menjadi cerminan lemahnya implementasi aturan PBJ.

• KPI: Jumlah temuan signifikan yang berkaitan langsung dengan prosedur PBJ.
• Target: Reduksi 50% dalam waktu satu tahun.
• Acuan: Laporan hasil pemeriksaan (LHP), berita acara audit internal, serta notulen klarifikasi.

5. Tingkat Adopsi Sistem E-Procurement

Keberhasilan pelatihan PBJ juga dapat dilihat dari seberapa luas sistem elektronik seperti SPSE dimanfaatkan.

• KPI: Persentase pejabat pengadaan aktif yang menggunakan sistem SPSE dan e-Katalog.
• Target: Minimal 90% pengguna aktif melakukan minimal satu transaksi per bulan melalui sistem digital.
• Catatan: Tingginya adopsi menandakan bahwa peserta pelatihan memahami dan merasa nyaman menggunakan platform digital.

Melalui penetapan KPI yang terukur seperti di atas, organisasi dapat secara objektif memantau perubahan pascapelatihan dan memastikan bahwa kegiatan pelatihan tidak berhenti di ruang kelas, tetapi benar-benar berdampak di lapangan.

V. Metode Pengumpulan Data

Setelah indikator kinerja ditetapkan, tahap berikutnya adalah merancang metode pengumpulan data yang akurat dan sistematis. Data tersebut harus mencerminkan realitas di lapangan, serta dapat dipertanggungjawabkan dalam evaluasi jangka pendek maupun panjang.

1. Survei dan Kuesioner

Alat ini sangat efektif untuk mengumpulkan data persepsi dari peserta pelatihan.

• Jenis Survei:
  • Survei reaksi langsung setelah pelatihan (Level 1).
  • Survei perubahan pengetahuan dan perilaku (Level 2-3), dilakukan minimal 3 bulan setelah pelatihan.
• Platform: Google Forms, SurveyMonkey, atau modul survei dalam LMS.
• Isi: Skala Likert untuk persepsi, ditambah isian naratif untuk kendala dan saran.
• Manfaat: Cepat, murah, dan dapat menjangkau banyak responden sekaligus.

2. Wawancara Mendalam

Metode ini digunakan untuk mendapatkan gambaran kualitatif yang lebih dalam dari berbagai aktor kunci.

• Responden: Pejabat Pembuat Komitmen (PPK), anggota Pokja, kepala unit kerja, hingga fasilitator pelatihan.
• Fokus Pertanyaan:
  • Apakah ada perubahan dalam cara kerja setelah pelatihan?
  • Hambatan utama dalam menerapkan ilmu baru?
  • Dukungan atasan terhadap penerapan hasil pelatihan?
• Teknik: Wawancara semi-terstruktur via tatap muka, daring, atau telepon.
• Catatan: Hasil dapat digunakan untuk melengkapi survei kuantitatif.

3. Observasi Lapangan

Evaluasi berbasis pengamatan langsung dilakukan dengan mengunjungi unit kerja dan menyaksikan proses pengadaan secara nyata.

• Sasaran: Proses tender, pengisian SPSE, pembahasan evaluasi teknis, dan pembuatan dokumen kontrak.
• Checklist Observasi: Ketepatan pengisian formulir, kesesuaian prosedur, penggunaan template terbaru, dan pola diskusi evaluasi.
• Nilai Tambah: Dapat mengidentifikasi gap antara teori dan praktik secara langsung.

4. Analisis Dokumen dan Sistem

Dokumen fisik dan log sistem e-Procurement dapat menjadi sumber data objektif.

• Data yang Dikaji:
  • Durasi proses per paket pengadaan.
  • Persentase error dalam upload dokumen.
  • Konsistensi data antara dokumen KAK, RAB, dan kontrak.
  • Audit trail penggunaan SPSE.
• Tujuan: Menilai dampak pelatihan terhadap efisiensi dan akurasi proses administratif.

5. Dashboard Monitoring

Teknologi visualisasi dapat digunakan untuk menyajikan tren data secara real-time dan interaktif.

• Alat: Power BI, Tableau, atau modul pelaporan LPSE lokal.
• Tampilan: Grafik time-series perubahan KPI, pie chart distribusi temuan, heatmap kesalahan umum.
• Kelebihan: Memudahkan pembuat keputusan melihat capaian dan peringatan dini dari data evaluasi.

Dengan pendekatan triangulasi-menggabungkan survei, wawancara, observasi, dan data sistem-hasil evaluasi menjadi lebih kredibel dan actionable.

VI. Teknologi dan Alat Bantu Evaluasi

Pemanfaatan teknologi menjadi salah satu pilar penting dalam mempercepat, mempermudah, dan memperluas jangkauan evaluasi pelatihan PBJ. Seiring digitalisasi PBJ yang semakin masif, alat bantu evaluasi pun perlu ikut terdigitalisasi agar efisien dan mudah dianalisis.

1. Learning Management System (LMS)

Platform LMS seperti Moodle, TalentLMS, atau Ruang Belajar LKPP dapat menjadi pusat manajemen pelatihan:

• Fitur Utama:
  • Modul pre-test dan post-test otomatis.
  • Kuis interaktif berbasis video atau studi kasus.
  • Forum diskusi dan feedback instruktur.
• Manfaat Evaluasi:
  • Menyimpan histori nilai, partisipasi, dan waktu penyelesaian.
  • Mengukur efektivitas konten dan penguasaan materi secara sistematis.

2. Sistem e‑Procurement Analytics

SPSE atau e-Katalog tidak hanya alat transaksi, tetapi juga sumber data evaluasi.

• Fungsi Evaluatif:
  • Menyediakan statistik durasi proses per tahap.
  • Merekam error dan revisi dokumen.
  • Menampilkan pola penggunaan fitur SPSE oleh pengguna.
• Integrasi dengan Pelatihan: Dapat dilacak apakah alumni pelatihan lebih aktif dan lebih efisien dalam penggunaan sistem.

3. Aplikasi Mobile Feedback

Akses cepat melalui smartphone memudahkan peserta memberikan umpan balik saat bepergian atau di sela aktivitas.

• Contoh Fitur:
  • Push notification untuk reminder survei.
  • Rating dan komentar singkat berbasis touch screen.
  • Komparasi otomatis antara pre-test dan post-test.
• Kelebihan: Meningkatkan response rate karena survei bisa dilakukan kapan saja.

4. Tool Visualisasi Data

Alat visualisasi memainkan peran penting dalam menyajikan hasil evaluasi secara komunikatif.

• Jenis Visual:
  • Grafik perbandingan KPI sebelum dan sesudah pelatihan.
  • Heatmap area kelemahan yang paling sering muncul.
  • Bar chart penghematan biaya atau pemangkasan waktu.
• Keunggulan: Memberikan gambaran makro dan mikro secara instan kepada pengambil kebijakan.

5. Sistem Integrasi Evaluasi dan SDM

Jika memungkinkan, hasil evaluasi pelatihan dapat dihubungkan dengan sistem manajemen kinerja atau e-Kinerja.

• Manfaat:
  • Menjadikan pelatihan sebagai indikator kompetensi.
  • Menautkan hasil pelatihan dengan rekomendasi promosi jabatan atau reward.

Dengan ekosistem alat bantu yang terintegrasi, evaluasi pelatihan PBJ tidak lagi bersifat manual, lambat, atau reaktif, tetapi menjadi bagian dari sistem pembelajaran organisasi yang berkelanjutan dan strategis.

VII. Studi Kasus: Evaluasi Dampak Pelatihan di Pemda X

Untuk mendapatkan gambaran nyata mengenai bagaimana dampak pelatihan PBJ dapat diukur secara sistematis, kita dapat merujuk pada studi kasus pelaksanaan pelatihan di Pemerintah Daerah X. Pelatihan ini dirancang dengan pendekatan hybrid-menggabungkan sesi tatap muka intensif dengan webinar interaktif selama dua minggu penuh. Peserta berjumlah 100 orang, terdiri atas pejabat pengadaan barang/jasa dari berbagai OPD (Organisasi Perangkat Daerah) yang memiliki tugas menyusun, memproses, dan mengevaluasi paket pengadaan strategis. Tujuan pelatihan adalah menurunkan waktu proses tender dan mengurangi jumlah temuan audit yang selama ini menjadi masalah berulang di daerah tersebut.

Evaluasi Level 1 & 2 – Reaksi dan Pembelajaran

Hasil post-test menunjukkan nilai rata-rata peserta meningkat dari 55% menjadi 85% setelah pelatihan. Peningkatan ini tidak hanya menunjukkan bahwa materi yang disampaikan efektif, tetapi juga bahwa metode penyampaian mampu menciptakan pengalaman belajar yang bermakna. Peserta yang sebelumnya lemah dalam hal dasar-dasar evaluasi penawaran dan penyusunan spesifikasi teknis kini mampu menjawab soal berbasis studi kasus dengan benar.

Dari sisi reaksi peserta, survei kepuasan menunjukkan bahwa 92% peserta merasa puas terhadap isi dan kelengkapan materi pelatihan, sedangkan 88% merasa puas terhadap kompetensi dan gaya fasilitasi para instruktur. Catatan penting dari sesi tanya jawab menunjukkan bahwa metode pelatihan aktif-seperti studi kasus, kuis digital, dan simulasi evaluasi dokumen-berkontribusi besar terhadap kepuasan tersebut.

Evaluasi Level 3 – Perilaku dan Implementasi

Evaluasi tidak berhenti pada akhir pelatihan. Tiga bulan setelah pelatihan, dilakukan observasi lapangan dan wawancara mendalam terhadap peserta dan atasan langsung. Hasilnya cukup menggembirakan: 80% peserta menerapkan metode Quality and Cost Based Selection (QCBS) dalam paket konsultansi mereka, menggantikan pendekatan lowest price yang selama ini menjadi standar tetapi kerap bermasalah. Selain itu, peserta mulai memanfaatkan template Kerangka Acuan Kerja (KAK) yang telah diperkenalkan selama pelatihan, yang menekankan pada kejelasan output dan tahapan kegiatan.

Wawancara juga mengungkap bahwa sebagian besar peserta merasa lebih percaya diri dalam menyusun Rencana Anggaran Biaya (RAB) karena kini mereka memahami elemen biaya secara rinci, tidak hanya menyalin dari paket sebelumnya. Peningkatan rasa percaya diri ini penting karena menyiratkan pergeseran budaya kerja: dari sekadar “mengikuti prosedur” menjadi “memahami proses”.

Evaluasi Level 4 – Hasil Nyata bagi Organisasi

Evaluasi tingkat akhir melihat pada perubahan hasil organisasi yang dapat dikaitkan dengan pelatihan. Di Pemda X, hasil yang paling menonjol adalah penurunan waktu rata-rata proses tender dari 45 hari menjadi 30 hari-pengurangan sebesar 33% dalam durasi yang signifikan bagi efisiensi layanan publik. Proses yang sebelumnya tertunda karena revisi dokumen dan klarifikasi berkepanjangan kini lebih lancar berkat dokumen awal yang lebih lengkap dan logis.

Lebih lanjut, temuan audit BPK terhadap dokumen PBJ yang sebelumnya mencapai 15 kasus dalam satu tahun anggaran, berkurang drastis menjadi hanya 5 kasus pada tahun pelatihan. Sebagian besar temuan tersebut terkait ketidaksesuaian metode pemilihan dan kekurangan dokumentasi evaluasi. Ini menunjukkan bahwa pelatihan tidak hanya berdampak pada kemampuan teknis, tetapi juga pada kesadaran akan pentingnya dokumentasi dan akuntabilitas.

Dampak lain yang terukur adalah peningkatan efisiensi biaya: rerata penghematan anggaran per paket meningkat dari 4% menjadi 9%. Ini dapat terjadi karena tim pengadaan mampu menyusun spesifikasi teknis dan evaluasi biaya yang lebih realistis, sehingga penyedia tidak perlu menggelembungkan harga karena ketidakpastian dokumen.

 

VIII. Tantangan dan Solusi dalam Mengukur Dampak

Meskipun pendekatan evaluasi berjenjang seperti model Kirkpatrick atau ROE (Return on Expectations) sangat membantu, implementasi di lapangan sering kali tidak semudah teori. Terdapat sejumlah tantangan teknis dan non-teknis yang kerap dihadapi oleh instansi penyelenggara pelatihan PBJ, baik di pusat maupun daerah.

1. Keterbatasan Data Historis

Salah satu hambatan terbesar adalah tidak tersedianya baseline data sebelum pelatihan dimulai. Tanpa data awal mengenai kinerja pengadaan, waktu proses tender, jumlah temuan audit, atau kepuasan stakeholder, akan sulit mengukur apakah ada perubahan yang disebabkan oleh pelatihan.

Solusi: Penyusunan baseline harus menjadi bagian dari perencanaan pelatihan. Sebelum pelatihan dimulai, lakukan audit ringan terhadap kondisi eksisting: seberapa lama proses berlangsung, apa saja keluhan umum, bagaimana hasil audit terakhir. Data ini bisa dikumpulkan melalui survey, dokumen SPSE, dan wawancara. Penetapan indikator dasar akan memudahkan pengukuran dampak secara longitudinal.

2. Resistensi Budaya terhadap Evaluasi

Di banyak instansi, budaya evaluasi belum terbentuk kuat. Evaluasi kadang dianggap sekadar formalitas atau bahkan sebagai ancaman bagi reputasi personal dan institusi. Akibatnya, partisipasi dalam evaluasi pasca-pelatihan bisa rendah dan tidak jujur.

Solusi: Untuk mengatasi ini, pendekatan harus bersifat kolaboratif, bukan kontrol. Pimpinan perlu dilibatkan sebagai sponsor program yang mendorong pentingnya evaluasi sebagai bagian dari perbaikan berkelanjutan. Selain itu, hasil evaluasi sebaiknya dikaitkan dengan penghargaan atau pengembangan karier, misalnya digunakan dalam SKP (Sasaran Kinerja Pegawai) atau Rencana Pengembangan Individu.

3. Variabilitas Konteks Antar-Unit Kerja

Tidak semua unit kerja memiliki tantangan atau konteks yang sama. Misalnya, OPD yang menangani konstruksi tentu berbeda tantangan pengadaannya dengan OPD yang membeli alat tulis kantor. Jika evaluasi dampak pelatihan tidak mempertimbangkan perbedaan ini, hasilnya akan bias atau tidak relevan.

Solusi: Penyesuaian indikator utama per unit kerja mutlak diperlukan. Dalam hal ini, indikator dampak harus ditentukan melalui diskusi lintas unit dan disesuaikan dengan fungsi mereka. Gabungan data kuantitatif (misal waktu pengadaan) dan kualitatif (misal kepuasan pengguna) akan memberikan gambaran yang lebih holistik.

4. Ketergantungan pada Teknologi Evaluasi

Meningkatnya penggunaan Learning Management System (LMS) dan sistem digital evaluasi memunculkan tantangan baru: ketidaksiapan SDM dalam memanfaatkan sistem. Banyak peserta atau pengelola pelatihan yang belum familiar dengan fitur-fitur seperti log aktivitas, penilaian daring, atau dashboard evaluasi.

Solusi: Dibutuhkan pelatihan awal tentang sistem evaluasi itu sendiri, baik untuk peserta, admin pelatihan, maupun fasilitator. Tersedianya bantuan teknis seperti IT helpdesk, video tutorial, atau modul singkat akan sangat membantu mempercepat adaptasi. Sistem juga harus ramah pengguna dan tidak membutuhkan akses internet berkecepatan tinggi agar dapat diakses di daerah terpencil.

5. Waktu Tunda Efek Pelatihan

Tidak semua dampak pelatihan muncul seketika. Beberapa perubahan-seperti efisiensi anggaran atau perbaikan sistem pengadaan-membutuhkan waktu untuk terwujud. Jika evaluasi hanya dilakukan tepat setelah pelatihan, maka efek jangka panjang akan terlewatkan.

Solusi: Perlu dilakukan evaluasi berkelanjutan pada interval yang jelas, misalnya 3 bulan, 6 bulan, dan 12 bulan setelah pelatihan. Evaluasi ini dapat berupa survei lanjutan, wawancara mendalam, atau analisis data SPSE yang dikaitkan dengan peserta pelatihan. Jadwal dan tanggung jawab evaluasi ini sebaiknya dicantumkan dalam TOR pelatihan sejak awal.

IX. Rekomendasi Praktis

Mengukur dampak pelatihan PBJ (Pengadaan Barang/Jasa) tidak akan efektif tanpa strategi pelaksanaan yang terencana. Oleh karena itu, beberapa langkah praktis berikut dapat menjadi fondasi sistem evaluasi yang menyeluruh dan berkelanjutan.

1. Integrasi Evaluasi Mulai dari Perencanaan

Langkah pertama adalah memastikan bahwa evaluasi dampak pelatihan bukan menjadi kegiatan tambahan yang dilakukan setelah kegiatan selesai, melainkan menjadi bagian integral dari perencanaan awal. Dalam dokumen Rencana Kerja dan Anggaran (RKA), rencana pelatihan PBJ sebaiknya sudah menyisipkan struktur evaluasi, termasuk anggaran untuk pengumpulan data, alat ukur, tenaga evaluator, serta sistem pemantauan. Dengan pendekatan ini, proses evaluasi tidak akan dianggap sebagai beban tambahan, melainkan sebagai bagian tak terpisahkan dari upaya peningkatan kualitas SDM pengadaan.

Contohnya, jika pelatihan bertujuan meningkatkan efisiensi proses tender, maka indikator seperti “rata-rata durasi tender” dan “tingkat kelengkapan dokumen” perlu ditetapkan sebagai tolok ukur sejak awal. Dengan demikian, perubahan pascapelatihan dapat diukur secara objektif.

2. Bangun Tim Monitoring dan Evaluasi (M&E) Internal

Banyak instansi belum memiliki tim yang secara khusus ditugaskan untuk memantau hasil pelatihan. Oleh karena itu, pembentukan Tim Monitoring dan Evaluasi yang terdiri dari perwakilan Bagian PBJ, kepegawaian, dan bagian pengembangan SDM sangat disarankan. Tim ini bertugas:

• Menyusun instrumen evaluasi (kuesioner, format wawancara, indikator kinerja).
• Mengumpulkan data pre-test dan post-test.
• Melakukan follow-up setelah 3, 6, atau 12 bulan.
• Menganalisis hasil dan menyusun rekomendasi.

Tim ini sebaiknya dibekali pelatihan khusus tentang evaluasi pelatihan berbasis hasil agar analisis yang dilakukan tidak sekadar deskriptif, melainkan mampu menjawab pertanyaan “apa dampaknya bagi kinerja organisasi?”

3. Gunakan Pendekatan Mixed-Methods

Pendekatan campuran (mixed-methods)-yakni kombinasi metode kuantitatif dan kualitatif-merupakan strategi evaluasi yang paling ideal dalam konteks pelatihan PBJ. Survei kuantitatif memungkinkan pengukuran kepuasan peserta, kenaikan skor post-test, dan penurunan waktu proses pengadaan. Sementara wawancara dan FGD (Focus Group Discussion) membantu menggali aspek perubahan sikap, kepercayaan diri, serta hambatan implementasi di lapangan yang tidak terekam oleh angka.

Metode kualitatif juga bermanfaat untuk mendeteksi “blind spot”-misalnya, peserta mungkin tahu teori QCBS tetapi tidak menggunakannya karena kepala unit tidak familiar dengan metode tersebut. Kombinasi dua pendekatan ini akan memberikan gambaran menyeluruh, tidak hanya pada apa yang berubah, tetapi juga mengapa dan bagaimana perubahan terjadi.

4. Laporkan Hasil Evaluasi secara Transparan

Hasil evaluasi dampak pelatihan sebaiknya tidak hanya disimpan dalam laporan internal. Publikasi secara berkala melalui dashboard PBJ, laporan bulanan, atau forum ASN menjadi langkah penting untuk mendorong akuntabilitas dan komitmen perubahan. Visualisasi data seperti grafik tren waktu tender, penurunan temuan audit, atau indeks penerapan metode pengadaan mutakhir, dapat meningkatkan kesadaran pimpinan akan nilai tambah investasi pada pelatihan PBJ.

Pelaporan yang transparan juga mendorong budaya belajar di instansi-bukan hanya mengikuti pelatihan karena kewajiban, tetapi karena diyakini berdampak nyata bagi kinerja.

5. Continuous Improvement Berbasis Data

Evaluasi tidak berhenti pada pelaporan. Data yang diperoleh harus digunakan untuk menyempurnakan pelatihan berikutnya. Jika ternyata modul tertentu kurang dipahami peserta, maka kurikulum perlu dirombak. Jika peserta butuh waktu lebih lama mempraktikkan materi, maka program mentoring atau coaching paska pelatihan bisa dirancang.

Perbaikan berkelanjutan akan mendorong pelatihan yang makin relevan, terukur, dan berdampak, bukan sekadar formalitas anggaran tahunan.

X. Kesimpulan

Evaluasi pelatihan PBJ merupakan aspek yang semakin krusial dalam konteks reformasi birokrasi dan peningkatan kualitas belanja pemerintah. Di era digital dan transparansi saat ini, pelatihan tidak bisa lagi sekadar dinilai dari jumlah peserta atau skor ujian akhir. Yang menjadi pertanyaan mendasar adalah: apa pengaruh pelatihan terhadap kinerja nyata pengadaan barang/jasa?

Artikel ini menyoroti pentingnya menggunakan pendekatan terstruktur dalam evaluasi pelatihan, salah satunya dengan kerangka Kirkpatrick Model yang terdiri dari empat level: reaksi, pembelajaran, perubahan perilaku, dan hasil organisasi. Dengan model ini, pelatihan dapat dievaluasi secara bertahap-dari seberapa puas peserta, seberapa banyak yang mereka pelajari, sejauh mana mereka menerapkan di tempat kerja, hingga bagaimana dampaknya terhadap efisiensi tender, penurunan temuan audit, atau penghematan anggaran.

Studi kasus Pemda X menjadi ilustrasi nyata bahwa dampak pelatihan dapat diukur secara konkret. Misalnya, terjadi penurunan durasi tender hingga 33%, temuan audit berkurang 67%, serta peningkatan penghematan biaya dari 4% menjadi 9%. Ini menunjukkan bahwa pelatihan yang dirancang dengan tujuan jelas dan diikuti evaluasi menyeluruh, bisa memberikan return on investment yang signifikan.

Namun demikian, proses evaluasi bukan tanpa hambatan. Artikel ini mengidentifikasi tantangan seperti keterbatasan data historis, resistensi budaya, variabilitas kontekstual, ketergantungan pada sistem digital, hingga jeda waktu munculnya dampak. Untuk itu, solusi seperti pengumpulan baseline sejak awal, pelibatan pimpinan, penggunaan indikator lokal yang relevan, pelatihan evaluasi digital, serta evaluasi berjenjang jangka panjang menjadi langkah realistis yang dapat dilakukan oleh pemda atau instansi pusat.

Rekomendasi praktis di bagian akhir artikel menekankan pentingnya perencanaan evaluasi sejak awal, pembentukan tim khusus M&E, penggunaan pendekatan mixed-methods, pelaporan terbuka, serta perbaikan berkelanjutan berdasarkan hasil evaluasi. Ini bukan hanya memperkuat akuntabilitas pelatihan, tetapi juga menciptakan siklus pembelajaran organisasi yang terus berkembang.

Sebagai penutup, pengadaan barang/jasa bukan sekadar proses administratif, melainkan arena strategis yang menentukan efektivitas pembangunan. Oleh karena itu, investasi pada pelatihan pejabat PBJ harus dibarengi dengan sistem evaluasi yang sistematis, terukur, dan berorientasi hasil. Dengan demikian, setiap rupiah yang dikeluarkan untuk pelatihan akan menghasilkan dampak nyata: efisiensi waktu, peningkatan mutu layanan, penghematan biaya, dan yang tak kalah penting, peningkatan integritas aparatur negara.

Dengan tekad kolektif dan penerapan evaluasi yang adaptif, pelatihan PBJ dapat menjadi motor penggerak transformasi birokrasi pengadaan yang profesional, transparan, dan akuntabel-di pusat maupun daerah.