PEMANTAUAN PROGRAM HASIL.

pemantauan hasil adalah pengukuran rutin dan pelaporan indikator hasil dari upaya
program dalam domain sosial yang bertanggung jawab untuk meningkatkan (Affholter, 1994).
Hal ini penting dalam konteks ini untuk membedakan antara upaya program dan perbaikan yang
dihasilkan (jika ada) di target domain. hasil program perubahan dalam kondisi sosial alamat
program yang diduga hasil dari tindakan Program tetapi tidak sendiri tindakan Program. Dengan
demikian, menyediakan makanan untuk 100 orang lansia tinggal di rumah bukan hasil program,
adalah pelayanan tercakup dalam proses Program. Pengaruh gizi makanan orang pada kesehatan
orang tua, bagaimanapun, adalah hasil, seperti perbaikan moral mereka, kualitas yang dirasakan
dari kehidupan,
Sebuah prasyarat untuk pemantauan hasil adalah identifikasi hasil program dapat
diharapkan untuk menghasilkan. Di sini, sekali lagi, artikulasi hati-hati teori Program adalah alat
yang sangat berguna. Dalam hal ini, itu adalah dampak teori program yang relevan. Sebuah teori
dampak yang baik, seperti yang dijelaskan dalam Bab 3, akan menampilkan rantai hasil yang
diharapkan hasil dari program layanan dan didasarkan pada masukan rinci dari para pemangku
kepentingan utama, pertimbangan apa hasil yang realistis dan layak, dan upaya untuk
menggambarkan hasil yang di beton , istilah terukur. Fitur lain yang berguna dari teori dampak
yang berkembang dengan baik adalah bahwa hal itu akan membedakan hasil proksimal, yang
diharapkan paling segera hasil dari pelaksanaan program, dari hasil yang lebih distal yang
mungkin memerlukan lebih banyak waktu atau penumpukan lebih besar dari efek program untuk
mencapai.
pemantauan hasil Program mensyaratkan bahwa indikator diidentifikasi untuk hasil
program penting, dimulai dengan yang paling proksimal dan menutupi karena banyak yang lebih
distal sebagai layak (Bukti 6-J memberikan beberapa contoh indikator hasil). Ini berarti mencari
atau mengembangkan langkah-langkah yang praktis untuk mengumpulkan secara rutin dan
informatif berkaitan dengan kinerja program. Persyaratan terakhir ini sangat sulit. Hal ini sering
relatif mudah untuk menemukan indikator status kondisi sosial yang relevan atau populasi target
pada dimensi hasil, misalnya, nomor

EXHIBIT 6J Contoh Quality of Life Perubahan Peserta Program

Contoh gerakan menuju beberapa perubahan yang diinginkan:
Kondisi Seorang klien menemukan penampungan tunawisma
Status Klien pengangguran mendapatkan pekerjaan
Tingkah laku Peningkatan kehadiran sekolah remaja ini
berfungsi Peningkatan keterampilan koping klien
Sikap Peningkatan valuing sebuah remaja tentang
pendidikan
Perasaan Peningkatan dalam arti klien milik
Persepsi Peningkatan harga diri klien
Contoh gerakan menjauh dari beberapa perubahan yang tidak diinginkan:
Kondisi Jumlah malam seorang tunawisma menghabiskan
pada strees
Status Jumlah hari kerja tidak terjawab oleh
substanceabusing klien
Tingkah laku Penurunan jumlah kali remaja melompat sekolah
berfungsi Penurunan kejadian klien bertarung dengan pasangan
Sikap Penurunan angka remaja tentang actingout insiden
Perasaan Penurunan perasaan klien ketidakberdayaan atas
lingkungan nya
Persepsi Penurunan persepsi negatif klien tentang kelompok
etnis lain
SUMBER: Diadaptasi dari Lawrence L. Martin dan Peter M. Kettner, Mengukur Kinerja
Layanan Program Manusia (Thousand Oaks, CA: Sage, 1996), p. 52

anak-anak dalam kemiskinan, prevalensi penyalahgunaan narkoba, tingkat pengangguran,

keterampilan membaca siswa sekolah dasar, dan sejenisnya. Kesulitannya adalah dalam
menghubungkan perubahan status yang secara khusus dengan upaya program sehingga indikator
menanggung sebagian kaitannya dengan apapun hasil-hasil program telah benar-benar
diproduksi.
Sumber kesulitan ini, seperti yang disebutkan sebelumnya dalam bab ini, adalah bahwa
biasanya ada banyak pengaruh pada kondisi sosial yang tidak di bawah kendali program. Dengan
demikian, tingkat kemiskinan, penggunaan narkoba, pengangguran, membaca skor, dan
sebagainya dapat berubah untuk sejumlah alasan yang berkaitan dengan ekonomi, tren sosial,
dan efek dari program dan kebijakan lainnya. Dalam keadaan ini, menemukan indikator hasil
yang melakukan pekerjaan yang wajar mengisolasi hasil disebabkan program tersebut seringkali
bukan perkara mudah (US Kantor Akuntansi Umum, 1997). Memang, untuk mengisolasi
dampak program secara meyakinkan dari pengaruh lain yang mungkin memiliki efek yang sama
memerlukan teknik khusus evaluasi dampak dibahas dalam Bab 7-10 dari buku ini.

Pedoman Indikator Hasil

Nonetheless, ada beberapa pedoman untuk mengembangkan indikator hasil yang
responsif mungkin untuk efek memprogram. Satu titik sederhana, misalnya, adalah bahwa
indikator hasil harus diukur hanya pada anggota populasi sasaran yang benar-benar menerima
layanan program. Ini berarti bahwa indikator sosial tersedia untuk daerah tangkapan air yang
dilayani oleh program ini adalah pilihan yang tidak baik untuk pemantauan hasil jika mereka
mencakup jumlah yang cukup dari orang tidak benar-benar dilayani oleh program (meskipun
mereka mungkin suplemen informatif untuk indikator hasil). Ini juga berarti bahwa mereka
peserta program awal yang tidak benar-benar menyelesaikan paket layanan yang ditentukan
penuh harus dikeluarkan dari indikator. Ini bukan untuk mengatakan bahwa tingkat drop-out
adalah penting sebagai ukuran kinerja program,
Mungkin teknik yang paling berguna untuk memfokuskan indikator hasil pada hasil
program ini adalah untuk mengembangkan indikator dari pra-program perubahan pasca-program
yang bila memungkinkan. Sebagai contoh, kurang informatif untuk mengetahui bahwa 40% dari
peserta dalam program pelatihan kerja yang dipekerjakan enam bulan sesudahnya daripada tahu
bahwa ini merupakan perubahan dari status pra-program di mana 90% tidak memiliki pekerjaan
untuk tahun sebelumnya . Salah satu pendekatan untuk indikator hasil adalah untuk
mendefinisikan "ambang sukses" bagi peserta program dan melaporkan berapa banyak bergerak
dari bawah ambang batas di atas itu setelah menerima pelayanan. Jadi, jika ambang batas
didefinisikan sebagai "memegang pekerjaan penuh waktu terus menerus selama enam bulan,"
Sebuah kasus sangat sulit untuk mengembangkan indikator hasil dengan beberapa
tanggap terhadap perubahan program induksi adalah untuk program pencegahan, yang
pesertanya awalnya hanya beresiko untuk masalah bukan benar-benar mewujudkan masalah.
program pelestarian keluarga yang melakukan intervensi ketika anak-anak dinilai beresiko untuk
dikeluarkan dari rumah menggambarkan hal ini. Jika, setelah layanan, 90% dari anak-anak masih
dengan keluarga mereka bukan anak asuh, ini mungkin muncul untuk menunjukkan hasil
program yang baik. Apa yang kita tidak tahu adalah berapa banyak risiko ada di tempat pertama
bahwa anak akan dihapus. Mungkin beberapa dari anak-anak ini akan benar-benar telah dihapus
dari rumah dalam setiap peristiwa, maka "perubahan" yang terkait dengan intervensi adalah
sepele.
Indikator hasil yang paling ditafsirkan, absen evaluasi dampak, adalah mereka yang
melibatkan variabel yang hanya program dapat mempengaruhi ke tingkat yang cukup. Ketika
variabel-variabel ini juga mewakili hasil pusat untuk misi program, mereka membuat untuk
sistem hasil pemantauan terutama informatif. Perhatikan, misalnya, program pembersihan jalan
kota yang bertujuan untuk memungut sampah, daun, dan sejenisnya dari jalan-jalan kota.
Sederhana sebelum-setelah foto-foto dari jalan-jalan yang pengamat independen tingkat
kebersihan akan menghasilkan hasil yang meyakinkan. Pendek dari badai kecil meniup semua
sampah ke daerah berikutnya, hanya ada tidak banyak lagi yang mungkin terjadi yang akan
membersihkan jalan-jalan.
Indikator hasil termudah untuk menghubungkan langsung ke tindakan program ini adalah
kepuasan klien, semakin disebut kepuasan pelanggan bahkan dalam program pelayanan manusia.
peringkat langsung oleh penerima manfaat mereka percaya

EXHIBIT 6¬K Produk Survei Kepuasan Klien Yang Berkaitan dengan Manfaat Spesifik
survei kepuasan klien biasanya berfokus pada kepuasan dengan layanan program.
Sementara pelanggan yang puas adalah salah satu jenis hasil program ini saja mengatakan sedikit
tentang program khusus manfaat klien mungkin telah menemukan memuaskan. Untuk survei
kepuasan klien untuk melampaui masalah layanan, mereka harus bertanya tentang kepuasan
dengan hasil layanan, yaitu, kepuasan dengan perubahan tertentu layanan mungkin telah
membawa. Martin dan Kettner menyarankan menambahkan item seperti berikut untuk rutin
survei kepuasan klien: layanan: Informasi dan Pertanyaan rujukan: Telah informasi dan rujukan
Program telah membantu Anda dalam mengakses layanan yang dibutuhkan? Service:
Home¬delivered makanan
Pertanyaan: Apakah program makanan home¬delivered pernah membantu Anda dalam
menjaga kesehatan dan gizi? Service: Konseling Pertanyaan: Apakah program konseling telah
membantu Anda dalam mengatasi stres dalam hidup Anda? SUMBER: Diadaptasi dari Lawrence
L. Martin dan Peter M. Kettner, Mengukur Kinerja Layanan Program Manusia (Thousand Oaks,
CA: Sage, 1996), p. 97.

program yang diberikan kepada mereka adalah salah satu bentuk penilaian hasil. Selain
itu, menciptakan perasaan kepuasan tentang interaksi dengan program antara para peserta adalah
bentuk hasil, meskipun tidak satu yang, dalam dirinya sendiri, tentu meningkatkan kehidupan
peserta. Semakin banyak informasi yang relevan berasal dari laporan peserta dari apakah
manfaat yang sangat spesifik dihasilkan dari program layanan (lihat Exhibit 6-K). Keterbatasan
indikator tersebut adalah bahwa peserta program tidak selalu dalam posisi untuk mengenali atau
mengakui manfaat program, seperti pecandu narkoba didorong untuk menggunakan jarum suntik
steril. Atau, peserta mungkin dapat melaporkan manfaat tetapi enggan untuk tampil kritis dan
dengan demikian melebih-lebihkan mereka, sebagai kekuatan orang tua ditanya tentang perawat
mengunjungi yang datang ke rumah mereka.
Kesalahan Pemantauan Hasil
Karena sifat dinamis dari kondisi sosial program khas mencoba untuk mempengaruhi,
keterbatasan indikator hasil yang dijelaskan di atas, dan tekanan pada lembaga Program, ada
banyak jebakan yang terkait dengan pemantauan hasil Program. Ini bukan untuk mengatakan
bahwa indikator tersebut tidak dapat menjadi sumber informasi berharga tentang kinerja program
untuk pengambil keputusan Program, hanya bahwa mereka harus dikembangkan dan digunakan
sangat hati-hati. Salah satu pertimbangan penting adalah bahwa setiap indikator hasil yang
penyandang dana program atau pengambil keputusan yang berpengaruh lainnya memberikan
perhatian serius akan juga pasti menerima penekanan dari staf program dan manajer. Dengan
demikian, jika indikator hasil yang tidak sesuai atau gagal untuk menutupi semua hasil penting,
upaya program untuk meningkatkan kinerja mereka mencerminkan dapat mendistorsi kegiatan
program. Affholter (1994), misalnya, menggambarkan situasi di mana negara digunakan jumlah
rumah asuh baru berlisensi sebagai indikator peningkatan penempatan untuk anak-anak dengan
beberapa masalah. Pekerja menanggapi dengan penuh semangat merekrut dan perizinan rumah
baru bahkan ketika orang tua asuh kekurangan keterampilan khusus yang diperlukan untuk
mengambil hard¬to-tempat anak-anak atau tidak tepat sama sekali untuk anak-anak tersebut.
Dengan demikian, indikator terus bergerak ke atas tetapi penempatan yang sebenarnya dari anak-
anak di populasi target tidak benar-benar membaik. Dalam pendidikan, ini disebut "mengajar
untuk tes." Baik indikator hasil, sebaliknya, harus "tes untuk mengajar." menggambarkan situasi
di mana negara digunakan jumlah rumah asuh baru berlisensi sebagai indikator peningkatan
penempatan untuk anak-anak dengan beberapa masalah. Pekerja menanggapi dengan penuh
semangat merekrut dan perizinan rumah baru bahkan ketika orang tua asuh kekurangan
keterampilan khusus yang diperlukan untuk mengambil hard¬to-tempat anak-anak atau tidak
tepat sama sekali untuk anak-anak tersebut. Dengan demikian, indikator terus bergerak ke atas
tetapi penempatan yang sebenarnya dari anak-anak di populasi target tidak benar-benar
membaik. Dalam pendidikan, ini disebut "mengajar untuk tes." Baik indikator hasil, sebaliknya,
harus "tes untuk mengajar." menggambarkan situasi di mana negara digunakan jumlah rumah
asuh baru berlisensi sebagai indikator peningkatan penempatan untuk anak-anak dengan
beberapa masalah. Pekerja menanggapi dengan penuh semangat merekrut dan perizinan rumah
baru bahkan ketika orang tua asuh kekurangan keterampilan khusus yang diperlukan untuk
mengambil hard¬to-tempat anak-anak atau tidak tepat sama sekali untuk anak-anak tersebut.
Dengan demikian, indikator terus bergerak ke atas tetapi penempatan yang sebenarnya dari anak-
anak di populasi target tidak benar-benar membaik. Dalam pendidikan, ini disebut "mengajar
untuk tes." Baik indikator hasil, sebaliknya, harus "tes untuk mengajar." Pekerja menanggapi
dengan penuh semangat merekrut dan perizinan rumah baru bahkan ketika orang tua asuh
kekurangan keterampilan khusus yang diperlukan untuk mengambil hard¬to-tempat anak-anak
atau tidak tepat sama sekali untuk anak-anak tersebut. Dengan demikian, indikator terus bergerak
ke atas tetapi penempatan yang sebenarnya dari anak-anak di populasi target tidak benar-benar
membaik. Dalam pendidikan, ini disebut "mengajar untuk tes." Baik indikator hasil, sebaliknya,
harus "tes untuk mengajar." Pekerja menanggapi dengan penuh semangat merekrut dan perizinan
rumah baru bahkan ketika orang tua asuh kekurangan keterampilan khusus yang diperlukan
untuk mengambil hard¬to-tempat anak-anak atau tidak tepat sama sekali untuk anak-anak
tersebut. Dengan demikian, indikator terus bergerak ke atas tetapi penempatan yang sebenarnya
dari anak-anak di populasi target tidak benar-benar membaik. Dalam pendidikan, ini disebut
"mengajar untuk tes." Baik indikator hasil, sebaliknya, harus "tes untuk mengajar."
 Masalah yang terkait adalah "dpt disuap indikator." Hal ini mengacu pada kecenderungan
alami bagi mereka yang kinerjanya sedang dievaluasi untuk fudge dan pad indikator bila
memungkinkan untuk membuat kinerja mereka terlihat lebih baik daripada itu. Dalam program
yang tingkat kerja pasca-program yang antara peserta adalah indikator hasil utama, misalnya,
mempertimbangkan tekanan pada staf program yang menelepon peserta enam bulan setelah
menyelesaikan program ini untuk memastikan status pekerjaan mereka. Bahkan dengan upaya
yang wajar di kejujuran, kasus ambigu akan jauh lebih mungkin untuk dicatat sebagai pekerjaan
daripada tidak. Hal ini biasanya terbaik untuk informasi tersebut dikumpulkan oleh orang-orang
yang independen dari program jika mungkin. Jika dikumpulkan internal untuk program ini,
daerah lain yang potensial masalah berkaitan dengan interpretasi hasil pada indikator
hasil. Mengingat berbagai faktor selain kinerja program yang dapat mempengaruhi indikator
tersebut, interpretasi terbuat dari konteks bisa sangat menyesatkan dan, bahkan dengan konteks
yang tepat, bisa sulit. Untuk memberikan konteks cocok untuk interpretasi, indikator hasil
umumnya harus disertai dengan informasi lain yang memberikan dasar yang relevan untuk
perbandingan atau membantu menjelaskan hasil berpotensi anomali pada indikator. indikator
hasil yang lebih informatif, misalnya, jika mereka diperiksa sebagai bagian dari rangkaian waktu
yang menunjukkan bagaimana situasi saat membandingkan dengan periode-periode sebelumnya.
Hal ini juga berhubungan dengan memiliki informasi tentang perubahan dalam campuran klien,
tren demografi, dan sejenisnya sebagai bagian dari paket. Penurunan tingkat penempatan kerja,
sebagai salah satu contoh, lebih tepat diartikan sebagai indikator kinerja program jika disertai
dengan ringkasan menunjukkan keseriusan masalah pengangguran dari peserta program.
Mungkin tidak refleksi kinerja program jika tingkat penempatan menurun selama itu jelas bahwa
program ini bekerja dengan klien yang memiliki keterampilan kerja yang lebih sedikit dan
sejarah pengangguran lagi.
Demikian pula, informasi hasil sering lebih mudah diinterpretasikan jika disertai dengan
program dan proses informasi pemanfaatan layanan. Tingkat penempatan kerja yang
menguntungkan untuk klien menyelesaikan pelatihan mungkin, namun, menjadi masalah untuk
perhatian jika, pada saat yang sama, monitoring pemanfaatan layanan menunjukkan bahwa
tingkat pelatihan selesai telah turun ke tingkat yang sangat rendah. Tingkat penempatan yang
menguntungkan mungkin hanya mencerminkan putus sekolah dari semua klien dengan masalah
serius, hanya menyisakan "krim dari tanaman" untuk program ke tempat lain. Proses dan
informasi pemanfaatan menggabungkan ke dalam interpretasi indikator hasil sangat penting saat
unit yang berbeda, situs, atau program yang sedang dibandingkan.
Hasil dari berbagai pertimbangan adalah bahwa menunjukkan lemah pada indikator hasil
biasanya tidak secara cukup untuk menyimpulkan bahwa kinerja program miskin. Sebaliknya, itu
harus menjadi sinyal bahwa penyelidikan lebih lanjut diperlukan untuk menentukan mengapa
indikator hasil rendah. Dengan cara ini, monitoring hasil bukan merupakan pengganti untuk
evaluasi dampak tetapi penilaian hasil awal yang mampu memberikan umpan balik informatif
untuk pengambil keputusan Program, memegang program jawab untuk menunjukkan hasil, dan
menyoroti di mana pendekatan evaluasi yang lebih menyelidik diperlukan untuk berkontribusi
paling untuk program perbaikan.