Menurut
pengertian bahasa kata evaluasi berasal dari bahasa Inggris evaluation yang
berarti penilaian atau penaksiran (John M. Echols dan Hasan Shadily: 1983).
Menurut Stufflebeam, dkk (1971) mendefinisikan evaluasi sebagai the process of
delineating, obtaining, and providing useful information for judging decision
alternatives," Artinya evaluasi merupakan proses menggambarkan,
memperoleh, dan menyajikan informasi yang berguna untuk merumuskan suatu
alternatif keputusan.
Sedangkan,
Rooijackers Ad mendefinisikan evaluasi sebagai "setiap usaha atau proses
dalam menentukan nilai". Secara khusus evaluasi atau penilaian juga
diartikan sebagai proses pemberian nilai berdasarkan data kuantitatif hasil
pengukuran untuk keperluan pengambilan keputusan. Dan menurut Anne Anastasi
(1978) mengartikan evaluasi sebagai "a systematic process of determining
the extent to which instructional objective are achieved by pupils".
Evaluasi bukan sekadar menilai suatu aktivitas secara spontan dan insidental,
melainkan merupakan kegiatan untuk menilai sesuatu secara terencana,
sistematik, dan terarah berdasarkan tuiuan yang jelas.
Evaluasi
berkaitan erat dengan pengukuran dan penilaian yang pada umumnya diartikan
tidak berbeda (indifferent), walaupun pada hakekatnya berbeda satu dengan yang
lain. Pengukuran (measurement) adalah proses membandingkan sesuatu melalui
suatu kriteria baku (meter, kilogram, takaran dan sebagainya), pengukuran
bersifat kuantitatif. Penilaian adalah suatu proses transformasi dari hasil
pengukuran menjadi suatu nilai. Evaluasi
meliputi
kedua langkah di atas yakni mengukur dan menilai yang digunakan dalam rangka
pengambilan keputusan.
Evaluasi
pendidikan memberikan manfaat baik bagi siswa/peserta pendidikan, pengajar
maupun manajemen. Dengan adanya evaluasi, peserta didik dapat mengetahui sejauh
mana keberhasilan yang telah digapai selama mengikuti pendidikan. Pada kondisi
dimana siswa mendapatkan nilai yang mernuaskan maka akan memberikan dampak
berupa suatu stimulus, motivator agar siswa dapat lebih meningkatkan prestasi.
Pada kondisi dimana hasil yang dicapai tidlak mernuaskan maka siswa akan
berusaha memperbaiki kegiatan belajar, namun demikian sangat diperlukan
pemberian stimulus positif dari guru/pengajar agar siswa tidak putus asa. Dari
sisi pendidik, hasil evaluasi dapat digunakan sebagai umpan balik untuk
menetapkan upaya upaya meningkatkan kualitas pendidikan.
RUANG
LINGKUP
Evaluasi
pendidikan mencakup dua sasaran pokok, yaitu : evaluasi makro (program) dan
evaluasi mikro (kelas). Secara umum, evaluasi terbagi dalam tiga tahapan sesuai
proses belajar mengajar yakni dimulai dari evaluasi input, evaluasi proses dan
evaluasi output.
Setiap jenis
evaluasi memiliki fungsi yang berbeda satu dengan yang lain. Evaluasi input
mencakup fungsi kesiapan penempatan dan seleksi. Evaluasi proses mencakup
formatif, diagnostik dan monitoring, sedangkan evaluasi output mencakup
sumatif.
Fungsi
kesiapan penempatan dan seleksi adalah penilaian yang ditujukan untuk
mengetahui ketrampilan prasyarat yang diperlukan bagi suatu program belajar dan
penguasaan belajar seperti yang diprogramkan sebelum memulai kegiatan belajar
untuk program tersebut. Fungsi seleksi yaitu penilaian yang bertujuan untuk
keperluan seleksi, seperti ujian saringan masuk perguruan tinggi tertentu
dengan berdasarkan kriteria tertentu.
Fungsi
formatif yaitu penilaian yang dilaksanakan pada akhir program belajar mengajar
untuk melihat tingkat keberhasilan proses belajar mengajar. Adapun fungsi
diagnostik dan monitoring adalah penilaian yang bertujuan untuk
mengidentifikasi kelemahan kelemahan siswa dan faktor yang menjadi penyebab
serta menetapkan cara untuk mengatasi kesulitan belajar tersebut.
Fungsi
surnatif adalah penilaian yang dilaksanakan pada akhir unit program, dengan
tujuan untuk melihat hasil yang dicapai oleh para siswa. Dengan kata lain
berfungsi untuk mengetahui seberapa jauh suatu proses pendidikan telah mencapai
tujuan yang telah ditentukan.
EVALUASI
PROGRAM
Para ahli
evaluasi telah mengembangkan beberapa jenis evaluasi program. Jenis evaluasi
program tersebut sangat beragarn dan variatif, namun kesemuanya dapaat
ditsimpulkan bahwa pada akhirnya hasil dari evaluasi digunakan sebagai
kepentingan pengambilan keputusan. Berikut ini diuraikan berbagai jenis
evaluasi program yang samappai saat ini masih digunakan, sebagai berikut:
CIPP
(Context Input Process
Product)
CIPP
merupakan salah satu evaluasi program yang dapat dikatakan cukup niemadai.
Model ini telah dikembangkan oleh Daniel L. Stufflebearn dkk (1967) di Ohio
State University. CIPP merupakan akronim, terdid dari : context evaluation,
input evaluation, process evaluation dan product evaluation dan setiap tipe
evaluasi terikat pada perangkat pengambilan keputusan yang menyangkut
perencanaan dan operasi sebuah program.
Evaluasi
Konteks
Meliputi
analisis masalah yang berhubungan dengan lingkungan program yang dilaksanakan,
yang secara khusus berpengaruh pada konteks masalah yang menjadi komponen dalam
piogram. Evaluasi konteks menjelaskan atau
menggambarkan
secara jelas tentang tujuan program yang akan dicapai. Secara singkat dapat
dikatakan evaluasi konteks; merupakan evaluasi terhadap kebutuhan, yaitu
memperkecil kesenjangan antara kondisi aktual dengan kondisi yang diharapkan.
Dapat
disimpulkan bahwa evaluasi
konteks adalah evaluasi terhadap kebutuhan, tujuan pernenuhan dan karakteristik
individu yang menangani. Seorang evaluator harus sanggup menentukan prioritas
kebutuhan dan memilih tujuan yang paling menunjang kesuksesan program. Menurut
Gilbert Sax, evaluasi konteks merupakan pengambaran dan spesifikasi tentang
lingkungan program. Evaluasi konteks terutama berhubungan dengan intervensi
yang dilakukan dalam program.
Untuk
memudahkan memahami evaluasi konteks, evaluator dapat menjawab pertanyaan
pertanyaan sebagai berikut :
1) Kebutuhan kebutuhan apa saja yang belum terpenuhi oleh kegiatan
program ?
2) Tujuan program apa saja yang menjadi prioritas pencapaiannya ?
3) Tujuan pengembangan manakah yang berhubungan dengan pemenuhan
kebutuhan ?
4) Tujuan tujuan manakah yang paling mudah dilaksanakan ?
5) Tujuan tujuan program manakah yang benar benar sangat diinginkan
masyarakat ?
Dalam
menjawab pertanyaan pertanyaan tersebut, stufflebleam memberikan saran sebagai
berikut, misalnya dalam menentukan kebutuhan yang belum terpenuhi dengan
meninjau kembali tujuan program kemudian menilai pelaksanaan program. Dan kedua
hal ini diketahui kesenjangannya. Hal itulah yang menjadi kebutuhan yang belum
terpenuhi.
Evaluasi
Masukan
Meliputi
pertimbangan tentang sumber dan strategi yang akan digunakan dalam upaya
mencapai suatu program. Informasi informasi yang terkumpul selama tahap
evaluasi hendaknya dapat digunakan oleh pengambil keputusan untuk menentukan
sumber dan strategi analisis masalah yang berhubungan dengan lingkungan program
yang di dalam keterbatasan dan hambatan yang ada.
Penilai
masukan boleh rnempertimbangkan sumber tertentu apabila sumber-sumber tersebut
terlalu mahal untuk dibeli atau tidak tersedia, dan pada pihak lain terdapat
alternatif yang dapat digunakan untuk mencapai tujuan program. Demikian juga
berkaitan dengan tenaga tenaga yang dapat melaksanakan program dapat
diperhitungkan sebagai sumber masukan.
Evaluasi
masukan membutuhkan evaluator yang memiliki pengetahuan luas dan berbagai
ketrampilan tentang berbagai kemungkinan sumber dan strategi yang akan
digunakan mencapai tujuan program. Pengetahuan tersebut bukan hanya tentang
evaluasi saja tetapi juga dalam efektifitas program dan pengetahuan subtansi
program itu sendiri dan berbagai bentuk dalam pengeluaran program yang akan
dicapai.
Menurut
Stufflebean evaluasi masukan dilakukan untuk menjawab pertanyaan-pertanyaan
sebagai berikut :
1) Apakah strategi yang digunakan oleh program sudah sesuai dengan
pencapaian tujuan?
2) Apakah sumber sumber termasuk (SDM) yang ada sudah sesuai dengan
beban program yang akan dijalankan?
3) Apakah strategi yang diambil ini merupakan strategi yang benar
benar sudah disepakati bersama oleh pengelola program?
4) Strategi yang manakah yang sudah ada sebelumnya dan sudah cocok
untuk pencapaian tujuan yang lalu?
5) Sumber sumber daya manakah yang benar benar mempunyai kontribusi
yang paling dominan?
6) Prosedur dan jadwal khusus manakah yang digunakan untuk melaksanakan
strategi tersebut?
7) Apakah yang dapat dikatakan sebagai ciri khusus dari kegiatan
yang dilaksanakan di dalam program dan apa pula akibat yang ditimbulkannya.
8) Bagaimanakah urutan prioritas sumber daya dan strategi yang
paling mempunyai kontribusi terhadap pencapaian program?
Evaluasi
Proses
Meliputi
evaluasi yang telah ditentukan (dirancang) dan diterapkan di dalam pratek
(proses). Seorang penilai proses mungkin disebut sebagai pemonitor sistern
pengumpulan data dari pelaksanaan program sehari hari. Misalnya saja evaluator
harus mencatat secara detail apa saja yang terjadi dalam pelaksanaan program.
Pemonitor harus mempunyai catatan harian dan perkembangan setiap langkah dalarn
pelaksanaan program. Tanpa mengetahui catatan tentang data pelaksanaan program
tidaklah rnungkin pengambil keputusan menentukan tindak lanjut program apabila
waktu berakhir telah tiba. Tugas lain dari penilai proses adalah melihat
catatan kejadian kejadian yang muncul selama program tersebut berlangsung dari
waktu ke waktu. Catatan catatan semacam itu barangkali akan sangat berguna
dalam menentukan kelemahan dan kekuatan atau faktor pendukung serta faktor
penghambat program jika dikaitkan dengan keluaran yang ditemukan.
Suatu
program yang baik (yang pantas untuk dinilai) tentu sudah dirancang mengenai
siapa diberi tanggung jawab dalam kegiatan apa, apa bentuk kegiatannya, dan
kapan kegiatan tersebut sudlah terlaksana. Tujuannya adalah membantu penanggung
jawab pemantau (monitor) agar lebih mudah mengetahui kelemahan kelemahan
program dari berbagai aspek untuk kemudian dapat dengan mudah melakukan
remedial atau perbaikan di dalam proses pelaksanaan program.
Stufflebean
mengemukakan pertanyaan pertanyaan sehubungan dengan evaluasi proses ini, yaitu
:
1) Apakah kegiatan program sudah sesuai dengan jadwal yang
ditentukan ?
2) Apakah pelaksana sudah melakukan tugasnya sesuai dengan job-nya ?
3) Komponen apa saja yang belum sesuai dengan rancangan yang telah
dibuat ?
4) Target komponen apa saja yang kiranya sulit dicapai dalam
pelaksanaan program ? mengapa ? dan bagaimana solusinya ?
5) Perlukah para staf pelaksana diberi orientasi kembali mengenai
mekanisme kegiatan program ?
6) Apakah fasilitas yang telah disediakan oleh pengelola telah
sesuai dengan kegunaan fungsinya ? kalau tidak mengapa ?
7) Apakah fasilitas dan bahan penunjang lain telah digunakan secara
tepat ?
8) Hambatan hambatan penting apakah yang dijumpai selama pelaksanaan
program berlangsung dan perlu diatasi ?
Untuk
membantu menjawab pertanyaan pertanyaan tersebut, Stufflebeam mengajukan saran
kepada penanggung jawab program agar setiap kali diadakan diskusi yang diikuti
oleh para staf pelaksana agar para staf tersebut selalu sadar akan mekanisme
program. Disamping itu hambatan hambatan yang timbul selama dalam proses,
segera dapat diidentifikasi, dan sambil jalan dapat diatasi dan diperbaiki.
Evaluasi
Hasil
Adalah
evaluasi yang dilakukan oleh penilai di dalam mengukur keberhasilan pencapaian
tujuan tersebut dikembangkan dan diadministrasikan. Data yang dihasilkan akan
sangat berguna bagi pengambil keputusan dalam menentukan apakah program
diteruskan dimodifikasi atau dihentikan.
Pengembangan
jenis evaluasi program model CIPP telah menekankan kerjasama dan keakraban
antara tim penilai, pengelola dengan pengambil keputusan tentang program.
Setiap bentuk evaluasi yang dijelaskan di atas telah menekankan tiga tugas
pokok yang dilakukan yaitu :
1) Membeberkan semua jenis informasi yang diperlukan oleh pengambil
keputusan.
2) Memperoleh informasi.
3) Mensintesakan informasi informasi sedemikian rupa sehingga secara
maksimal dapat dimanfaatkan oleh para pengambil keputusan.
Evaluasi
hasil merupakan tahap terakhir di dalam jenis CIPP yang dikembangkan oleh
Stufflebeam. Fungsinya adalah membantu penanggung jawab program dalam mengambil
keputusan : meneruskan, memodifikasi atau menghentikan program. Evaluasi hasil
mernerlukan perbandingan antara tujuan yang ditetapkan dalarn rancangan dengan
hasil program dicapai. Hasil yang dinilai dapat berupa skor tes, data observasi,
diagram data, sosiometri dan lain sebagainya, yang masing masing dapat
ditelusuri kaitannya dengan tujuan tujuan yang lebih rinci. Kita dapat
memperbandingkan pencapaian tujuan dengan hasil yang dicapai rnelalui
presentase tiap tiap komponen program. Kemudian membuat analisis kualitatif
mengapa sekian persen dicapai dan mengapa hal itu terjadi.
Stufflebeam
telah menyarankan beberapa pertanyaan berkenaan dengan evaluasi hasil, sebagai
berikut:
1) Tujuan tujuan manakah yang sudah dicapai ?
2) Pertanyaan pertanyaan seperti apakah yang dapat dibuat yang
menunjukkan hubungan antara spesifilkasi prosedur dengan hasil nyata dari
kegiatan program?
3) Kebutuhan individu manakah yang telah terpenuhi sebagai akibat
dari kegiatan program ?
4) Hasil jangka panjang yang nampak sebagai akibat dan kegiatan
program ?
Apabila
tujuan yang ditetapkan program telah tercapai maka ukurannya tergantung dari
kriteria yang telah ditetapkan. Ada kriteria (tolak ukur) yang menggunakan 100%
sebagai standar, ada pula yang hanya 80%. Hal itu tergantung dari kepentingan
setiap aspek yang diukur misalnya kesulitan pencapaian, kesederhanaan aspek
bagi program dan sebagainya.
Eksperimen
tentang perlakuan ada kalanya dinilai dengan membandingkan keberhasilannya
melalui dua program atau lebih. Berhasil tidaknya variabel eksperimen dilihat
pada akhir pemberian eksperimen tersebut. Efektifitas perlakuan yang diterapkan
pada satu program dapat dilihat dengan cara membandingkan rerata (mean) skor
akhir kedua program yang satu merupakan kelompok eksperimen dengan yang bukan.
Tidak jarang terjadi bahwa pimpinan yang berstatus sebagai pengambil keputusan,
tidak begitu memaharni tentang strategi eksperimen. Dalam hal seperti ini
mereka disarankan bertanya kepada ahli yang rnemahami atau pada para pakar di
perguruan tinggi.
Walaupun
hasil eksperimen menunjukkan adanya perbedaan antara kedua kelompok (yang
dikenal eksperimen dan yang bukan) namun pengambil keputusan tidak dapat begitu
cepat mernutuskan untuk meneruskan, memodifikasi atau menghentikan perlakuan
tersebut. Faktor faktor fain yang harus diikutsertakan sebagai bahan
pertimbangan misainya biaya yang harus dipikul oleh individu atau masyarakat.
Kemanfaatan (benefit) program yang nampaknya baru dapat dilihat atau dinikmati
setelah jangka waktu lama. Perlu dipertimbangkan pengambilan kaputusannya dalam
jangka waktu yang relatif lama pula.
Model
Kesenjangan (Discrepancy)
Evaluasi
kesenjangan program, begitu orang menyebutnya. Kesenjangan program adalah
sebagai suatu keadaan antara yang diharapkan dalam rencana dengan yang
dihasilkan dalam pelaksanaan program. Evaluasi kesenjangan dimaksudkan untuk
mengetahui tingkat kesesuaian antara standard yang sudah ditentukan dalam
program dengan penampilan aktual dari program tersebut.
Standar
adalah: kriteria yang telah dikembangkan dan ditetapkan dengan hasil yang
efektif. Penampilan adalah: sumber, prosedur, manajemen dan hasil nyata yang
tampak ketika program dilaksanakan.
Langkah
Langkah dalam Evaluasi Kesenjangan
Langkah
langkah atau tahap tahap yang dilalui dalam mengevaluasi kesenjangan adalah
sebagai berikut:
1. Pertama : Tahap Penyusunan Desain.
Dalam tahap ini dilakukan kegiatan
a. Merumuskan
tujuan program
b. Menyiapkan
murid, staf dan kelengkapan lain
c. Merumuskan
standar dalam bentuk rumusan yang menunjuk pada suatu yang dapat diukur, biasa di dalam langkah ini
evaluator berkonsultasi dengan pengembangan program.
Contoh rumusan standar:
"Keberhasilan
Program KPSM yang distandarkan adalah 70 % Warga Belajar meningkat
pendapatannya dan ketrampilannya.
2. Kedua : Tahap Penetapan Kelengkapan Program Yaitu melihat apakah
kelengkapan yang tersedia sudah sesuai dengan yang diperlukan atau belum. Dalam
tahap ini dilakukan kegiatan
a. Meninjau
kembali penetapan standar
b. Meninjau
program yang sedang berjalan
c. Meneliti
kesenjangan antara yang direncanakan dengan yang sudah dicapai.
3. Ketiga : Tahap Proses (Process)
Dalam tahap ketiga dari evaluasi
kesenjangan ini adalah mengadakan evaluasi, tujuan tujuan manakah yang sudah
dicapai. Tahap ini juga disebut tahap “mengumpulkan
data dari pelaksanaan program”.
4. Keempat : Tahap Pengukuran Tujuan (Product)
Yakni tahap mengadakan analisis data dan
menetapkan tingkat output yang diperoleh. Pertanyaan yang diajukan dalam tahap
ini adalah .apakah program sudah mencapai tujuan terminalnya?"
5. Kelima : Tahap Pembandingan (Programe
Comparison)
Yaitu tahap membandingkan hasil yang
telah dicapai dengan tujuan yang telah ditetapkan. Dalam tahap ini evaluator
menuliskan semua penemuan kesenjangan untuk disajikan kepada para pengambil
keputusan, agar mereka (ia) dapat memutuskan kelanjutan dari program tersebut.
Kemungkinannya adalah a. Menghentikan program b. Mengganti atau
merevisi c. Meneruskan d, Memodifikasi tujuannya
(?)
Kunci
dari evaluasi discrepancy adalah dalam hal membandingkan penampilan dengan
tujuan yang telah ditetapkan.
DESAIN
EVALUASI
Sebelum
melakukan desain evaluasi maka terlebih dahulu harus dilakukan fokus evaluasi
yaitu mengkhususkan apa dan bagaimana evaluasi akan dilakukan. Bila evaluasi
sudah terfokus, maka ini berarti proses dan desain dimulai. Ada tiga elernen
dalam proses pemfokusan, yaitu : mempertemukan pengetahuan dan harapan,
mengumpulkan informasi, dan merumuskan rencana evaluasi.
Penyusunan
desain evaluasi program merupakan langkah pertama dan menyangkut aspek
perencanaan. Di dalam tahap perencanaan ini diuraikan garis garis besar
mengenai hal hal lain yang berkaitan dengan kegiatan evaluasi tersebut.
Evaluasi program merupakan pelayanan bantuan kepada pelaksana program untuk
memberikan input bagi pengambilan keputusan tentang kelangsungan program
tersebut. Oleh karena itu, maka pelaksana evaluasi program harus memahami seluk
beluk program yang dinilai.
1. Pengambilan keputusan mengeluarkan kebijakan mengenai pelaksanaan
suatu program.
2. Kepala Sekolah menunjuk evaluator program (dapat dari bagian
dalam pengelola ataupun orang luar dari program) untuk melaksanakan evaluasi
program setelah melaksanakan selama jangka waktu tertentu.
3. Penilai program melaksanakan kegiatan penilaiannya, mengumpulkan
data, menganalisis dan menyusun laporan.
4. Penilai program menyampaikan penernuannya kepada pengelola
program.
Adapun
komponen komponen evaluasi program, sebagai berikut:
1. Tujuan yang ditetapkan oleh pengambil keputusan dan diberitahukan
kepada pelaksana program.
2. Kegiatan semua aktifitas yang dilakukan untuk mencapai tujuan.
Oleh karena itu, kegiatan harus relevan benar dengan tujuan
3. Sarana fasilitas penunjang kegiatan
4. Person pelaksana kegiatan
5. Hasil keluaran sebagai akibat dari kegiatan,
Efektifitas
program ditentukan oleh sejauh mana hasil ini telah mendekati tujuan. Oleh
karena itu, untuk mencapai tujuan tersebut diperlukan seorang evaluator dalam
penyusunan desain evaluasi program. Sebelum evaluator menyusun desain terlebih
dahulu harus mengetahui betul apa tugasnya. Secara garis besar terdapat tiga
hal yang harus ditangani oleh seorang evaluator, yaitu :
1. Keberhasilan pencapaian tujuan:
Hubungan
antara tujuan dengan hasil merupakan hal utama yang harus ditangani oleh
seorang evaluator. Mereka harus memusatkan perhatiannya terhadap keberhasilan
ini. Namun, evaluator tidak boleh terpaku terlalu erat dengan tujuan. Hal ini
disebabkan, ada beberapa program mencanturnkan dengan jelas apa yang ingin
dicapai dengan kegiatannya akan tetapi ada pula yang ticlak merumuskannya sama
sekali. Pada kondisi ini, evaluator harus mencari informasi mengenai tujuan
program tersebut karena ticlak mungkin seorang evaluator bekerja tanpa
mengetahui tujuan apa yang ingin dicapai.
2. Tujuan
program, yang dirumuskan oleh pengembang program.
Tujuan umum
suatu program akan dijadikan titik awal kegiatan evaluator dalam menyusun
desain evaluasi.
3. Proses
yang terjadi dalam program, meliputi kegiatan, sarana penunjang dan personil
pelaksana program.
Dalam hal
ini, kegiatan merupakan aktualisasi yang ditentukan oleh para pengembang
program. Kegiatan menunjukkan pada aktivitas yang diperhitungkan dari prosedur,
teknik dan proses lain yang berkaitan dengan sumber pencapaian tujuan. Banyak
evaluator program hanya terpaku pada hasil pencapaian dan kurang memperhatikan
kegiatan yang menghasilkan pencapaian tujuan tersebut. Sarana biasanya terwujud
pada peralatan,
ruangan, biaya dan hal hal lain yang diperhitungkan antara lain: Apakah sarana
yang digunakan sudah tepat ? Apakah program itu mahal ? Apakah ada biaya yang
belum diperhitungkan ?; sedangkan Person adalah pelaksana program baik yang
tergolong sebagai tenaga edukatif, administratif maupun pengelola.
Langkah
Penyusunan Desain
Sesudah
memahami tentang isi yang terdapat di dalam program yang merupakan objek
evaluasi, maka langkah selanjutnya adalah melakukan penyusunan desain. Adapun
hal hal yang perlu dilaksanakan, antara lain:
1 . Latar
belakang.
2. Problematika (yang akan dicari jawabannya).
3. Tujuan evaluasi.
4. Populasi
dan sampel
5. Instrumen
dan sumber data
6.Teknik
analisis data.
Langkah
Penyusunan Instrumen
Adapun langkah langkah yang harus
dilalui dalam menyusun instrumen, adalah :
1. Merurnuskan tujuan yang akan dicapai dengan instrumen yang akan
disusun. Bagi para peneliti pemula, merumuskan tujuan seperti ini tidak lazim.
Padahal sebenarnya langkah ini sangat perlu. Ticlak mungkin kiranya, atau
apabila mungkin akan sukar sekali dilakukan, menyusun instrumen tanpa tahu
untuk apa data terkumpul, apa yang harus dilakukan sesudah itu, apa fungsi
setiap jawab dalam setiap butir bagi jawaban problematika dan sebagainya.
2. Membuat kisi kisi yang mencanangkan tentang perincian variabel
dan jenis instrumen yang akan digunakan untuk mengukur bagian variabel yang
bersangkutan.
3. Membuat butir butir instrumen.
Sesudah memiliki kisi kisi seperti contoh
di atas, langkah penilai berikutnya adalah membuat butir butir instrumen.
Menyusun
instrumen bukanlah pekerjaan yang mudah. Bagi peneliti pemula atau orang yang
kurang tertarik pada pekerjaan evaluasi, tugas menyusun instrumen merupakan
pekerjaan yang membutuhkan ketelitian dan kesabaran yang tinggi.
Kriteria
Evaluator
Untuk
memperoleh hasil evaluasi yang akurat, maka diperlukan kriteria keberhasilan
dan kriteria tertentu terutama bagi evaluator program, di bawah ini diuraikan
kriteria tersebut
Memahami
mated
Memahami
mated yaitu memahami tentang seluk beluk program yang dievaluasi, antara lain :
1 . Tujuan
program yang telah ditentukan sebelum dimulai kegiatan
2. Komponen
komponen program
3. Variabel
yang akan diujicobakan atau dilaksanakan
4. Jangka
waktu dan penjadualan kegiatan
5. Mekanisme
pelaksanaan program
6.
Pelaksanaan program
7. Sistem
monitoring kegiatan program
Kriteria
keberhasilan yang ditetapkan adalah dilihat dari mated, maka Evaluator membuat
format pencapaian materi program yang direncanakan
dibandingkan
dengan yang telah digapai berdasarkan penjabaran point 1 sampai dengan 7.
Menguasai
Teknik
Menguasai
teknik yaitu menguasai cara cara atau teknik yang digunakan di dalarn
melaksanakan evaluasi program. Karena kegiatan evaluasi program mengenai
sejumlah evaluasi, maka evaluator program dituntut agar menguasai metodologi
evaluasi, yang meliputi
1. Cara
membuat perencanaan evaluasi
2. Teknik
menentukan populasi dan sampel
3. Teknik
menyusun instrumen
4. Prosedur
dan teknik pengumpulan data
5.
Penguasaan teknik pengolahan data
6. Cara
menyusun laporan evaluasi
Untuk
metodologi yang terakhir ini evaluator program harus menguasai sesuatu yang
lebih dibandingkan dengan peneliti karena apa yang disampaikan akan sangat
menentukan kebijaksanaan yang terkadang memiliki resiko lebih besar.
Kriteria
keberhasilannya adalah seorang evaluator harus dapat membuat point 1 sampai
dengan 6 secara opersional.
Objektif dan
Cermat
Tim
evaluator adalah sekelompok orang yang mengemban tugas mengevaluasi program
serta ditopang oleh data yang dikumpulkan secara cermat dan objektif. Atas
dasar tersebut mereka diharapkan, mengklasifikasikan, mentabulasikan, mengolah
dan sebagainya secara cermat dan objektif pula. Khususnya di dalam menentukan
pengambilan strategi penyusunan laporan, evaluator tidak boleh memandang satu
atau dua aspek sebagai hal yang istimewa dan tidak boleh pula memihak. Kriteria
keberhasilan yang dipakai adalah apabila hasil penilaian dari evaluator dapat
menunjukkan hasil yang objektif dengan alasan rasional dan didukung oleh data
data yang akurat.
Jujur dan
Dapat Dipercaya
Evaluator
adalah orang yang dipercaya oleh pengelola dan pengambil keputusan, oleh karena
itu mereka harus jujur dan dapat dipercaya. Mereka harus dapat memberikan
penilaian yang jujur, tidak membuat baik dan jelek, menyajikan data apa adanya.
Dengan demikian pengelola dan pengambil keputusan tidalk salah membuat
treatment akan programnya.
Terdapat
beberapa hal yang harus diperhatikan oleh seorang evaluator agar dapat
melaksanakan tugas dan tanggung jawabnya secara tepat, yaitu :
1. Evaluator hendaknya merupakan evaluator yang otonom artinya orang
luar yang sama sekali tidak ada ikatan dengan pengambilan kebijaksanaan maupun
pengelola dan pelaksanaan program.
2. Ada hubungan baik dengan responden dalam arti dapat memahami
sedalam dalamnya watak, kebiasaan dan cara hidup klien yang akan dijadikan
sumber data evaluasi.
3. Tanggap akan masalah politik dan sosial karena tujuan evaluasi
adalah pengembangan program.
4. Evaluator berkualitas tinggi, dalarn arti jauh dari biasa.
Evaluator adalah orang yang mempunyai self concept yang tinggi, tidak mudah
terombang-ambing.
5. Menguasai teknik untuk membuat desain dan metodologi penelitian
yang tepat untuk program yang dievaluasi.
6. Bersikap terbuka terhadap kritik. Untuk mengurangi dan menahan
diri dari bias, maka evaluator memberi peluang kepada orang luar untuk melihat
apa yang sedang dan telah dilakukan
7. Menyadari kekurangan dan keterbatasannya serta bersikap jujur,
menyampaikan (menerangkan) kelemahan dan keterbatasan tentang evaluasi yang
dilakukan.
8. Bersikap pasrah kepada umum mengenai penemuan positif dan
negatif. Evaluator harus berpandangan luas dan bersikap tenang apabila
menemukan data yang tidak mendukung program dan berpendapat bahwa penemuan negatif
sama pentingnya dengan penemuan positif.
9. Bersedia menyebarluaskan hasil evaluasi. Untuk program kegiatain
yang penting dan menentukan, hasil evaluasi hanya pantas dilaporkan kepada
pengambil keputusan dalam sidang tertutup atau pertemuan khusus. Namun untuk
program yang biasa dan dipandang bahwa masyarakat dapat menarik manfaat dari
evailuasinya, sebaiknya hasil evaluasi disebarluaskan, khususnya bagi pihak
pihak yang membutuhkan.
10. Tidak mudah membuat kontrak. Evaluasi yang tidak memenuhi persyaratan
persyaratan yang telah disebutkan sebaiknya tidak dengan mudah menyanggupi
menerima tugas karena secara etis dan moral akan merupakan sesuatu yang kurang
dapat dibenarkan.
CONTOH
DESAIN EVALUASI
Latar
belakang :
Dari
pengamatan beberapa tahun diketahui bahwa program program peningkatan
pendapatan dan ketrampilan ternyata kurang berhasil dari yang diharapkan. Dit.
Diktentis sebagai lembaga yang menangani pembinaan teknis edukatif ingin
mencoba program baru EMPE di SKB. Pedoman disusun oleh tim Dit. Diktentis yang
dikoordinasikan oleh Direktur Diktentis dan dikirim langsung ke SKB dalam
bentuk jadi, disertai dengan biaya penunjang.
Setelah
program tersebut berlangsung beberapa bulan, Balitbang Dikbud ingin mengetahui
efektifitas modul, untuk menentulkan kebijaksanaan selanjutnya: karena
dipikirkan kelangsungan dan penyebarannya untuk sekolah sekolah lain.
Problematika
:
Sebagai
problematika umum yang akan dicari jawabannya adalah "apakah program EMPE
dapat meningkatkan ketrampilan dan pendapatan anggotanya dalarn kurun waktu
tertentu ? untuk mempermudah mencari jawaban, maka dirinci sebagai berikut:
1. Aspek
Warga Belajar, antara lain
a. Apakah warga belajar aktif dalam
kegiatan EMPE ?
b, Apakah tiap warga belajar mempunyai
peran aktif ?
2. Aspek
kegiatan EMPE, antara lain :
a. Apakah kegiatan EMPE berjalan sesuai
rencana ?
b. Apakah fasilitator dan pengelola aktif
dalam kegiatan EMPE ?
c. Apakah kegiatan EMPE dapat dilaksanakan
secara lancar ? Bila tidak apa
sebabnya ?
d.
Bagaimanakah kegiatan pemasaran hasil EMPE ?
e. Bagaimanakah manajemen EMPE ?
f. Hambatan apa dalam kegiatan EMPE ?
3. Aspek
sarana, antara lain :
a. Sesuaikah dan kurangkah sarana/alat yang
disediakan untuk keperluan kegiatan
EMPE ?
b. Apakah warga belajar tidak mengalami
kesulitan dalam menggunakan sarana / alat
tersebut ?
4. Aspek
Fasilitator dan pengelola, antara lain
a. Apakah fasilitator dan pengelola, tidak
mengalami kesulitan dalam membina dan
mengelola EMPE ?
b. Bagaimana hubungan antara Fasilitator
dan Pengelola dengan warga belajar
dalam kegiatan EMPE ?
5. Aspek
Hasil Belajar, antara lain :
a. Secara keseluruhan apakah kegiatan EMPE
dapat meningkatkan ketrampilan dan
pendapatan warga belajar ?
b. Kalau dapat berapa prosen kenaikan
tersebut ? dan kalau tidak apa sebabnya ?
berapa prosen ketidakmeningkatan
tersebut ?
6. Aspek
Tujuan Evaluasi :
Tujuan umum:
tujuan evaluasi program adalah mengumpulkan informasi mengenai efektifitas
pelaksanaan kegiatan EMPE.
Tujuan
khusus : dari tujuan umum tersebut dapat dirinci atas tujuan-tujuan khusus
sebagai berikut :
a) Untuk mengetahui tanggapan warga belajar, pengelola, tutor,
fasilitator dan penanggung jawab program terhadap kegiatan EMPE.
b) Untuk mengetahui hal hal yang berhubungan dengan kegiatan EMPE.
c) Untuk mengetahui ketepatan sarana dalam menunjang pelaksanaan
kegiatan EMPE.
d) Untuk mengetahui kesulitan yang dihadapi pengelola, fasilitator,
penanggung jawab dan orang yang terlibat dalam kegiatan EMPE.
e) Untuk mengetahui prosentase peningkatan ketrampilan dan pendapat
warga belajar.
7. Populasi
dan sampel
Evaluasi
dilakukan pada SKB yang dilaksanakan EMPE. SKB yang akan dijadikan tempat
evaluasi dilakukan terhadap populasi maupun sampel, menurut variabel yang
dinilai.
8. Instrumen
dan sumber data :
Khusus
evalusi program ini cukup banyak dan komprehensif, oleh karena itu instrumen
untuk rnengumpulkan data perlu bervariasi.
a. Untuk rnengetahui tanggapan warga belajar tentang kegiatan EMPE
dengan modul digunakan wawancara dan pengamatan dengan sumber data para warga
belajar yang aktif dalam kelompok.
b. Untuk mengetahui hal hal yang berhubungan dengan kegiatan
pengelola digunakan :
1. Pengamatan di dalam kelompok dengan sumber data kegiatan langsung
dari aktifitas yang diamati.
2. Wawancara dengan sumber data yaitu : pengelola, tutor dan orang
orang yang terlibat aktif.
3. Dokumentasi tentang pelaksanaan kegiatan EMPE dengan sumber data
buku pengelolaan, buku kerja, buku
laporan tugas, dan catatan catatan lain (paper).
4. Angket tentang pengelolaan sarana / alat kepada pengelola.
5. Untuk mengetahui ketetapan sarana yang digunakan dalam kegiatan,
data dikumpulkan melalui pengamatan, wawancara, dan dokumentasi, sumber data
dapat laboratorium, kegiatan praktikum warga belajar dan pengelola.
6. Untuk mengetahui kesulitan yang dihadapi dalam pelaksanaan sistem
EMPE data dikumpulkan melalui wawancara dengan fasilitator, warga belajar
pengelola dan tanggung jawab.
7. Untuk mengetahui peningkatan ketrampilan dan pendapatan warga
belajar, datanya dikumpulkan melalui : dokumentasi pembukuan, pengamatan
terhadap kegiatan warga belajar, wawancara kepada warga belajar mengenai
hasilnya. Sedangkan untuk mengetahui pengelolaan sistem EMPE, datanya
dikumpulkan melalui wawancara dengan para pengelola kelompok.
9. Teknik
analisis data
Teknik yang
digunakan untuk menganafisis data disesuaikan dengan bentuk problematika dan
jenis data.
a.
Problematika yang mengandung variabel tunggal, dianalisis secara diskriptif
kualitatif.
b.
Problematika komparasi atau korelasi dijawab dengan jawaban dari data yang
diolah
dengan teknik statistik korelasi, t-test,
ANAVA.
BENEFIT
MONITORING AND EVALUATION (BME)
Sistem
Evaluasi dan Monitoring Benefit atau biasa disebut sebagai Benefit Monitoring
and Evaluation (BME) adalah kegiatan monitoring dan evaluasi terhadap suatu
program atau proyek dalarn rangka mengetahui sejauh mana program atau proyek
tersebut memberikan manfaat sesuai dengan tujuan yang telah direncanakan.
Salah satu
pihak yang mempromosikannya adalah ADB (ASIAN DEVELOPMENT BANK). BME
dirnaksudkan untuk menghimpun berbagai informasi berkaitan dengan impact sebuah
proyek dan atau nilai guna (benefit).
Pengertian
tentang benefit ini sendiri sangat beragam, ada yang mengartikannya sebagai
keuntungan/laba/profit (berkaitan dengan uang), adapula yang memberi arti lebih
fieksibel yaitu nilai manibatinilai guna (tidak harus berupa uang), dari sebuah
hasil produksi (barang, jasa, tenaga manusia). Kegunaannya antara lain, untuk
meningkatkan kebijakan tentang efektifitas dari sebuah proses produksi.
Monitoring
dan evaluasi dinilai sebagai himpunan kegiatan penting yang memungkinkan para
pihak (stakeholders) untuk mernperkirakan perkembangan sebuah proyek selarna
kegiatannya termasuk di dalarnnya adalah intervensi intervensi tentang
keberhasilan atau kegagalan. Monitoring meliputi pengurnpulan data selarna
pengernbangan bila intervensi diberlakukan. Adapun evaluasi biasanya terkait
dengan impact yang meliputi lingkungan hidup, misalnya peningkatan akses kepada
sumber daya dan asset untuk kelornpok khusus kaum miskin, perubahan tentang
kerniskinan dan kesejahteraan atau tentang kapasitas tertentu (latihan, skill,
pengetahuan). Evaluasi biasanya dilakukan pada pertengahan proyek berjalan
(melalui intervensi), pada akhir proyek, ataupun setelah proyek dinyatakan
selesai. Evaluasi yang dilakukan dapat berbentuk formative atau summative.
Evaluasi
formative digunakan untuk membantu peserta dalam belajar dari pengalaman dan
perubahan tindakan yang terjadi. Adapun evaluasi summative digunakan untuk
mengembangkan gagasan dari keseluruhan impact yang timbul dalam mencapai
keputusan tertentu.
Evaluasi
yang dilakukan juga dapat dipandang secara subyektif atau obyektif, dapat pula
menggunakan indikator kualitatif atau kuantitatif. Indikator kualitatif
misalnya persepsi tentang inequality, derajat ketidakamanan pangan/food
insecurity, persepsi tentang kekuatan dan kelemahan. Adapun Indikator
kuantitatif misalnya pendapatan, belanja dan tabungan, tingkat produksi
pertanian, stok populasi ternak.
Dengan kata
lain, kegiatan evaluasi dan monitoring benefit terhadap suatu program atau
proyek dilakukan secara komprehensif dan dinamis, mencakup pengkajian berbagai
komponen input, process, output (hasil) dan outcome (dampak) dari program atau
proyek yang dilaksanakan. Dari hasil pengkajian terhadap seluruh kornponen
tersebut diharapkan dapat diketahui seberapa jauh manfaat suatu program atau
proyek, dibandingkan dengan tujuan yang telah direncanakan sebelumnya.
Namun,
terdapat tiga area kesulitan yang menurut Eric Diggest sering terjadi dalam
supervisi dan pengendalian pada pendidikan tinggi, yaitu :
1. Ukuran, pengalaman inventory, chek list, hasil riset yang tak sepadan
dapat melernahkan reliabilitas dan validitas.
2. Trainee bidang konseling bebas untuk mengembangkan kernampuan
konseling tetapi tidak mendapat gelar akadernik.
3. Para supervisor tidak dapat mengartikulasikan sasaran supervisi
yang diinginkan oleh administratur pendidikan tinggi karena kurang menguasai
teori supervisi.
Hal yang
menjadi penyebab di atas, dikarenakan BME itu sendiri terdiri dari tiga
kegiatan yang berbeda, yaitu:
1. Persiapan dan analisis benchmark (baseline) informasi. Benchmark
informasi meliputi info yang bersifat kualitatif dan kuantitatif tentang arti
pentingnya karakter sosial ekonomi individu dan atau kelompok yang terkait
dengan proyek. Informasi ini bermanfaat untuk merancang sebuah proyek agar
sesuai dengan kebutuhan dan kemanfatannya bagi user/customer.
2. Monitoring benefit rneliputi penyampaian pelayanan, kapan dan
bagaimana pelanggan memanfaatkannya, efek segera dari pelayanan yang disediakan
melalui proyek.
3. Tiga Iangkah utama evaluasi benefit meliputi penyiapan TOR (terms
of reference) untuk organisasi evaluasi, seleksi organisasi dan supervisi
selama evaluasi beriangsung.
Dalam bidang
pendidikan, kegiatan benefit monitoring and evaluating telah banyak dilakukan
di Indonesia, terutama terhadap program atau proyek yang selama ini sudah
dilaksanakan seperti proyek pendidikan dasar atau Basic Education Project
(BEP), baik di lingkungan Departemen Pendidikan Nasional untuk tingkat sekolah
dasar dan sekolah menengah, dan di Iingkungan Departemen Agama untuk tingkat
madrasah lbtidaiyah dan Tsanawiyah.
Sebagai
contoh, untuk kegiatan BME BEP di Iingkungan Departemen Agama telah dilakukan
sejak tahun 2000 sampai tahun 2002 untuk mengkaji proyek BEP yang sudah
dijalankan pada madrasah Ibtidaiyah dan Tsanawiyah. Proyek BEP itu sendiri
telah berlangsung mulai tahun 1995/1996 sampai tahun 2001. Melalui kegiatan
BME, dilakukan pengkajian apakah proyek BEP di Departemen Agama tersebut dapat
memberikan manfaat bagi peningkatan mutu pendidikan dasar khususnya di madrasah
Ibtidaiyah dan Tsanawiyah. Pengkajian dalam hal ini mencakup kelancaran
distribusi bantuan yang disampaikan dan manfaat bantuan proyek BEP bagi
sekolah, pembelajar, tenaga pendidik, kepala madrasah, pengelola madrasah,
yayasan, pengelola proyek, lembaga pelatihan, dan masyarakat pada umumnya.