EVALUASI PENDIDIKAN

Menurut pengertian bahasa kata evaluasi berasal dari bahasa Inggris evaluation yang berarti penilaian atau penaksiran (John M. Echols dan Hasan Shadily: 1983). Menurut Stufflebeam, dkk (1971) mendefinisikan evaluasi sebagai the process of delineating, obtaining, and providing useful information for judging decision alternatives," Artinya evaluasi merupakan proses menggambarkan, memperoleh, dan menyajikan informasi yang berguna untuk merumuskan suatu alternatif keputusan.

Sedangkan, Rooijackers Ad mendefinisikan evaluasi sebagai "setiap usaha atau proses dalam menentukan nilai". Secara khusus evaluasi atau penilaian juga diartikan sebagai proses pemberian nilai berdasarkan data kuantitatif hasil pengukuran untuk keperluan pengambilan keputusan. Dan menurut Anne Anastasi (1978) mengartikan evaluasi sebagai "a systematic process of determining the extent to which instructional objective are achieved by pupils". Evaluasi bukan sekadar menilai suatu aktivitas secara spontan dan insidental, melainkan merupakan kegiatan untuk menilai sesuatu secara terencana, sistematik, dan terarah berdasarkan tuiuan yang jelas.

Evaluasi berkaitan erat dengan pengukuran dan penilaian yang pada umumnya diartikan tidak berbeda (indifferent), walaupun pada hakekatnya berbeda satu dengan yang lain. Pengukuran (measurement) adalah proses membandingkan sesuatu melalui suatu kriteria baku (meter, kilogram, takaran dan sebagainya), pengukuran bersifat kuantitatif. Penilaian adalah suatu proses transformasi dari hasil pengukuran menjadi suatu nilai. Evaluasi

meliputi kedua langkah di atas yakni mengukur dan menilai yang digunakan dalam rangka pengambilan keputusan.

Evaluasi pendidikan memberikan manfaat baik bagi siswa/peserta pendidikan, pengajar maupun manajemen. Dengan adanya evaluasi, peserta didik dapat mengetahui sejauh mana keberhasilan yang telah digapai selama mengikuti pendidikan. Pada kondisi dimana siswa mendapatkan nilai yang mernuaskan maka akan memberikan dampak berupa suatu stimulus, motivator agar siswa dapat lebih meningkatkan prestasi. Pada kondisi dimana hasil yang dicapai tidlak mernuaskan maka siswa akan berusaha memperbaiki kegiatan belajar, namun demikian sangat diperlukan pemberian stimulus positif dari guru/pengajar agar siswa tidak putus asa. Dari sisi pendidik, hasil evaluasi dapat digunakan sebagai umpan balik untuk menetapkan upaya upaya meningkatkan kualitas pendidikan.

RUANG LINGKUP

Evaluasi pendidikan mencakup dua sasaran pokok, yaitu : evaluasi makro (program) dan evaluasi mikro (kelas). Secara umum, evaluasi terbagi dalam tiga tahapan sesuai proses belajar mengajar yakni dimulai dari evaluasi input, evaluasi proses dan evaluasi output.

Setiap jenis evaluasi memiliki fungsi yang berbeda satu dengan yang lain. Evaluasi input mencakup fungsi kesiapan penempatan dan seleksi. Evaluasi proses mencakup formatif, diagnostik dan monitoring, sedangkan evaluasi output mencakup sumatif.

Fungsi kesiapan penempatan dan seleksi adalah penilaian yang ditujukan untuk mengetahui ketrampilan prasyarat yang diperlukan bagi suatu program belajar dan penguasaan belajar seperti yang diprogramkan sebelum memulai kegiatan belajar untuk program tersebut. Fungsi seleksi yaitu penilaian yang bertujuan untuk keperluan seleksi, seperti ujian saringan masuk perguruan tinggi tertentu dengan berdasarkan kriteria tertentu.

Fungsi formatif yaitu penilaian yang dilaksanakan pada akhir program belajar mengajar untuk melihat tingkat keberhasilan proses belajar mengajar. Adapun fungsi diagnostik dan monitoring adalah penilaian yang bertujuan untuk mengidentifikasi kelemahan kelemahan siswa dan faktor yang menjadi penyebab serta menetapkan cara untuk mengatasi kesulitan belajar tersebut.

Fungsi surnatif adalah penilaian yang dilaksanakan pada akhir unit program, dengan tujuan untuk melihat hasil yang dicapai oleh para siswa. Dengan kata lain berfungsi untuk mengetahui seberapa jauh suatu proses pendidikan telah mencapai tujuan yang telah ditentukan.

EVALUASI PROGRAM

Para ahli evaluasi telah mengembangkan beberapa jenis evaluasi program. Jenis evaluasi program tersebut sangat beragarn dan variatif, namun kesemuanya dapaat ditsimpulkan bahwa pada akhirnya hasil dari evaluasi digunakan sebagai kepentingan pengambilan keputusan. Berikut ini diuraikan berbagai jenis evaluasi program yang samappai saat ini masih digunakan, sebagai berikut:

CIPP (Context   Input   Process   Product)

CIPP merupakan salah satu evaluasi program yang dapat dikatakan cukup niemadai. Model ini telah dikembangkan oleh Daniel L. Stufflebearn dkk (1967) di Ohio State University. CIPP merupakan akronim, terdid dari : context evaluation, input evaluation, process evaluation dan product evaluation dan setiap tipe evaluasi terikat pada perangkat pengambilan keputusan yang menyangkut perencanaan dan operasi sebuah program.

Evaluasi Konteks

Meliputi analisis masalah yang berhubungan dengan lingkungan program yang dilaksanakan, yang secara khusus berpengaruh pada konteks masalah yang menjadi komponen dalam piogram. Evaluasi konteks menjelaskan atau

menggambarkan secara jelas tentang tujuan program yang akan dicapai. Secara singkat dapat dikatakan evaluasi konteks; merupakan evaluasi terhadap kebutuhan, yaitu memperkecil kesenjangan antara kondisi aktual dengan kondisi yang diharapkan.

Dapat disimpulkan bahwa             evaluasi konteks adalah evaluasi terhadap kebutuhan, tujuan pernenuhan dan karakteristik individu yang menangani. Seorang evaluator harus sanggup menentukan prioritas kebutuhan dan memilih tujuan yang paling menunjang kesuksesan program. Menurut Gilbert Sax, evaluasi konteks merupakan pengambaran dan spesifikasi tentang lingkungan program. Evaluasi konteks terutama berhubungan dengan intervensi yang dilakukan dalam program.

Untuk memudahkan memahami evaluasi konteks, evaluator dapat menjawab pertanyaan pertanyaan sebagai berikut :

1)    Kebutuhan kebutuhan apa saja yang belum terpenuhi oleh kegiatan program ?

2)    Tujuan program apa saja yang menjadi prioritas pencapaiannya ?

3)    Tujuan pengembangan manakah yang berhubungan dengan pemenuhan kebutuhan ?

4)    Tujuan tujuan manakah yang paling mudah dilaksanakan ?

5)    Tujuan tujuan program manakah yang benar benar sangat diinginkan masyarakat ?

Dalam menjawab pertanyaan pertanyaan tersebut, stufflebleam memberikan saran sebagai berikut, misalnya dalam menentukan kebutuhan yang belum terpenuhi dengan meninjau kembali tujuan program kemudian menilai pelaksanaan program. Dan kedua hal ini diketahui kesenjangannya. Hal itulah yang menjadi kebutuhan yang belum terpenuhi.

Evaluasi Masukan

Meliputi pertimbangan tentang sumber dan strategi yang akan digunakan dalam upaya mencapai suatu program. Informasi informasi yang terkumpul selama tahap evaluasi hendaknya dapat digunakan oleh pengambil keputusan untuk menentukan sumber dan strategi analisis masalah yang berhubungan dengan lingkungan program yang di dalam keterbatasan dan hambatan yang ada.

Penilai masukan boleh rnempertimbangkan sumber tertentu apabila sumber-sumber tersebut terlalu mahal untuk dibeli atau tidak tersedia, dan pada pihak lain terdapat alternatif yang dapat digunakan untuk mencapai tujuan program. Demikian juga berkaitan dengan tenaga tenaga yang dapat melaksanakan program dapat diperhitungkan sebagai sumber masukan.

Evaluasi masukan membutuhkan evaluator yang memiliki pengetahuan luas dan berbagai ketrampilan tentang berbagai kemungkinan sumber dan strategi yang akan digunakan mencapai tujuan program. Pengetahuan tersebut bukan hanya tentang evaluasi saja tetapi juga dalam efektifitas program dan pengetahuan subtansi program itu sendiri dan berbagai bentuk dalam pengeluaran program yang akan dicapai.

Menurut Stufflebean evaluasi masukan dilakukan untuk menjawab pertanyaan-pertanyaan sebagai berikut :

1)    Apakah strategi yang digunakan oleh program sudah sesuai dengan pencapaian tujuan?

2)    Apakah sumber sumber termasuk (SDM) yang ada sudah sesuai dengan beban program yang  akan dijalankan?

3)    Apakah strategi yang diambil ini merupakan strategi yang benar benar sudah disepakati bersama oleh pengelola program?

4)    Strategi yang manakah yang sudah ada sebelumnya dan sudah cocok untuk pencapaian tujuan yang lalu?

5)    Sumber sumber daya manakah yang benar benar mempunyai kontribusi yang paling dominan?

6)    Prosedur dan jadwal khusus manakah yang digunakan untuk melaksanakan strategi tersebut?

7)    Apakah yang dapat dikatakan sebagai ciri khusus dari kegiatan yang dilaksanakan di dalam program dan apa pula akibat yang ditimbulkannya.

8)    Bagaimanakah urutan prioritas sumber daya dan strategi yang paling mempunyai kontribusi terhadap pencapaian program?

Evaluasi Proses

Meliputi evaluasi yang telah ditentukan (dirancang) dan diterapkan di dalam pratek (proses). Seorang penilai proses mungkin disebut sebagai pemonitor sistern pengumpulan data dari pelaksanaan program sehari hari. Misalnya saja evaluator harus mencatat secara detail apa saja yang terjadi dalam pelaksanaan program. Pemonitor harus mempunyai catatan harian dan perkembangan setiap langkah dalarn pelaksanaan program. Tanpa mengetahui catatan tentang data pelaksanaan program tidaklah rnungkin pengambil keputusan menentukan tindak lanjut program apabila waktu berakhir telah tiba. Tugas lain dari penilai proses adalah melihat catatan kejadian kejadian yang muncul selama program tersebut berlangsung dari waktu ke waktu. Catatan catatan semacam itu barangkali akan sangat berguna dalam menentukan kelemahan dan kekuatan atau faktor pendukung serta faktor penghambat program jika dikaitkan dengan keluaran yang ditemukan.

Suatu program yang baik (yang pantas untuk dinilai) tentu sudah dirancang mengenai siapa diberi tanggung jawab dalam kegiatan apa, apa bentuk kegiatannya, dan kapan kegiatan tersebut sudlah terlaksana. Tujuannya adalah membantu penanggung jawab pemantau (monitor) agar lebih mudah mengetahui kelemahan kelemahan program dari berbagai aspek untuk kemudian dapat dengan mudah melakukan remedial atau perbaikan di dalam proses pelaksanaan program.

Stufflebean mengemukakan pertanyaan pertanyaan sehubungan dengan evaluasi proses ini, yaitu :

1)    Apakah kegiatan program sudah sesuai dengan jadwal yang ditentukan ?

2)    Apakah pelaksana sudah melakukan tugasnya sesuai dengan job-nya ?

3)    Komponen apa saja yang belum sesuai dengan rancangan yang telah dibuat ?

4)    Target komponen apa saja yang kiranya sulit dicapai dalam pelaksanaan program ? mengapa ? dan bagaimana solusinya ?

5)    Perlukah para staf pelaksana diberi orientasi kembali mengenai mekanisme kegiatan program ?

6)    Apakah fasilitas yang telah disediakan oleh pengelola telah sesuai dengan kegunaan fungsinya ? kalau tidak mengapa ?

7)    Apakah fasilitas dan bahan penunjang lain telah digunakan secara tepat ?

8)    Hambatan hambatan penting apakah yang dijumpai selama pelaksanaan program berlangsung dan perlu diatasi ?

Untuk membantu menjawab pertanyaan pertanyaan tersebut, Stufflebeam mengajukan saran kepada penanggung jawab program agar setiap kali diadakan diskusi yang diikuti oleh para staf pelaksana agar para staf tersebut selalu sadar akan mekanisme program. Disamping itu hambatan hambatan yang timbul selama dalam proses, segera dapat diidentifikasi, dan sambil jalan dapat diatasi dan diperbaiki.

Evaluasi Hasil

Adalah evaluasi yang dilakukan oleh penilai di dalam mengukur keberhasilan pencapaian tujuan tersebut dikembangkan dan diadministrasikan. Data yang dihasilkan akan sangat berguna bagi pengambil keputusan dalam menentukan apakah program diteruskan dimodifikasi atau dihentikan.

Pengembangan jenis evaluasi program model CIPP telah menekankan kerjasama dan keakraban antara tim penilai, pengelola dengan pengambil keputusan tentang program. Setiap bentuk evaluasi yang dijelaskan di atas telah menekankan tiga tugas pokok yang dilakukan yaitu :

1)    Membeberkan semua jenis informasi yang diperlukan oleh pengambil keputusan.

2)    Memperoleh informasi.

3)    Mensintesakan informasi informasi sedemikian rupa sehingga secara maksimal dapat dimanfaatkan oleh para pengambil keputusan.

Evaluasi hasil merupakan tahap terakhir di dalam jenis CIPP yang dikembangkan oleh Stufflebeam. Fungsinya adalah membantu penanggung jawab program dalam mengambil keputusan : meneruskan, memodifikasi atau menghentikan program. Evaluasi hasil mernerlukan perbandingan antara tujuan yang ditetapkan dalarn rancangan dengan hasil program dicapai. Hasil yang dinilai dapat berupa skor tes, data observasi, diagram data, sosiometri dan lain sebagainya, yang masing masing dapat ditelusuri kaitannya dengan tujuan tujuan yang lebih rinci. Kita dapat memperbandingkan pencapaian tujuan dengan hasil yang dicapai rnelalui presentase tiap tiap komponen program. Kemudian membuat analisis kualitatif mengapa sekian persen dicapai dan mengapa hal itu terjadi.

Stufflebeam telah menyarankan beberapa pertanyaan berkenaan dengan evaluasi hasil, sebagai berikut:

1)    Tujuan tujuan manakah yang sudah dicapai ?

2)    Pertanyaan pertanyaan seperti apakah yang dapat dibuat yang menunjukkan hubungan antara spesifilkasi prosedur dengan hasil nyata dari kegiatan program?

3)    Kebutuhan individu manakah yang telah terpenuhi sebagai akibat dari kegiatan program ?

4)    Hasil jangka panjang yang nampak sebagai akibat dan kegiatan program ?

Apabila tujuan yang ditetapkan program telah tercapai maka ukurannya tergantung dari kriteria yang telah ditetapkan. Ada kriteria (tolak ukur) yang menggunakan 100% sebagai standar, ada pula yang hanya 80%. Hal itu tergantung dari kepentingan setiap aspek yang diukur misalnya kesulitan pencapaian, kesederhanaan aspek bagi program dan sebagainya.

Eksperimen tentang perlakuan ada kalanya dinilai dengan membandingkan keberhasilannya melalui dua program atau lebih. Berhasil tidaknya variabel eksperimen dilihat pada akhir pemberian eksperimen tersebut. Efektifitas perlakuan yang diterapkan pada satu program dapat dilihat dengan cara membandingkan rerata (mean) skor akhir kedua program yang satu merupakan kelompok eksperimen dengan yang bukan. Tidak jarang terjadi bahwa pimpinan yang berstatus sebagai pengambil keputusan, tidak begitu memaharni tentang strategi eksperimen. Dalam hal seperti ini mereka disarankan bertanya kepada ahli yang rnemahami atau pada para pakar di perguruan tinggi.

Walaupun hasil eksperimen menunjukkan adanya perbedaan antara kedua kelompok (yang dikenal eksperimen dan yang bukan) namun pengambil keputusan tidak dapat begitu cepat mernutuskan untuk meneruskan, memodifikasi atau menghentikan perlakuan tersebut. Faktor faktor fain yang harus diikutsertakan sebagai bahan pertimbangan misainya biaya yang harus dipikul oleh individu atau masyarakat. Kemanfaatan (benefit) program yang nampaknya baru dapat dilihat atau dinikmati setelah jangka waktu lama. Perlu dipertimbangkan pengambilan kaputusannya dalam jangka waktu yang relatif lama pula.

Model Kesenjangan (Discrepancy)

Evaluasi kesenjangan program, begitu orang menyebutnya. Kesenjangan program adalah sebagai suatu keadaan antara yang diharapkan dalam rencana dengan yang dihasilkan dalam pelaksanaan program. Evaluasi kesenjangan dimaksudkan untuk mengetahui tingkat kesesuaian antara standard yang sudah ditentukan dalam program dengan penampilan aktual dari program tersebut.

Standar adalah: kriteria yang telah dikembangkan dan ditetapkan dengan hasil yang efektif. Penampilan adalah: sumber, prosedur, manajemen dan hasil nyata yang tampak ketika program dilaksanakan.

Langkah Langkah dalam Evaluasi Kesenjangan

Langkah langkah atau tahap tahap yang dilalui dalam mengevaluasi kesenjangan adalah sebagai berikut:

1.    Pertama : Tahap Penyusunan Desain.

      Dalam tahap ini dilakukan kegiatan

      a.      Merumuskan tujuan program

      b.      Menyiapkan murid, staf dan kelengkapan lain

      c.      Merumuskan standar dalam bentuk rumusan yang menunjuk pada suatu yang  dapat diukur, biasa di dalam langkah ini evaluator berkonsultasi dengan pengembangan program.

     

        Contoh rumusan standar:

"Keberhasilan Program KPSM yang distandarkan adalah 70 % Warga Belajar meningkat pendapatannya dan ketrampilannya.

2.    Kedua : Tahap Penetapan Kelengkapan Program Yaitu melihat apakah kelengkapan yang tersedia sudah sesuai dengan yang diperlukan atau belum. Dalam tahap ini dilakukan kegiatan

        a.     Meninjau kembali penetapan standar

        b.    Meninjau program yang sedang berjalan

        c.     Meneliti kesenjangan antara yang direncanakan dengan yang sudah dicapai.

3.    Ketiga : Tahap Proses (Process)

      Dalam tahap ketiga dari evaluasi kesenjangan ini adalah mengadakan evaluasi, tujuan tujuan manakah yang sudah dicapai. Tahap ini juga disebut tahap “mengumpulkan data dari pelaksanaan program”.

4.    Keempat : Tahap Pengukuran Tujuan (Product)

      Yakni tahap mengadakan analisis data dan menetapkan tingkat output yang diperoleh. Pertanyaan yang diajukan dalam tahap ini adalah .apakah program sudah mencapai tujuan terminalnya?"

5.    Kelima : Tahap Pembandingan (Programe Comparison)

      Yaitu tahap membandingkan hasil yang telah dicapai dengan tujuan yang telah ditetapkan. Dalam tahap ini evaluator menuliskan semua penemuan kesenjangan untuk disajikan kepada para pengambil keputusan, agar mereka (ia) dapat memutuskan kelanjutan dari program tersebut. Kemungkinannya adalah a.          Menghentikan program b. Mengganti atau merevisi c. Meneruskan d, Memodifikasi tujuannya (?)

Kunci dari evaluasi discrepancy adalah dalam hal membandingkan penampilan dengan tujuan yang telah ditetapkan.

DESAIN EVALUASI

Sebelum melakukan desain evaluasi maka terlebih dahulu harus dilakukan fokus evaluasi yaitu mengkhususkan apa dan bagaimana evaluasi akan dilakukan. Bila evaluasi sudah terfokus, maka ini berarti proses dan desain dimulai. Ada tiga elernen dalam proses pemfokusan, yaitu : mempertemukan pengetahuan dan harapan, mengumpulkan informasi, dan merumuskan rencana evaluasi.

Penyusunan desain evaluasi program merupakan langkah pertama dan menyangkut aspek perencanaan. Di dalam tahap perencanaan ini diuraikan garis garis besar mengenai hal hal lain yang berkaitan dengan kegiatan evaluasi tersebut. Evaluasi program merupakan pelayanan bantuan kepada pelaksana program untuk memberikan input bagi pengambilan keputusan tentang kelangsungan program tersebut. Oleh karena itu, maka pelaksana evaluasi program harus memahami seluk beluk program yang dinilai.

1.    Pengambilan keputusan mengeluarkan kebijakan mengenai pelaksanaan suatu program.

2.    Kepala Sekolah menunjuk evaluator program (dapat dari bagian dalam pengelola ataupun orang luar dari program) untuk melaksanakan evaluasi program setelah melaksanakan selama jangka waktu tertentu.

3.    Penilai program melaksanakan kegiatan penilaiannya, mengumpulkan data, menganalisis dan menyusun laporan.

4.    Penilai program menyampaikan penernuannya kepada pengelola program.

Adapun komponen komponen evaluasi program, sebagai berikut:

1.    Tujuan yang ditetapkan oleh pengambil keputusan dan diberitahukan kepada pelaksana program.

2.    Kegiatan semua aktifitas yang dilakukan untuk mencapai tujuan. Oleh karena itu, kegiatan harus relevan benar dengan tujuan

3.    Sarana fasilitas penunjang kegiatan

4.    Person pelaksana kegiatan

5.    Hasil keluaran sebagai akibat dari kegiatan,

Efektifitas program ditentukan oleh sejauh mana hasil ini telah mendekati tujuan. Oleh karena itu, untuk mencapai tujuan tersebut diperlukan seorang evaluator dalam penyusunan desain evaluasi program. Sebelum evaluator menyusun desain terlebih dahulu harus mengetahui betul apa tugasnya. Secara garis besar terdapat tiga hal yang harus ditangani oleh seorang evaluator, yaitu :

1.    Keberhasilan pencapaian tujuan:

Hubungan antara tujuan dengan hasil merupakan hal utama yang harus ditangani oleh seorang evaluator. Mereka harus memusatkan perhatiannya terhadap keberhasilan ini. Namun, evaluator tidak boleh terpaku terlalu erat dengan tujuan. Hal ini disebabkan, ada beberapa program mencanturnkan dengan jelas apa yang ingin dicapai dengan kegiatannya akan tetapi ada pula yang ticlak merumuskannya sama sekali. Pada kondisi ini, evaluator harus mencari informasi mengenai tujuan program tersebut karena ticlak mungkin seorang evaluator bekerja tanpa mengetahui tujuan apa yang ingin dicapai.

2. Tujuan program, yang dirumuskan oleh pengembang program.

Tujuan umum suatu program akan dijadikan titik awal kegiatan evaluator dalam menyusun desain evaluasi.

3. Proses yang terjadi dalam program, meliputi kegiatan, sarana penunjang dan personil pelaksana program.

Dalam hal ini, kegiatan merupakan aktualisasi yang ditentukan oleh para pengembang program. Kegiatan menunjukkan pada aktivitas yang diperhitungkan dari prosedur, teknik dan proses lain yang berkaitan dengan sumber pencapaian tujuan. Banyak evaluator program hanya terpaku pada hasil pencapaian dan kurang memperhatikan kegiatan yang menghasilkan pencapaian tujuan tersebut. Sarana biasanya terwujud

pada peralatan, ruangan, biaya dan hal hal lain yang diperhitungkan antara lain: Apakah sarana yang digunakan sudah tepat ? Apakah program itu mahal ? Apakah ada biaya yang belum diperhitungkan ?; sedangkan Person adalah pelaksana program baik yang tergolong sebagai tenaga edukatif, administratif maupun pengelola.

Langkah Penyusunan Desain

Sesudah memahami tentang isi yang terdapat di dalam program yang merupakan objek evaluasi, maka langkah selanjutnya adalah melakukan penyusunan desain. Adapun hal hal yang perlu dilaksanakan, antara lain:

1 . Latar belakang.

2.  Problematika (yang akan dicari jawabannya).

3.  Tujuan evaluasi.

4. Populasi dan sampel

5. Instrumen dan sumber data

6.Teknik analisis data.

Langkah Penyusunan Instrumen

Adapun langkah langkah yang harus dilalui dalam menyusun instrumen, adalah :

1.    Merurnuskan tujuan yang akan dicapai dengan instrumen yang akan disusun. Bagi para peneliti pemula, merumuskan tujuan seperti ini tidak lazim. Padahal sebenarnya langkah ini sangat perlu. Ticlak mungkin kiranya, atau apabila mungkin akan sukar sekali dilakukan, menyusun instrumen tanpa tahu untuk apa data terkumpul, apa yang harus dilakukan sesudah itu, apa fungsi setiap jawab dalam setiap butir bagi jawaban problematika dan sebagainya.

2.    Membuat kisi kisi yang mencanangkan tentang perincian variabel dan jenis instrumen yang akan digunakan untuk mengukur bagian variabel yang bersangkutan.

3.    Membuat butir butir instrumen.

      Sesudah memiliki kisi kisi seperti contoh di atas, langkah penilai berikutnya adalah membuat butir butir instrumen.

Menyusun instrumen bukanlah pekerjaan yang mudah. Bagi peneliti pemula atau orang yang kurang tertarik pada pekerjaan evaluasi, tugas menyusun instrumen merupakan pekerjaan yang membutuhkan ketelitian dan kesabaran yang tinggi.

Kriteria Evaluator

Untuk memperoleh hasil evaluasi yang akurat, maka diperlukan kriteria keberhasilan dan kriteria tertentu terutama bagi evaluator program, di bawah ini diuraikan kriteria tersebut

Memahami mated

Memahami mated yaitu memahami tentang seluk beluk program yang dievaluasi, antara lain :

1 . Tujuan program yang telah ditentukan sebelum dimulai kegiatan

2. Komponen komponen program

3. Variabel yang akan diujicobakan atau dilaksanakan

4. Jangka waktu dan penjadualan kegiatan

5. Mekanisme pelaksanaan program

6. Pelaksanaan program

7. Sistem monitoring kegiatan program

Kriteria keberhasilan yang ditetapkan adalah dilihat dari mated, maka Evaluator membuat format pencapaian materi program yang direncanakan

dibandingkan dengan yang telah digapai berdasarkan penjabaran point 1 sampai dengan 7.

Menguasai Teknik

Menguasai teknik yaitu menguasai cara cara atau teknik yang digunakan di dalarn melaksanakan evaluasi program. Karena kegiatan evaluasi program mengenai sejumlah evaluasi, maka evaluator program dituntut agar menguasai metodologi evaluasi, yang meliputi

1. Cara membuat perencanaan evaluasi

2. Teknik menentukan populasi dan sampel

3. Teknik menyusun instrumen

4. Prosedur dan teknik pengumpulan data

5. Penguasaan teknik pengolahan data

6. Cara menyusun laporan evaluasi

Untuk metodologi yang terakhir ini evaluator program harus menguasai sesuatu yang lebih dibandingkan dengan peneliti karena apa yang disampaikan akan sangat menentukan kebijaksanaan yang terkadang memiliki resiko lebih besar.

Kriteria keberhasilannya adalah seorang evaluator harus dapat membuat point 1 sampai dengan 6 secara opersional.

Objektif dan Cermat

Tim evaluator adalah sekelompok orang yang mengemban tugas mengevaluasi program serta ditopang oleh data yang dikumpulkan secara cermat dan objektif. Atas dasar tersebut mereka diharapkan, mengklasifikasikan, mentabulasikan, mengolah dan sebagainya secara cermat dan objektif pula. Khususnya di dalam menentukan pengambilan strategi penyusunan laporan, evaluator tidak boleh memandang satu atau dua aspek sebagai hal yang istimewa dan tidak boleh pula memihak. Kriteria keberhasilan yang dipakai adalah apabila hasil penilaian dari evaluator dapat menunjukkan hasil yang objektif dengan alasan rasional dan didukung oleh data data yang akurat.

Jujur dan Dapat Dipercaya

Evaluator adalah orang yang dipercaya oleh pengelola dan pengambil keputusan, oleh karena itu mereka harus jujur dan dapat dipercaya. Mereka harus dapat memberikan penilaian yang jujur, tidak membuat baik dan jelek, menyajikan data apa adanya. Dengan demikian pengelola dan pengambil keputusan tidalk salah membuat treatment akan programnya.

Terdapat beberapa hal yang harus diperhatikan oleh seorang evaluator agar dapat melaksanakan tugas dan tanggung jawabnya secara tepat, yaitu :

1.    Evaluator hendaknya merupakan evaluator yang otonom artinya orang luar yang sama sekali tidak ada ikatan dengan pengambilan kebijaksanaan maupun pengelola dan pelaksanaan program.

2.    Ada hubungan baik dengan responden dalam arti dapat memahami sedalam dalamnya watak, kebiasaan dan cara hidup klien yang akan dijadikan sumber data evaluasi.

3.    Tanggap akan masalah politik dan sosial karena tujuan evaluasi adalah pengembangan program.

4.    Evaluator berkualitas tinggi, dalarn arti jauh dari biasa. Evaluator adalah orang yang mempunyai self concept yang tinggi, tidak mudah terombang-ambing.

5.    Menguasai teknik untuk membuat desain dan metodologi penelitian yang tepat untuk program yang dievaluasi.

6.    Bersikap terbuka terhadap kritik. Untuk mengurangi dan menahan diri dari bias, maka evaluator memberi peluang kepada orang luar untuk melihat apa yang sedang dan telah dilakukan

7.    Menyadari kekurangan dan keterbatasannya serta bersikap jujur, menyampaikan (menerangkan) kelemahan dan keterbatasan tentang evaluasi yang dilakukan.

8.    Bersikap pasrah kepada umum mengenai penemuan positif dan negatif. Evaluator harus berpandangan luas dan bersikap tenang apabila menemukan data yang tidak mendukung program dan berpendapat bahwa penemuan negatif sama pentingnya dengan penemuan positif.

9.    Bersedia menyebarluaskan hasil evaluasi. Untuk program kegiatain yang penting dan menentukan, hasil evaluasi hanya pantas dilaporkan kepada pengambil keputusan dalam sidang tertutup atau pertemuan khusus. Namun untuk program yang biasa dan dipandang bahwa masyarakat dapat menarik manfaat dari evailuasinya, sebaiknya hasil evaluasi disebarluaskan, khususnya bagi pihak pihak yang membutuhkan.

10.  Tidak mudah membuat kontrak. Evaluasi yang tidak memenuhi persyaratan persyaratan yang telah disebutkan sebaiknya tidak dengan mudah menyanggupi menerima tugas karena secara etis dan moral akan merupakan sesuatu yang kurang dapat dibenarkan.

CONTOH DESAIN EVALUASI

Latar belakang :

Dari pengamatan beberapa tahun diketahui bahwa program program peningkatan pendapatan dan ketrampilan ternyata kurang berhasil dari yang diharapkan. Dit. Diktentis sebagai lembaga yang menangani pembinaan teknis edukatif ingin mencoba program baru EMPE di SKB. Pedoman disusun oleh tim Dit. Diktentis yang dikoordinasikan oleh Direktur Diktentis dan dikirim langsung ke SKB dalam bentuk jadi, disertai dengan biaya penunjang.

Setelah program tersebut berlangsung beberapa bulan, Balitbang Dikbud ingin mengetahui efektifitas modul, untuk menentulkan kebijaksanaan selanjutnya: karena dipikirkan kelangsungan dan penyebarannya untuk sekolah sekolah lain.

Problematika :

Sebagai problematika umum yang akan dicari jawabannya adalah "apakah program EMPE dapat meningkatkan ketrampilan dan pendapatan anggotanya dalarn kurun waktu tertentu ? untuk mempermudah mencari jawaban, maka dirinci sebagai berikut:

1. Aspek Warga Belajar, antara lain

    a. Apakah warga belajar aktif dalam kegiatan EMPE ?

    b, Apakah tiap warga belajar mempunyai peran aktif ?

2. Aspek kegiatan EMPE, antara lain :

    a. Apakah kegiatan EMPE berjalan sesuai rencana ?

    b. Apakah fasilitator dan pengelola aktif dalam kegiatan EMPE ?

    c. Apakah kegiatan EMPE dapat dilaksanakan secara lancar ? Bila tidak apa

        sebabnya ?

    d. Bagaimanakah kegiatan pemasaran hasil EMPE ?

    e. Bagaimanakah manajemen EMPE ?

    f. Hambatan apa dalam kegiatan EMPE ?

3. Aspek sarana, antara lain :

    a. Sesuaikah dan kurangkah sarana/alat yang disediakan untuk keperluan kegiatan

        EMPE ?

    b. Apakah warga belajar tidak mengalami kesulitan dalam menggunakan sarana / alat

        tersebut ?

4. Aspek Fasilitator dan pengelola, antara lain

    a. Apakah fasilitator dan pengelola, tidak mengalami kesulitan dalam membina dan

        mengelola EMPE ?

    b. Bagaimana hubungan antara Fasilitator dan Pengelola dengan warga belajar

        dalam kegiatan EMPE ?

5. Aspek Hasil Belajar, antara lain :

    a. Secara keseluruhan apakah kegiatan EMPE dapat meningkatkan ketrampilan dan

        pendapatan warga belajar ?

    b. Kalau dapat berapa prosen kenaikan tersebut ? dan kalau tidak apa sebabnya ?

        berapa prosen ketidakmeningkatan tersebut ?

6. Aspek Tujuan Evaluasi :

Tujuan umum: tujuan evaluasi program adalah mengumpulkan informasi mengenai efektifitas pelaksanaan kegiatan EMPE.

Tujuan khusus : dari tujuan umum tersebut dapat dirinci atas tujuan-tujuan khusus sebagai berikut :

a)    Untuk mengetahui tanggapan warga belajar, pengelola, tutor, fasilitator dan penanggung jawab program terhadap kegiatan EMPE.

b)    Untuk mengetahui hal hal yang berhubungan dengan kegiatan EMPE.

c)    Untuk mengetahui ketepatan sarana dalam menunjang pelaksanaan kegiatan EMPE.

d)    Untuk mengetahui kesulitan yang dihadapi pengelola, fasilitator, penanggung jawab dan orang yang terlibat dalam kegiatan EMPE.

e)    Untuk mengetahui prosentase peningkatan ketrampilan dan pendapat warga belajar.

7. Populasi dan sampel

Evaluasi dilakukan pada SKB yang dilaksanakan EMPE. SKB yang akan dijadikan tempat evaluasi dilakukan terhadap populasi maupun sampel, menurut variabel yang dinilai.

8. Instrumen dan sumber data :

Khusus evalusi program ini cukup banyak dan komprehensif, oleh karena itu instrumen untuk rnengumpulkan data perlu bervariasi.

a.     Untuk rnengetahui tanggapan warga belajar tentang kegiatan EMPE dengan modul digunakan wawancara dan pengamatan dengan sumber data para warga belajar yang aktif dalam kelompok.

b.    Untuk mengetahui hal hal yang berhubungan dengan kegiatan pengelola digunakan :

1.    Pengamatan di dalam kelompok dengan sumber data kegiatan langsung dari aktifitas yang diamati.

2.    Wawancara dengan sumber data yaitu : pengelola, tutor dan orang orang yang terlibat aktif.

3.    Dokumentasi tentang pelaksanaan kegiatan EMPE dengan sumber data buku pengelolaan, buku  kerja, buku laporan tugas, dan catatan catatan lain (paper).

4.    Angket tentang pengelolaan sarana / alat kepada pengelola.

5.    Untuk mengetahui ketetapan sarana yang digunakan dalam kegiatan, data dikumpulkan melalui pengamatan, wawancara, dan dokumentasi, sumber data dapat laboratorium, kegiatan praktikum warga belajar dan pengelola.

6.    Untuk mengetahui kesulitan yang dihadapi dalam pelaksanaan sistem EMPE data dikumpulkan melalui wawancara dengan fasilitator, warga belajar pengelola dan tanggung jawab.

7.    Untuk mengetahui peningkatan ketrampilan dan pendapatan warga belajar, datanya dikumpulkan melalui : dokumentasi pembukuan, pengamatan terhadap kegiatan warga belajar, wawancara kepada warga belajar mengenai hasilnya. Sedangkan untuk mengetahui pengelolaan sistem EMPE, datanya dikumpulkan melalui wawancara dengan para pengelola kelompok.

9. Teknik analisis data

Teknik yang digunakan untuk menganafisis data disesuaikan dengan bentuk problematika dan jenis data.

a. Problematika yang mengandung variabel tunggal, dianalisis secara diskriptif kualitatif.

b. Problematika komparasi atau korelasi dijawab dengan jawaban dari data yang diolah

    dengan teknik statistik korelasi, t-test, ANAVA.

BENEFIT MONITORING AND EVALUATION (BME)

Sistem Evaluasi dan Monitoring Benefit atau biasa disebut sebagai Benefit Monitoring and Evaluation (BME) adalah kegiatan monitoring dan evaluasi terhadap suatu program atau proyek dalarn rangka mengetahui sejauh mana program atau proyek tersebut memberikan manfaat sesuai dengan tujuan yang telah direncanakan.

Salah satu pihak yang mempromosikannya adalah ADB (ASIAN DEVELOPMENT BANK). BME dirnaksudkan untuk menghimpun berbagai informasi berkaitan dengan impact sebuah proyek dan atau nilai guna (benefit).

Pengertian tentang benefit ini sendiri sangat beragam, ada yang mengartikannya sebagai keuntungan/laba/profit (berkaitan dengan uang), adapula yang memberi arti lebih fieksibel yaitu nilai manibatinilai guna (tidak harus berupa uang), dari sebuah hasil produksi (barang, jasa, tenaga manusia). Kegunaannya antara lain, untuk meningkatkan kebijakan tentang efektifitas dari sebuah proses produksi.

Monitoring dan evaluasi dinilai sebagai himpunan kegiatan penting yang memungkinkan para pihak (stakeholders) untuk mernperkirakan perkembangan sebuah proyek selarna kegiatannya termasuk di dalarnnya adalah intervensi intervensi tentang keberhasilan atau kegagalan. Monitoring meliputi pengurnpulan data selarna pengernbangan bila intervensi diberlakukan. Adapun evaluasi biasanya terkait dengan impact yang meliputi lingkungan hidup, misalnya peningkatan akses kepada sumber daya dan asset untuk kelornpok khusus kaum miskin, perubahan tentang kerniskinan dan kesejahteraan atau tentang kapasitas tertentu (latihan, skill, pengetahuan). Evaluasi biasanya dilakukan pada pertengahan proyek berjalan (melalui intervensi), pada akhir proyek, ataupun setelah proyek dinyatakan selesai. Evaluasi yang dilakukan dapat berbentuk formative atau summative.

Evaluasi formative digunakan untuk membantu peserta dalam belajar dari pengalaman dan perubahan tindakan yang terjadi. Adapun evaluasi summative digunakan untuk mengembangkan gagasan dari keseluruhan impact yang timbul dalam mencapai keputusan tertentu.

Evaluasi yang dilakukan juga dapat dipandang secara subyektif atau obyektif, dapat pula menggunakan indikator kualitatif atau kuantitatif. Indikator kualitatif misalnya persepsi tentang inequality, derajat ketidakamanan pangan/food insecurity, persepsi tentang kekuatan dan kelemahan. Adapun Indikator kuantitatif misalnya pendapatan, belanja dan tabungan, tingkat produksi pertanian, stok populasi ternak.

Dengan kata lain, kegiatan evaluasi dan monitoring benefit terhadap suatu program atau proyek dilakukan secara komprehensif dan dinamis, mencakup pengkajian berbagai komponen input, process, output (hasil) dan outcome (dampak) dari program atau proyek yang dilaksanakan. Dari hasil pengkajian terhadap seluruh kornponen tersebut diharapkan dapat diketahui seberapa jauh manfaat suatu program atau proyek, dibandingkan dengan tujuan yang telah direncanakan sebelumnya.

Namun, terdapat tiga area kesulitan yang menurut Eric Diggest sering terjadi dalam supervisi dan pengendalian pada pendidikan tinggi, yaitu :

1.    Ukuran, pengalaman inventory, chek list, hasil riset yang tak sepadan dapat melernahkan reliabilitas dan validitas.

2.    Trainee bidang konseling bebas untuk mengembangkan kernampuan konseling tetapi tidak mendapat gelar akadernik.

3.    Para supervisor tidak dapat mengartikulasikan sasaran supervisi yang diinginkan oleh administratur pendidikan tinggi karena kurang menguasai teori supervisi.

Hal yang menjadi penyebab di atas, dikarenakan BME itu sendiri terdiri dari tiga kegiatan yang berbeda, yaitu:

1.    Persiapan dan analisis benchmark (baseline) informasi. Benchmark informasi meliputi info yang bersifat kualitatif dan kuantitatif tentang arti pentingnya karakter sosial ekonomi individu dan atau kelompok yang terkait dengan proyek. Informasi ini bermanfaat untuk merancang sebuah proyek agar sesuai dengan kebutuhan dan kemanfatannya bagi user/customer.

2.    Monitoring benefit rneliputi penyampaian pelayanan, kapan dan bagaimana pelanggan memanfaatkannya, efek segera dari pelayanan yang disediakan melalui proyek.

3.    Tiga Iangkah utama evaluasi benefit meliputi penyiapan TOR (terms of reference) untuk organisasi evaluasi, seleksi organisasi dan supervisi selama evaluasi beriangsung.

Dalam bidang pendidikan, kegiatan benefit monitoring and evaluating telah banyak dilakukan di Indonesia, terutama terhadap program atau proyek yang selama ini sudah dilaksanakan seperti proyek pendidikan dasar atau Basic Education Project (BEP), baik di lingkungan Departemen Pendidikan Nasional untuk tingkat sekolah dasar dan sekolah menengah, dan di Iingkungan Departemen Agama untuk tingkat madrasah lbtidaiyah dan Tsanawiyah.

Sebagai contoh, untuk kegiatan BME BEP di Iingkungan Departemen Agama telah dilakukan sejak tahun 2000 sampai tahun 2002 untuk mengkaji proyek BEP yang sudah dijalankan pada madrasah Ibtidaiyah dan Tsanawiyah. Proyek BEP itu sendiri telah berlangsung mulai tahun 1995/1996 sampai tahun 2001. Melalui kegiatan BME, dilakukan pengkajian apakah proyek BEP di Departemen Agama tersebut dapat memberikan manfaat bagi peningkatan mutu pendidikan dasar khususnya di madrasah Ibtidaiyah dan Tsanawiyah. Pengkajian dalam hal ini mencakup kelancaran distribusi bantuan yang disampaikan dan manfaat bantuan proyek BEP bagi sekolah, pembelajar, tenaga pendidik, kepala madrasah, pengelola madrasah, yayasan, pengelola proyek, lembaga pelatihan, dan masyarakat pada umumnya.