PENGANTAR EVALUASI PROGRAM

 

APA ITU EVALUASI?

Lain orang lain pula pemaknaan mereka ketika menggunakan kata" evaluasi". Mereka mungkin juga "melakukan" evaluasi dengan jalan yang berbeda, menggunakannya untuk tujuan yang berbeda, atau penggunaan standard berbeda untuk memutuskan apakah  suatu evaluasi baik yang baik harus kelihatan baik. Jika kamu ingin menunjukkan dengan tepat makna apa yang dimaksudkan oleh seseorang , kamu harus menemukan sejumlah hal. Ini  adalah sepuluh pertanyaan yang akan membantu kamu meringkas apa yang dimaksudkan seseorang ketika memperbicangkan tentang evaluasi. Kamu dapat menggunakan sepuluh mempertanyakan ini untuk menemukan apa yang orang lain maksudkan ketika mereka memperbicangkan tentang atau meminta untuk kamu melakukan evaluasi. Paling utama, sepuluh pertanyaan ini akan membantu kamu memperjelas apa yang kamu maksudkan ketika kamu menggunakan kata" evaluasi" atau bagaimana kamu akan menggambarkan nya dilain waktu jika kamu melihatnya.

• Bagaimana evaluasi didevinisikan? Apakah yang merupakan corak yang unik dari suatu evaluasi? Bagaimana anda mengetahui ketika kamu lihat satu? Bagaimana cara membedaknnya dengan berbagai hal seperti " pengukuran" atau " penelitian?" Apakah evaluasi yang mengajukan test dan daftar pertanyaan? Menyediakan informasi untuk pembuat keputusan? Menentukan apakah tujuan telah dicapai? Penilaian sesuai? Atau sesuatu yang lainnya? 

Untuk pertanyaan ini, Anda bisa melihat definisi evaluasi yang dapat diperoleh dari buku-buku yang ditulis oleh ahlinya, diantaranya, definisi yang ditulis oleh Ralph Tyler, yaitu evaluasi adalah proses yang menentukan sampai sejauh mana tujuan pendidikan dapat dicapai (Tyler,1950:69). Menyediakan informasi untuk pembuat keputusan, dikemukakan oleh Cronbach (1963), Stufflebeam (1971), juga Alkin (1969). Maclcolm, Provus, pencetus Discrepancy Evaluation (1971), mendefinisikan evaluasi sebagai perbedaan apa yang ada dengan suatu standar untuk mengetahui apakah ada selisih. Akhir-akhir ini telah dicapai sejumlah konsensus antar evaluator tentang arti evaluasi, antara lain yaitu penilaian atas manfaat atau guna (Scriven, 1967; Glass 1969; Stufflebeam, 1974). Joint Committee (1981) mendefinisikan evaluasi sebagai penelitian yang sistematik atau yang teratur tentang manfaat atau guna beberapa objek. Kelompok Konsorsium evaluasi Standford menolak definisi evaluasi yang menghakimi (judgmental definition of evaluation). Karena menurut mereka bukanlah tugas evaluator menentukan apakah suatu program berguna atau tidak. Evaluator tidak dapat bertindak sebagai wasit terhadap orang lain (Cronbach, 1982).

• Untuk apa evaluasi dilakukan? Kenapa evaluasi dilakukan? Apa tujuan evaluasi? Apa fungsi evalusi? Apakah itu dilaksanakan untuk melayani pengambilan keputusan? Untuk menyampaikan pertanggungjawaban? Untuk akreditasi atau sertifikasi? Untuk memotivasi orang-orang? Untuk merubah dan memperbaiki program? Atau untuk beberapa  alasan lain?

Scriven (1967) orang pertama yang membedakan antara evaluasi formatif dan evaluasi sumatif sebagai fungsi evaluasi yang utama. Kemudian Stufflebeam juga membedakan sesuai dengan Scriven yaitu Proactive evaluation untuk melayani pemegang keputusan, dan Retroactive evaluation untuk keperluan pertanggungjawaban. Evaluasi mempunyai dua fungsi yaitu formatif untuk keperluan perbaikan dan pengembangan kegiatan yang sedang berjalan (program, orang, produk dan sebagainya). Fungsi sumatif digunakan sebagai pertanggungjawaban, keterangan, seleksi dan atau lanjutan.

• Apakah yang merupakan object evaluasi? Apa yang  bisa atau harus dievaluasi? Apakah " berbagai hal" itu diharapkan untuk mengevaluasi para siswa, para guru, proyek, program, institusi atau sesuatu selain itu?

Hampir semua unit training dapat dijadikan objek suatu evaluasi. Siswa atau mahasiswa sudah merupakan objek yang populer bagi evaluasi pendidikan. Yang lain-lainnya seperti proyek atau program institusi pendidikan yang sekarang menjadi objek evaluasi yang semakin populer. Penting sekali untuk menentukan dan mengetahui apa yang akan dievaluasi. Hal ini akan menolong untuk menentukan apa informasi yang dikumpulkan dan bagaimana menganalisanya. Hal ini akan membantu pemfokusan evaluasi. Rumusan tujuan yang jelas juga akan menghindari salah tafsir dan kesalahpahaman.

• Apa aspek dan dimensi dari suatu obyek perlu penyelidikan evaluasi? Pertanyaan  apa yang harus ditujukan tentang apapun juga yang dievaluasi? Apa jenis informasi yang harus dikumpulkan? Apakah aspek-aspek obyek sumber daya yang harus dievaluasi, dampak atau hasil, proses implementasi, staff dan klien, tujuan dan rencana, biaya dan manfaat, kebutuhan, karakteristik organisatoris, atau sesuatu selain itu?

Setelah memiliki objek yang akan dievaluasi, maka harus ditentukan aspek-aspek apa saja dari objek tersebut yang akan dievaluasi. Di waktu-waktu sebelumnya evaluasi berfokus kebanyakan atas hasil yang dicapai, jadi untuk mengevaluasi objek pendidikan misalnya lokakarya, berarti mengevaluasi hasil lokakarya yaitu hasil yang telah dicapai peserta. Akhir-akhir ini usaha evaluasi ditujukan untuk memperluas atau memperbanyak variabel evaluasi dalam bermacam-macam model evaluasi (Stake, 1967; Stufflebeam, 1959, 1974; Alkin 1969; Provus, 1971). Model CIPP dari Stufflebeam mengemukakan evaluasi yang berfokus pada empat aspek yaitu:

1) Konteks

2) Input

3) Proses Implementasi

4) Produk

Karena pendekatan ini maka evaluasi lengkap terhadap evaluasi pendidikan akan menilai misalnya: a) manfaat tujuannya, b) mutu rencana, c) sampai sejauhmana tujuan dijalankan, dan d) mutu hasilnya. Jadi evaluasi hendaknya berfokus pada tujuan dan kebutuhan, desain training, implementasi, transaksi, dan hasil training.

• Kriteria apa harus digunakan untuk menilai suatu obyek? Bagaimana anda melakukan interpretasi terhadap penemuan itu? Bagaimana cara untuk mengumpulkan informasi? Bagaimana nantinya Anda memutuskan jika obyek adalah " baik" atau " tidak baik?" Apakah kriteria mampu mencapai tujuan yang telah ditetapkan, ketetapan kepada rencana, menjawab untuk mengidentifikasi kebutuhan, prestasi tentang tujuan sosial atau ideal, perbandingan dengan object alternatif, kesetiaan kepada hukum dan petunjuk, penyesuaian dengan harapan pendengar (audience), atau sesuatu selain itu?

Memilih kriteria yang akan dipakai untuk menilai objek evaluasi merupakan tugas yang paling sulit dalam evaluasi pendidikan. Apabila yang diacu hanya pencapaian tujuan, maka ini memang pekerjaan yang mudah, namun ini baru sebagian daripada isu kriteria evaluasi. Pencapaian tujuan-tujuan yang penting memang merupakan salah satu kriteria yang penting. Kriteria lainnya yaitu identifikasi kebutuhan dari klien yang potensial, nilai-nilai sosial, mutu, dan efisiensi dibandingkan dengan objek-objek alternatif lainnya. Tampaknya ada persetujuan diantara ahli evaluator bahwa kriteria yang dipakai untuk menilai suatu objek tertentu hendaknya ditentukan dalam konteks objek tertentu dan fungsi evaluasinya. Jadi hal-hal yang harus diperhatikan dalam menentukan kriteria penilaian suatu objek adalah:

1) Kebutuhan, ideal, dan nilai-nilai

2) Penggunaan yang optimal dari sumber-sumber dan kesempatan.

3) Ketepatan efektifitas training

4) Pencapaian tujuan yang telah dirumuskan dan tujuan penting lainnya. Kriteria yang ganda (multiple) hendaknya sering dipakai

• Siapa yang harus dilayani oleh suatu evaluasi? Siapakah klien? Siapakah pendengar (audience) untuk evaluasi? Siapa yang membutuhkan informasi untuk dilayani? Apakah itu dilaksanakan untuk diri sendiri, para siswa, staff, agen pendanaan, kalayak ramai, atau sesuatu selain itu? 

Supaya evaluasi betul-betul bermanfaat atau berguna, maka evaluasi itu harus berguna untuk klien atau audien khusus. Kebanyakan literatur evaluasi tidak menyarankan siapa audien yang tepat. Namun ada tiga hal yang diusulkan penulis sehubungan dengan tulisan ini, yaitu:

1) evaluasi dapat mempunyai lebih dari seorang audien

2) masing-masing audien mungkin punya kebutuhan yang berbeda.

3) audien khusus kebutuhannya harus dirumuskan dengan jelas pada waktu memulai rencana evaluasi.

• Apa langkah-langkah dan prosedur dilakukan dalam melakukan suatu evaluasi? Bagaimana anda memulai suatu evaluasi dan bagaimana anda berproses? Langkah-langkah apakah yang utama dari suatu proyek evaluasi? Apakah itu urutan " terbaik" untuk melaksanakan suatu evaluasi?

Proses melakukan evaluasi mungkin saja berbeda sesuai persepsi teori yang dianut, ada bermacam-macam cara. Namun evaluasi harus memasukkan ketentuan dan tindakan sejalan dengan fungsi evaluasi yaitu:

1) Memfokuskan evaluasi

2) Mendesain evaluasi

3) Mengumpulkan evaluasi

4) Menganalisis informasi

5) Melaporkan informasi

6) Melaporkan hasil evaluasi

7) Mengelola evaluasi

8) Mengevaluasi evaluasi (meta evaluasi)

• Metode penemuan apa yang  harus digunakan dalam evaluasi? Bagaimana anda mengumpulkan informasi? Disain penemuan seperti apa  harus digunakan dalam evaluasi? Metodologi Apakah " yang terbaik" untuk test evaluasi dan daftar pertanyaan, panel tenaga ahli, disain bersifat percobaan, survey dan correlational studi, etnografi dan studi kasus, " dewan juri" percobaan, pendekatan naturalistic, atau beberapa  pendekatan lain ?

Kiranya pendekatan electic (memilih berbagai metode dari beberapa pilihan yang terbaik sesuai dengan kebutuhan) merupakan cara yang terbaik. Yang dipilih hendaknya sesuai dengan situasi dan kondisi setempat. Provus (1971) dan Stufflebeam (1971) memperkenalkan beberapa variasi metode dalam evaluasi, di samping desain eksperimen dan kuasi eksperimen yang tradisional (Campbell dan Stanley, 1963), dengan metode naturalistik (Guba dan Lincoln, 1981; Patton,1980), Jury Trials (Wolf,1975) dengan analisis sistem, dan banyak lainnya merupakan metode yang sudah lazim dipakai dalam evaluasi program.

• Apa yang sebaiknya dilakukan evaluasi? Penilai seperti apa yang Anda perlukan dipekerjakan? Ketrampilan seperti apa  perlu dimiliki oleh seorang evaluator? Apa yang menjadi   otoritas dan tanggung-jawab dari seorang penilai? Perlukah spesialis evaluasi atau suatu ahli bidang untuk dilibatkan dalam evaluasi, staff reguler, atau sesuatu selain itu?

Untuk menjadi kelompok profesional evaluator dituntut mempunyai ciri-ciri tertentu yang memerlukan latihan yang memadai. Untuk menjadi seorang evaluator yang kompetendan dapat diandalkan ia harus mempunyai kombinasi berbagai ciri, antara lain: mengetahui dan mengerti teknik pengukuran, dan metode penelitian, mengerti tentang kondisi sosial, dan hakikat objek evaluasi, mempunyai kemampuan human relation, jujur, serta bertanggung jawab. Karena sulit mencari orang yang mempunyai begitu banyak kemampuan, maka sering evaluasi dilakukan oleh suatu tim.

• Dengan standar apa evaluasi dinilai? Bagaimana anda mengetahui bahwa evaluasi yang anda lakukan adalah evaluasi yang baik? Apakah karakteristik suatu evaluasi? Bagaimana anda mengevaluasi suatu evaluasi? Perlukah evaluasi menjadi bermanfaat dan praktis, menyediakan informasi dapat dipercaya dan akurat, realistis, hemat dan bijaksana, diselenggarakan menurut hukum dan secara etis, objektif dan ilmiah, atau haruskah hal lain? Seperti yang disebutkan pada awal bagian ini, kesepuluh pertanyaan ini dapat digunakan untuk berbagai tujuan, tetapi terdapat dua cara di mana yang sepuluh pertanyaan dapat lebih bermanfaat:

- Digunakan untuk mengatur persepsi Anda sendiri, apa yang Anda maksud dengan evaluasi.

- Digunakan untuk memahami orang lain apa yang dimaksud dengan evaluasi oleh orang lain.

Akhir-akhir ini telah dicoba pengembangan standar untuk kegiatan evaluasi pendidikan. Standar yang paling komprehensif dan rinci dikembangkan oleh Committee on Standard of Educational Evaluation (Joint committee, 1981)

Dengan ketuanya Daniel Stufflebeam, yaitu:

1) Utility (bermanfaat dan praktis)

2) Accuracy (secara teknik tepat)

3) Feasibility (realistik dan teliti)

4) Propriety (dilakukan dengan legal dan etik)

Tidak ada satu evaluasi pun dapat diharapkan mencapai standar tersebut, dan sampai sejauh mana kesepakatan evaluator akan kepentingan standar tersebut masih perlu ditentukan. Lee J. Cronbach (1980) mengatakan bahwa standar yang digunakan untuk melakukan evaluasi mungkin tak sepenting konsekuensinya. Ia mengatakan evaluasi yang baik adalah yang memberikan dampak yang positif bagi perkembangan program.