Prinsip Evaluasi

Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di
dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi
pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya
dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.

Evaluasi memiliki tiga tujuan utama, yaitu :

1. Melihat seberapa jauh system berfungsi
Mencakup kesesuaian penggunaan system terhadap harapan user pada tugas tersebut.
Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada system, untuk melihat
keefektifan system dalam mendukung tugas.

2. Melihat efek interface bagi pengguna
Mencakup aspek dari kemudahan system dipelajari, daya guna dan perilaku user.

3. Mengidentifikasi problem khusus yang terjadi pada system
Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi
kekacauan di antara user. Tujuan ini merupakan aspek negatif dari desain.

Ada dua jenis evaluasi, yaitu:

1. Dalam kondisi percobaan (Laboratory) : Pengujian system ini dilakukan pada ruang
percobaan dengan beberapa kondisi diantaranya :
       a. Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik,
           cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada
           lokasi kerja yang sebenarnya.
       b. Operator terbebas dari gangguan yang menghambat pekerjaan.

       c. Beberapa situasi hanya dapat dilakukan di laboratorium, misalnya system yang akan
           digunakan ditempatkan pada lokasi yang berbahaya atau terpencil.
      d. Dapat memanipulasi situasi untik memecahkan masalah dan melihat penggunaan
           presedur atau membandingkan beberapa alternatif perancangan dengan situasi yang
           sebenarnya.
      e. Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang
          sebenarnya dan terdapat orang-orang yang tidak bisa bekerja pada kondisi seperti di
          laboratorium.

2. Dalam kondisi lokasi kerja yang sebenarnya : Pengguna pengujian system ini pada lokasi
kerja sebenarnya mempunyai beberapa kondisi, di antaranya :
     a. Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan
          interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit
         dilakukan.
     b. Situasi yang lebih “terbuka” antar system dan pengguna.
     c. Aneka gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili

situasi sebenarnya.Ada beberapa pendekatan evaluasi yang dilakukan seperti :
1. Evaluating designs
2. Evaluating implementations
3. Query techniques
4. Physiological methods

Evaluasi Usability Testing
Suatu metoda  biaya rendah usabilas rancang-bangun yang diusulkan oleh Jakob Nielsen yang menyatakan usabilas itu yang dilakukan sering dengan lebih sedikit peserta, dan skenario penggunaan mendasarkan hasil pengamatan menghasilkan itu hampir [sebagai/ketika] kebaikan, dan dengan ROI lebih baik manakala bandingkan dengan costlier usabilas tradisional [yang] menguji.

Cognitive Walkh Through
Bertujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan yang
diberikan ke pengguna guna memelajari berbagai tugas yang diberikan. Pendekatan ini
dikemukakan oleh Polson. Dalam pendekatan ini terdapat beberapa isu yang timbul, seperti :
a. Dampak interaksi apakah yang akan terjadi pada pengguna ?
b. Proses kognitif apakah yang dibutuhkan ?
c. Masalah pembelajaran apakah yang mungkin terjadi?
    Informasi yang dibutuhkan :
a. Deskripsi dari interface yang dibutuhkan itu.
b. Deskripsi tugas, termasuk usaha yang benar untuk melakukannya dan struktur tujuan
     untuk mendukungnya.

Langkah walkthrough :
a. Pilih tugas,
b. Deskripsi tujuan awal dari user,
c. Lakukan kegiatan/aksi yang tepat,
d. Analisis proses keputusan untuk setiap kegiatan.
Contoh :
Memprogram video dengan remote control. Misalkan akan memprogram video ke waktu
dimulai dari jam 18.00 dan berakhir pada jam 19.15 pada saluran 4 pada tanggal 4. Maka
tugas untuk hal tersebut adalah:
a. Set waktu awal
b. Set waktu akhir
c. Set channel
d. Set tanggal

Pemodelan User
Pengguna dari sebuah aplikasi tersebut .

Model Kognitif ( GOMS, CCT, Context Based )
Model Kognitif adalah sebuah model yang di rancang dari cara kerja user,untuk mengetahui bagaimana user akan berinteraksi dengan interface
Komponen:
– membentuk beberapa aspek dari pemahaman user, pengetahuan, maksud dan pemrosesan
– beragam dalam level representasi :rencana dan pemecahan masalah tingkat tinggi, sampai ke aksi motorik tingkat rendah (mis: keypress)
GOMS
(Goals, Operators, Methods, Selection) Rules (dikembangkan oleh Card,Moran dan Newell)
Goal / Tujuan : status terakhir yang ingin dicapai, kemudian uraikan dalam sub tujuan.
• Operator : aksi pada tingkat paling rendah (untuk menjalankan suatu kegiatan); misal: press key, drag mouse, memindahkan pointer
MeMethods: urutan operator (prosedur) untuk menuntaskan suatu tujuan (satu atau lebih)

contoh: Memilih kalimat gerakkan mouse ke awal kata, press mouse, tarik ke akhir kata, lepaskan mouse
• Selection Rules:
– dipakai ketika ada pilihan cara
– ujicoba GOMS untuk memperkirakan metode mana yang digunakan
Contoh: dapat menghapus sebuah kata baik dengan cara ctrl-X ataupun melalui menu tertentu.

Cognitive Complexity Theory (CCT)
Cognitive Complexity Theory (CCT) yang diperkenalkan oleh Kieras dan
Polson ini dimulai dengan premis dasar dekomposisi tujuan dari GOMS dan
disempurnakan modelnya agar lebih dapat diprediksi. CCT memiliki dua
deskripsi paralel, satu adalah tujuan user dan yang lainnya adalah sistem
komputer atau disebut device pada CCT. Deskripsi tujuan user berdasarkan hirarki tujuan yang mirip dengan GOMS, tetapi diekspresikan menggunakan production rules. Production rules merupakan sekumpulan aturan dengan bentuk :

Production rules CCT:
(SELECT-INSERT-SPACE
IF (AND (TEST-GOAL perform unit task)
( TEST-TEXT task is insert space)
(NOT (TEST-GOAL insert space))
(NOT (TEST-NOTE executing insert space)))
THEN ( (ADD-GOAL insert space)
(ADD-NOTE executing insert space)
(LOOK-TEXT task is at %LINE %COL)))

(INSERT-SPACE-DONE
IF (AND (TEST-GOAL perform unit task)
(TEST-NOTE executing insert space)
(NOT (TEST-GOAL insert space)))
THEN ( (DELETE-NOTE executing insert space)
(DELETE-GOAL perform unit task)
(UNBIND %LINE %COL))

(INSERT-SPACE-1
IF (AND (TEST-GOAL insert space)
(NOT (TEST-GOAL move cursor))
(NOT (TEST-CURSOR %LINE %COL)))
THEN ( (ADD-GOAL move cursor to %LINE %COL)))

(INSERT-SPACE-2
IF (AND (TEST-GOAL insert space)
(TEST-CURSOR %LINE %COL))
THEN ( (DO-KEYSTROKE ‘I’)
(DO-KEYSTROKE SPACE)
(DO-KEYSTROKE ESC)
(DELETE-GOAL insert space)))

Secara umum, semakin banyak production rules dalam CCT semakin
sulit suatu interface untuk dipelajari. Selain itu terdapat beberapa masalah pada
CCT, yaitu :
• Semakin detail deskripsinya, size deskripsi dari satu bagian interface dapat
menjadi sangat besar. Lebih jauh, dimungkinkan terdapat beberapa cara
untuk merepresentasikan perilakuk user dan interace yang sama sehingga
mengakibatkan perbedaan hasil pengukuran.
• Pemilihan notasi yang digunakan. Muncul pertanyaan kapan notasi tertentu
yang dipilih menjadi suatu hal yang penting / kritis. Sesorang dapat saja
memilih untuk merepresentasikan sistem dengan notasi yang berbeda.
Notasi yang berbeda dapat mengakibatkan perbedaan pengukuran.
Contoh: pada deskripsi sebelumnya (NOTE executing insert space) hanya
digunakan untuk membuat rule INSERT-SPACE-DONE dijalankan pada
waktu yang tepat. Disini tidak jelas sama sekali signifikansi kognitifnya.
• CCT adalah alat perekayasaan (engineering tool) dengan pengukuran
kemudahan dipelajari (learnability) dan tingkat kesulitan (difficulty) secara
garis besar digabung dengan dekripsi detail dari perilaku (behaviour) user.

Interpartive Evaluation ( Observasi, Ethnography)
Ethnography (studi dan sistematik tentang budaya manusia)
Penelitian kontekstual
Studi lapangan
Studi observasi
Obyektifitas:
Memahami user memahami tujuan dan nilai memahami interaksi individu dan group dalam suatu
budaya memperbaiki sistem bila ada masalah pada cara yang digunakan saat itu
Teknik : Observasi personal, Audio/video recording, Interview
Observasi : Mengamati user dan lingkungan secara teliti, coba untuk gambarkan aktifitas tsb kepada seseorang yang belum pernah melihat aktifitas sebelumnya.
Hal yang menarik untuk diuji: kegiatan individual dan group, budaya yg mempengaruhi kerja, aspek eksplisit dan implisit pada kerja; misal: lingkungan kerja kantor. Penting pada interview : buat rencana tanya jawab, tetap spesifik, buat interpretasi yang sama dengan user,
rekam interview.

Referensi:

http://12650066-imk.blogspot.com/2012/12/evaluasi-imk.html

https://kusuma1506.wordpress.com/category/interaksi-manusia-dan-komputer/