SIMONE BORSCI, ROBERT D. MACREDIE, and JULIE
BARNETT, Brunel University JENNIFER
MARTIN, University of Nottingham
JASNA
KULJIS and TERRY YOUNG, Brunel University
The debate concerning how many participants represents a sufficient
number for interaction testing is well- established and long-running, with
prominent contributions arguing that five users provide a good bench- mark when
seeking to discover interaction problems. We argue that adoption of five users
in this context is often done with little understanding of the basis for, or
implications of, the decision. We present an analysis of relevant research to
clarify the meaning of the five-user assumption and to examine the way in which
the original research that suggested it has been applied. This includes its
blind adoption and application in some studies, and complaints about its
inadequacies in others. We argue that the five-user assumption is often
misunderstood, not only in the field of Human-Computer Interaction, but also in
fields such as med- ical device design, or in business and information
applications. The analysis that we present allows us to define a systematic
approach for monitoring the sample discovery likelihood, in formative and
summative evaluations, and for gathering information in order to make critical
decisions during the interaction testing, while respecting the aim of the
evaluation and allotted budget. This approach – which we call the Grounded
Procedure – is introduced and its value argued.
Pengkaji: Widyah Handayani (G64144065)
Penentuan jumlah dan
latar belakang user (ahli atau awam) masih menjadi topic yang hangat dalam Interaction Evaluation. Dimana dua aspek
tersebut mempengaruhi biaya dan usaha yang dibutuhkan untuk mendapatkan hasil
evaluasi yang baik dan kemudian akan diintegrasikan kedalam proses desain. Five-user assumption itu sendiri dikenal
sebagai hasil analisa dari Nielsen dan Laundauer yang mengatakan bahwa
dibutuhkan tiga sampai lima pengguna dengan keretampilan yang sama untuk dapat
mengidentifikasi sekurangnya 80% dari masalah antarmuka. Akan tetapi, Spool dan
Schroeder mengatakan bahwa lima pengguna masih terlalu sedikit untuk mencapai
batas 80% yang dimaksudkan Nielsen.
Prosedur Grounded merupakan prosedur yang
sistematik untuk mendapatkan data berdasarkan keragaman hasil sampel dan
pengambilan keputusan selanjutnya mengenai evaluasi. Secara singkat, evaluator
harus membandingkan hasil evaluasi sampel dengan stardard evaluasi yang
dimiliki untuk menarik satu dari dua kesimpulan sebagai berikut:
1. Apabila sampel memenuhi
nilai standar. Hasilnya akan langsung diberikan kepada klien dan menentukan
apakah produk dirapihkan kembali atau siap untuk diluncurkan.
2. Apabila sample tidak
memenuhi nilai standar. Maka harus dilakukan evaluasi ulang terhadap sampel
baru dan diujikan kembali sampai memenuhi nilai yang ditentukan.
Untuk itu, Prosedur Grounded terdiri dari tiga langkah utama.
1. Pemantauan tabel
masalah / error.
Pada tabel diatas, angka 0 = masalah tidak ditemukan,
sedangkan 1 = masalah ditemukan. Dengan cara ini, evaluator akan mudah dan
cepat menilai perilaku sampel dalam pencarian masalah. Tabel ini memudahkan
pada saat evaluasi sampel pengguna yang lebih banyak, identifikasi akan mudah
dilakukan karena data yang ditampilkan memberikan penekanan mengenai prilaku
pengguna pada task tertentu.
2. Menyempurnakan nilai
p-value.
Menggunakan beberapa model perhitungan yang tersedia dan
kemudian menggunakan jumlah pengguna sebagai acuan untuk pertimbangan p-value.
3. Mengambil Keputusan
Berdasarkan Perilaku Sampel.
P-value digunakan untuk mengambil keputusan yang sesuai dengan anggaran dan tujuan evaluasi.
Five-user assumption adalah titik awal yang baik untuk
menganalisis interaksi antarmuka. Dalam hal ini, satu-satunya jawaban untuk
pertanyaan apakah lima pengguna itu jumlah yang sesuai adalah tergantung pada
perilaku sampel, karena ini akan mempengaruhi hasil penilaian dan kesamaan data
yang dikumpulkan. Tetapi, seperti yang kita ketahui, itu tidak berarti bahwa
pengguna lima cukup untuk evaluasi karena pilihan nomor sampel tergantung pada
kesamaan data yang ditemukan pada sampel itu sendiri. Hasil dari nilai pada Ground Procedure dapat membantu
evaluator untuk memutuskan bagaimana untuk melanjutkan evaluasi setelah sampel
lima pengguna pertama ditetapkan.
