Reviewing and Extending the Five-User Assumption: A Grounded Procedure for Interaction Evaluation

SIMONE BORSCI, ROBERT D. MACREDIE, and JULIE BARNETT, Brunel University JENNIFER MARTIN, University of Nottingham
JASNA KULJIS and TERRY YOUNG, Brunel University

http://dx.doi.org/10.1145/2506210

The debate concerning how many participants represents a sufficient number for interaction testing is well- established and long-running, with prominent contributions arguing that five users provide a good bench- mark when seeking to discover interaction problems. We argue that adoption of five users in this context is often done with little understanding of the basis for, or implications of, the decision. We present an analysis of relevant research to clarify the meaning of the five-user assumption and to examine the way in which the original research that suggested it has been applied. This includes its blind adoption and application in some studies, and complaints about its inadequacies in others. We argue that the five-user assumption is often misunderstood, not only in the field of Human-Computer Interaction, but also in fields such as med- ical device design, or in business and information applications. The analysis that we present allows us to define a systematic approach for monitoring the sample discovery likelihood, in formative and summative evaluations, and for gathering information in order to make critical decisions during the interaction testing, while respecting the aim of the evaluation and allotted budget. This approach – which we call the Grounded Procedure – is introduced and its value argued.

Pengkaji: Widyah Handayani (G64144065)

Penentuan jumlah dan latar belakang user (ahli atau awam) masih menjadi topic yang hangat dalam Interaction Evaluation. Dimana dua aspek tersebut mempengaruhi biaya dan usaha yang dibutuhkan untuk mendapatkan hasil evaluasi yang baik dan kemudian akan diintegrasikan kedalam proses desain. Five-user assumption itu sendiri dikenal sebagai hasil analisa dari Nielsen dan Laundauer yang mengatakan bahwa dibutuhkan tiga sampai lima pengguna dengan keretampilan yang sama untuk dapat mengidentifikasi sekurangnya 80% dari masalah antarmuka. Akan tetapi, Spool dan Schroeder mengatakan bahwa lima pengguna masih terlalu sedikit untuk mencapai batas 80% yang dimaksudkan Nielsen.

Prosedur Grounded merupakan prosedur yang sistematik untuk mendapatkan data berdasarkan keragaman hasil sampel dan pengambilan keputusan selanjutnya mengenai evaluasi. Secara singkat, evaluator harus membandingkan hasil evaluasi sampel dengan stardard evaluasi yang dimiliki untuk menarik satu dari dua kesimpulan sebagai berikut:

1.     Apabila sampel memenuhi nilai standar. Hasilnya akan langsung diberikan kepada klien dan menentukan apakah produk dirapihkan kembali atau siap untuk diluncurkan.

2.     Apabila sample tidak memenuhi nilai standar. Maka harus dilakukan evaluasi ulang terhadap sampel baru dan diujikan kembali sampai memenuhi nilai yang ditentukan.

Untuk itu, Prosedur Grounded terdiri dari tiga langkah utama.

1.     Pemantauan tabel masalah / error.

Pada tabel diatas, angka 0 = masalah tidak ditemukan, sedangkan 1 = masalah ditemukan. Dengan cara ini, evaluator akan mudah dan cepat menilai perilaku sampel dalam pencarian masalah. Tabel ini memudahkan pada saat evaluasi sampel pengguna yang lebih banyak, identifikasi akan mudah dilakukan karena data yang ditampilkan memberikan penekanan mengenai prilaku pengguna pada task tertentu.

2.     Menyempurnakan nilai p-value.

Menggunakan beberapa model perhitungan yang tersedia dan kemudian menggunakan jumlah pengguna sebagai acuan untuk pertimbangan p-value.

3.     Mengambil Keputusan Berdasarkan Perilaku Sampel.

P-value digunakan untuk mengambil keputusan yang  sesuai dengan anggaran dan tujuan evaluasi.

Five-user assumption adalah titik awal yang baik untuk menganalisis interaksi antarmuka. Dalam hal ini, satu-satunya jawaban untuk pertanyaan apakah lima pengguna itu jumlah yang sesuai adalah tergantung pada perilaku sampel, karena ini akan mempengaruhi hasil penilaian dan kesamaan data yang dikumpulkan. Tetapi, seperti yang kita ketahui, itu tidak berarti bahwa pengguna lima cukup untuk evaluasi karena pilihan nomor sampel tergantung pada kesamaan data yang ditemukan pada sampel itu sendiri. Hasil dari nilai pada Ground Procedure dapat membantu evaluator untuk memutuskan bagaimana untuk melanjutkan evaluasi setelah sampel lima pengguna pertama ditetapkan.