Reviewing and Extending the Five-User Assumption: A Grounded Procedure for Interaction Evaluation

SIMONE BORSCI, ROBERT D. MACREDIE, and JULIE BARNETT, Brunel University JENNIFER MARTIN, University of Nottingham
JASNA KULJIS and TERRY YOUNG, Brunel University

http://dx.doi.org/10.1145/2506210

The debate concerning how many participants represents a sufficient number for interaction testing is well- established and long-running, with prominent contributions arguing that five users provide a good bench- mark when seeking to discover interaction problems. We argue that adoption of five users in this context is often done with little understanding of the basis for, or implications of, the decision. We present an analysis of relevant research to clarify the meaning of the five-user assumption and to examine the way in which the original research that suggested it has been applied. This includes its blind adoption and application in some studies, and complaints about its inadequacies in others. We argue that the five-user assumption is often misunderstood, not only in the field of Human-Computer Interaction, but also in fields such as med- ical device design, or in business and information applications. The analysis that we present allows us to define a systematic approach for monitoring the sample discovery likelihood, in formative and summative evaluations, and for gathering information in order to make critical decisions during the interaction testing, while respecting the aim of the evaluation and allotted budget. This approach – which we call the Grounded Procedure – is introduced and its value argued.

Pengkaji: Widyah Handayani (G64144065)

Penentuan jumlah dan latar belakang user (ahli atau awam) masih menjadi topic yang hangat dalam Interaction Evaluation. Dimana dua aspek tersebut mempengaruhi biaya dan usaha yang dibutuhkan untuk mendapatkan hasil evaluasi yang baik dan kemudian akan diintegrasikan kedalam proses desain. Five-user assumption itu sendiri dikenal sebagai hasil analisa dari Nielsen dan Laundauer yang mengatakan bahwa dibutuhkan tiga sampai lima pengguna dengan keretampilan yang sama untuk dapat mengidentifikasi sekurangnya 80% dari masalah antarmuka. Akan tetapi, Spool dan Schroeder mengatakan bahwa lima pengguna masih terlalu sedikit untuk mencapai batas 80% yang dimaksudkan Nielsen.

Prosedur Grounded merupakan prosedur yang sistematik untuk mendapatkan data berdasarkan keragaman hasil sampel dan pengambilan keputusan selanjutnya mengenai evaluasi. Secara singkat, evaluator harus membandingkan hasil evaluasi sampel dengan stardard evaluasi yang dimiliki untuk menarik satu dari dua kesimpulan sebagai berikut:

1.     Apabila sampel memenuhi nilai standar. Hasilnya akan langsung diberikan kepada klien dan menentukan apakah produk dirapihkan kembali atau siap untuk diluncurkan.

2.     Apabila sample tidak memenuhi nilai standar. Maka harus dilakukan evaluasi ulang terhadap sampel baru dan diujikan kembali sampai memenuhi nilai yang ditentukan.

Untuk itu, Prosedur Grounded terdiri dari tiga langkah utama.

1.     Pemantauan tabel masalah / error.

Pada tabel diatas, angka 0 = masalah tidak ditemukan, sedangkan 1 = masalah ditemukan. Dengan cara ini, evaluator akan mudah dan cepat menilai perilaku sampel dalam pencarian masalah. Tabel ini memudahkan pada saat evaluasi sampel pengguna yang lebih banyak, identifikasi akan mudah dilakukan karena data yang ditampilkan memberikan penekanan mengenai prilaku pengguna pada task tertentu.

2.     Menyempurnakan nilai p-value.

Menggunakan beberapa model perhitungan yang tersedia dan kemudian menggunakan jumlah pengguna sebagai acuan untuk pertimbangan p-value.

3.     Mengambil Keputusan Berdasarkan Perilaku Sampel.

P-value digunakan untuk mengambil keputusan yang  sesuai dengan anggaran dan tujuan evaluasi.

Five-user assumption adalah titik awal yang baik untuk menganalisis interaksi antarmuka. Dalam hal ini, satu-satunya jawaban untuk pertanyaan apakah lima pengguna itu jumlah yang sesuai adalah tergantung pada perilaku sampel, karena ini akan mempengaruhi hasil penilaian dan kesamaan data yang dikumpulkan. Tetapi, seperti yang kita ketahui, itu tidak berarti bahwa pengguna lima cukup untuk evaluasi karena pilihan nomor sampel tergantung pada kesamaan data yang ditemukan pada sampel itu sendiri. Hasil dari nilai pada Ground Procedure dapat membantu evaluator untuk memutuskan bagaimana untuk melanjutkan evaluasi setelah sampel lima pengguna pertama ditetapkan.

Visibility of System Status - tabloidpulsa.co.id

Pada post-an ini saya akan membahas mengenai Nielsen's Usability Heuristic pada situs web tabloidpulsa.com. Terdapat 10 prinsip dalam membuat antarmuka yang baik. 5 diantaranya akan saya bahas satu persatu pada setiap post yang ada diblog ini.

Prinsip yang pertama adalah Visibility of System Status. Suatu halaman web haruslah dapat memberikan feedback yang tepat mengenai proses apa yang sedang dilakukan pengguna pada halaman tersebut. Sehingga pengguna tidak merasa tersesat dalam melakukan pencarian.

1.  Tidak ada status keberadaan pengguna

Saya mencoba memasuki halaman Gadget untuk membaca beberapa informasi. Saya pun memilih berida mengenai ASUS N550ZU yang berada diposisi paling atas. Tetapi ketika informasi belum terbuka sempurna, saya membuka facebook selagi menunggu. Tak lama dari itu saya kembali pada tab tabloidpulsa.co.id. Dikarenakan tidak lagi ada status navigation dimana keberadaan, saya pun bingung. Bagi para pengguna ahli, mereka dapat mengetahui dengan melihat page url pada bagian atas, tapi bagaimana dengan mengguna awam? Pastinya pengguna akan melakukan back untuk mengetahui status keberadaan mereka sebelumnya. Jadi, lebih baik apabila pengguna tetap diberikan informasi mengenai status keberadaannya dengan memberikan Navigation Status pada bagian atas halaman tersebut.

Severity Ratings: 3 = Major usability problem. Sangat perlu diperbaiki  dengan prioritas tinggi.

---

2. Menu pencarian meninggalkan jejak

Hasil dari pencarian pada kolom search tidaklah asing bagi pengguna yang umum maupun yang ahli. Dimana tabloidpulsa.co.id menggunakan custom search Google pada halaman tersebut. Keuntungan dari custom search milik Google ini adalah keyword yang digunakan akan tetap pada kolom search meskipun pencarian sudah ditemukan. Jadi, meminimalisir pengguna lupa dengan informasi yang sedang dicari.

Severity Ratings: 0 = Bukan Masalah

Sumber: http://www.nngroup.com/articles/ten-usability-heuristics/

http://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/: 

Flexibility and Efficiency of Use - tabloidpulsa.co.id

Prinsip selanjutnya Flexibility and Efficiency of Use. Prinsip ini mengedepankan fleksibelitas dan keefisienan halaman web yang disajikan. Diharapkan pengguna dapat menggunakan dengan sangat baik.

1. No verification email!

Pada saat melakukan sign up, pengguna diharuskan memasukkan email address yang dimana nantinya akan menerima kode aktifasi untuk mengaktifkan akun. Ketika saya melakukan percobaan tersebut, saya tidak mendapatkan email aktifasi. 

Meski sudah dilakukan permintaan ulang email aktifasi, saya tetap tidak mendapatkan email tersebut meskipun dalam folder junk/spam. Tentu kejadian ini sangat menyita banyak waktu pengguna yang dipaksa menunggu untuk hal yang tidak pasti. Walaupun tabloidpulsa.co.id bukan merupakan halaman situs jual beli, tetapi aktifitas login dibutuhkan untuk memasukan foto pada menu "Foto" untuk melakukan lelang. Jadi, tabloidpulsa.co.id harus memeriksa kembali proses pengiriman email danmemastikan bahwa pengguna menerima email aktifasi. Jika ingin lebih mudah, pengiriman kode aktifasi dapat menggunakan nomer telepon genggam yang akan dikirimkan melalui pesan singkat.

Severity Rating: 3 = Major Usability Problem (perlu untuk diperbaiki dengan prioritas tinggi).

---

2. Scrollbar pada comparison

Pada saat melakukan comparison, tabloidpulsa.co.id menampilkan dalam bentuk scrollbar. Dimana pengguna dapat melakukan perbandingan lebih dari 2 device. Sehingga tidak membutuhkan banyak space pada halaman web tersebut.

Severity Rating: 0 = Bukan masalah.

Sumber: http://www.nngroup.com/articles/ten-usability-heuristics/

http://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/

Help Users Recognize, Diagnose, and Recover from Errors - tabloidpulsa.co.id

Prinsip selanjutnya adalah Help user recognize, diagnose, and recover from errors. Diprinsip ini mengharapkan pesan error tidak ditampilkan dalam bentuk code dan dalam bahasa yang sederhana. Sehingga pengguna dengan mudah mengantisipasi masalah dan mendapatkan solusi yang jelas.

1. 502 Bad Gateway?

What does it mean? Dengan munculnya halaman diatas pastinya pengguna bertanya-tanya apa yang sedang terjadi. Untuk pengguna yang umum, tidak akan mengerti maksud dari pesan eror tersebut. Padahal, kemungkinan terjadinya masalah dikarenakan koneksi internet yang lambat. Pengguna pun bisa me-reload halaman untuk kembali pada halaman yang akan dituju. Seharusnya, pesan error ditampilkan dengan tampilan yang simple dan menarik. Dapat diberikan gambar-gambar yang berkenaan dengan error dan technology yang sesuai dengan nature dari tabloidpulsa itu sendiri.

Severity Rating: 3 = Major Usability Problem (perlu untuk diperbaiki dengan prioritas tinggi).

---

Sumber: http://www.nngroup.com/articles/ten-usability-heuristics/

http://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/

Aesthetic and Minimalist Design - tabloidpulsa.co.id

Prinsip berikutnya adalah Aesthetic and minimalist design. Prinsip ini menilai bagaimana letak informasi yang akan ditampilkan. Sehingga pengguna tidak merasa terganggu dan nyaman dalam mengakses halaman web ini.

1. Page  Home yang sangat padat

Gambar diatas adalah beberapa contoh tabloidpulsa.co.id meletakan semua informasi pada page Home. Sehingga saat saya pertama kali membuka situs ini merasa kurang nyaman. Halaman home yang sangat padat akan membuat mata pengguna bergerak kesegala sudut page dengan cepat untuk mendapatkan informasi yang diinginkan. Hal tersebut akan membuat pengguna lelah dan malas. Pengguna merasa tidak memiliki kebebasan. Padahal, konten yang ditampilkan semua terdapat pada Menu yang disediakan diatas. Maka dari itu, sebaiknya halaman home hanya menampilkan berita utama yang menarik mengenai teknologi.

Severity Rating: 3 = Major Usability Problem (perlu untuk diperbaiki dengan prioritas tinggi).

---

2. Terlalu banyak iklan

Pada saat pertama kali halaman ini terbuka, sudah terdapat iklan pada header tabloidpulsa.co.id ini. Sungguh kurang enak diliat mata. Dengan halaman yang padat pada home, dan iklan yang lumayan banyak terselipkan sisana. Tidak ada yang salah dengan meletakkan iklan pada halaman web, karena sangat menguntungkan. Akan tetapi, halaman web ini akan digunakan oleh pengguna, dimana mata pengguna kurang dimanjakan dengan halaman home yang seperti itu. Alangkah baiknya, peletakkan iklan berada pada posisi kanan halaman web. Agar tidak menggangu pengguna dalam pencarian informasi.

Severity Rating: 3 = Major Usability Problem (perlu untuk diperbaiki dengan prioritas rendah).

Sumber: http://www.nngroup.com/articles/ten-usability-heuristics/

http://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/

Help and Documentation - tabloidpulsa.co.id

Prinsip terakhir adalah Help and Documentation. Dimana pada prinsip ini bantuan dan dokumentasi pada halaman web sangat penting untuk membantu pengguna ketika mengalami kesulitan.

1. Tidak Ada Help

Meskipun tabloidpulsa.co.id bukan termasuk situs jual-beli online, melainkan hanya memberikan informasi mengenai tentang handphone dan kamera, rasanya tetap diperlukannya menu help untuk membantu pengguna dalam menggunakan halaman web ini. Seperti yang kita ketahui bahwa tidak semua pengguna merupakan pengguna ahli. Sehingga menu help dapat memberikan informasi mengenai hal yang berkaitan dalam penggunaan halaman web tabloidpulsa.co.id itu sendiri. Oleh karena itu, halaman web harus dilengkapi dengan dibuatnya halaman help.

Tampilan menu pada bagian atas

Tampilan menu pada bagian bawah

Severity Rating: 1 = Masalah yang tidak terlalu penting

---

2. Hilangnya Contact Us

Bagi pengguna yang membutuhkan pertanyaan mengenai tabloidpulsa.co.id pastinya dengan cepat mencari menu "contact us" pada halaman web ini. Tetapi ketika saya membuka halaman tersebut, tidak terdapat informasi yang saya butuhkan. Justru informasi yang saya cari berada pada halaman "about us". Pada bagian bawah halaman tersebut, terdapat informasi berupa email redaksi yang dibutuhkan pengguna. Alangkah baiknya, informasi diletakkan pada menu yang sesuai untuk mengantisipasi pengguna kesusahan dalam pencarian.

Saverity Ratings: 2 = Minor usability problem. Perlu diperbaiki dengan prioritas rendah.

Sumber: http://www.nngroup.com/articles/ten-usability-heuristics/

http://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/: 

Post saya kali ini merupakan tugas visualisasi pada mata kuliah Interaksi Manusia Komputer yang dimana data diperoleh dari Buku Statistika Indonesia 2014.

Dilakukannya visualisasi informasi ini untuk mempermudah pembaca dalam memahami informasi lebih cepat dan jelas. Pada pembahasan kali ini, saya akan memvisualkan laju data Lalu Lintas Angkutan Udara. Seperti yang kita ketahui, pemilihan angkutan udara semakin digemari masyarakat dalam berpergian karena waktu perjalanan yang singkat. Dengan banyaknya pilihan maskapai penerbangan yang bersaingin menawarkan harga yang sesuai ataupun miring. Nah, berikut adalah infografisnya~

Robot Penerjeman Interaktif

Bahasa masih menjadi penghalang dalam komunikasi internasional dan smartphone sudah semakin canggih yang dilengkapi banyak aplikasi untuk memberikan penerjemahan lebih mudah. Google Translate adalah salah satu situs penerjemah online yang paling sering dikunjungi para pengguna. Google translate disediakan oleh Google Inc. untuk membantu menerjemahkan kata atau halaman web dari satu bahasa ke bahasa asing lainnya.

Nah, dengan pesatnya perkembangan zaman, udah ada yang nyiptain nih Robot Penerjemah Interaktif. Orang-orang hebat yang berasalnya dari negara Taiwan ini bernama Wu Jhong Ren dan Hooman Samani dari Department of Electrical Engineering National Taipei University. Konsep penerjemahan masih tetap menggunakan app penerjemah yang disambungkan dengan robot beroda yang dapat bergerak, menambahkan sensor suara, touch, dan suara melalui speaker.

Struktur dari software pada robot dapat dilihat seperti gambar dibawah. Data dari touch dan sensor suara diteruskan ke unit prosesor yang mencakup tiga bagian. Bagian paling utama menangani transisi keadaan robot. Artificial Endocrine System (AES) adalah tingkat tertinggi dari AI menjadikan robot berperilaku halus. Dan yang terakir, unit kontrol termasuk PID untuk menafigasi dua motor yang terhubung ke roda.

Penggunaan suara dijadikan sebagai medium utama penerjemahannya. Terdapat 2 sensor audio pada robot ini. Pertama yang terletak pada smartphone dan yang sudah disatukan pada rangka robot itu sendiri. Selain itu, kita juga bisa menggunakan teks sebagai data entry. Nantinya robot interaktif ini ada meng-scan tulian kalian dengan bantuan kamera pada smartphone yang digunakan. Keren kan? 

Pembuatan robot interaktif ini nantinya dapat digunakan untuk membantu para pelayan restoran dan toko-toko kopi di mana peran robot dapat menggabungkan terjemahan pada daerah yang menjadi tempat wisata asing. Bayangin deh dilayanin sama robot lucu yang bisa memahami bahasa kita, jadi nggak akan ada miss-communication yang bisa menyebabkan banyak masalah. Udah gitu, robot interaktif ini juga lebih hemat kan kalau dibandingin kita yang harus menyewa orang yang mahir berbahasa. karena robot ini dapat menerjemahkan semua bahasa asing didunia dimana biasanya manusia hanya dapat memahami beberapa bahasa saja. Begini nih ilustrasi gambarnya pada saat berada disuatu Restauran.

Walaupun begitu, robot ini masih perlu untuk diperbaiki agar menjadi lebih sempurna lagi. Seperti yang kalian semua tau, bahasa masih menjadi penghalang. Robot ini dibuat dan dicoba dinegara yang tidak menggunakan Bahasa Inggris sebagai bahasa ibu mereka. Accent pun menjadi salah satu masalah yang dihadapi. Tapi selain itu, robot interaktif ini berfungsi dengan baik.

Nah, sekian ulasan tentang Robot Penerjemah Interaktif ini. Untuk kalian yang mau tau tentang robot ini lebih lanjut bisa langsung klik www.siggraph.org dan masih banyak lagi karya-karya manusia yang membuat kalian terkagum-kagum. Thankyou! ;)

Ulasan Web

Dijaman sekarang yang serba instan dengan kemajuan teknologi yang super pesat, udah banyak kemudahan yang bisa didapat dalam satu sentuhan tangan. Contoh paling gampangnya itu Online Shopping. Perkembangan dari bisnis online pun udah semakin meningkat sejak tahun 2011 dan merupakan starter yang bagus bagi para newbie dalam berbisnis. Nah, tulisan saya kali ini bukan mau ngajak buat buka online shop barengan....tapi ingin berbagi cerita tentang salah satu website clothing online favorit saya nih.

Ini nih, namanya 8wood. kalian bisa cek langsung di www.buy8wood.com. 8wood sendiri dibuat pada awal tahun 2013. Nah, kalau diliat dari interface home nya, 8wood memilih warga background putih sehingga nyaman diterima oleh mata customer. Selain itu penggunakan foto dengan contrast yang sangat terang bisa membangkitkan minat customer untuk membeli. apa lagi dengan kualitas foto yang luarrrr biasaaaaah~

Udah gitu, pilihan menu nya juga mudah banget buat kalian para cewe-cewe yang ga mau ribet. karena saya sendiri type shopper yang ga suka liat website yang terlalu penuh pada halaman utamanya, dan penempatan gambar yang tidak sesuai dengan konsep online jaman sekarang.

 Untuk pemilihan barang, 8wood juga uda merinci penghitungan ukuran yang sesuai jadi pembeli ga akan salah dalam memilih ukuran yang pas buat mereka.

Nah, misalkan kalau pilihan kamu para cewe-cewe out-of-stock, disana ada button "NOTIFY ME" yang fungsinya, 8wood akan mengirimkan email saat barang pilihanmu back-in-stock. Setelahnya, kamu tidak perlu punya account untuk berbelanja. bisa langsung checkout as guest dan itu cukup mempermudah kalian semua saat pembayaran.

Agak sedikit promosi sih jadinya, gapapalah ya buat kebaikan umat dan bangsa. Allahu Akbar! ^^,