Prototype Fidelity And User Expertise In Usability Testing: A Study With Portable Navigation Device

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2015Thesis (M.Sc.) -- İstanbul Technical University, Instıtute of Science and Technology, 2015Bir ürünün, arayüzün ya da servisin kullanılabilirliği tasarımın başarısı açısından önemli bir konudur. Bu bağlamda kullanılabilirlik literatüründe çeşitli değerlendirme metotları sunulmuştur. Kullanılabilirlik testleri tasarım süreçlerinin vazgeçilmez bir parçası olup diğer yöntemlerle karşılaştırıldığında en güvenilir değerlendirme metodu olarak karşımıza çıkmaktadır. Çünkü kullanıcı testleri yüksek oranda yüzeysel gerçekliğe sahiptir. Yani, her türlü fiziki (tüketici ürünleri; sandalyeden arabaya, lambadan bilgisayara… vs. kadar) ve dijital (web sitelerinden aplikasyonlara ve şirket yazılımlarına… vs. kadar) ürünün tasarımının herhangi bir aşamasında gerçek deneyimleri otaya koyan pratik bir yöntemdir. Kullanılabilirlik testlerinin çıktıları her ne kadar üzerinde çalışılan ürüne ve çalışmanın içeriğine göre değişse de asıl amaç kullanılabilirlik problemlerini ortaya çıkarmaktır. Kullanılabilirlik testlerinin çıktıları üzerinde etki eden birçok faktör bulunmaktadır. Sauer ve diğ. (2010) tarafından tasarlanan Dört Faktör Bağlamsal Uygunluk Modeline (the Four Factor Framework of Contextual Fidelity Model) göre, bu faktörler; sistem prototipi, kullanıcı özellikleri, test ortamı ve test senaryoları olarak gruplanmıştır. Son yıllarda, bazı araştırmacılar bütün bu faktörlerin etkilerinin ayrı ayrı incelendiği çalışmalar yapmışlardır. Prototip uygunluğu ve kullanıcı uzmanlığının kullanılabilirlik testlerine birlikte etkisi sadece fiziki bir ürün (yer temizleme makinesi) ile yapılan bir çalışmada incelenmiştir (Sauer ve diğ., 2010). İlgili çalışmanın sonuçları bu iki faktörün etkileri hakkında bazı anlayışlar sağlasa da, çalışmanın sonuçları bu iki faktörün özellikle dijital ara yüzler üzerindeki olası etkilerini tahmin etmek için yeterli değildir. Bu çalışmanın temel amacı prototip uygunluğunun ve kullanıcı uzmanlığının kullanıcı testleri çıktıları üzerindeki etkilerini ve birbirleri arasındaki ilişkiyi bir dijital ürün olan taşınabilir araç navigasyon cihazı üzerinden inceleyerek literatüre bu konuda katkı sağlamaktır. Bu çıktılar sayesinde kullanıcı testi hazırlayanlar için temel bir bilgi kılavuzu oluşturulması hedeflenmiştir. Kullanılabilirlik testleri genel olarak tasarım süreçlerinde, kullanıcıların geribildirimlerinden beslenerek ürünlerin problemli kısımlarının ortaya çıkarılması, değerlendirilmesi ve geliştirilmesinde aktif rol oynamaktadır. Bunun yanı sıra daha çok tasarım sürecinin tamamlanmasından sonra yapılan kullanılabilirlik değerlendirmelerinde karşımıza çıkan ürün performans değerlendirmesi de kullanılabilirlik testleri aracılığı ile yapılabilmektedir. Kullanılabilirlik problemlerinin tespiti için çalışmanın içeriğine ve amacına bağlı olarak çeşitli yöntemler kullanılmaktadır. Bu çalışmada, kullanıcılardan ürün kullanımıyla ilgili bilgi toplamak için hem uzman gözlemleri hem de kullanıcı yorumları değerlendirmeye alınmıştır. Özellikle kullanıcı yorumları için geçmişe yönelik yüksek sesli düşünme (retrospective think aloud) yöntemi kullanılmıştır. Bu yöntemde kullanıcılar ile her işlem sonrasında işlem sırasında karşılaşılan problemler detaylı olarak değerlendirilmiştir. Bunun yanı sıra performans ölçümü yöntemi de kullanılmıştır. Bu çalışmada kullanıcılara taşınabilir navigasyon cihazı ile daha çok sürüş öncesi süreçte yaptıkları 6 işlem verilmiştir. Bu işlemler, kayıtlı adrese rota hazırlama, ev adresini güncelleme; favori adres ekleme; mevcut rotaya ara adres ekleme; kısa yol menüsü oluşturma; harita ekranı bilgi okuma-güncelleme; hız limiti sesli uyarı ayarı gibi görevleri içermektedir. Toplamda 20 kişi her birinde 5 kişinin bulunduğu 4 gruba ayrılmıştır; 5 deneyimsiz ve 5 deneyimli kullanıcı düşük uygunluklu prototip (kağıt) ile; diğer 5 deneyimsiz ve 5 deneyimli kullanıcı ise yüksek uygunluklu prototip (ürünün kendisi) ile çalışmıştır. Her kullanıcı grubu aynı işlemleri gerçekleştirmiş olup yapılan testler ortalama otuz dakika sürmüştür ve daha sonra değerlendirilmek üzere kaydedilmiştir. Kullanılabilirlik problemleri, kullanıcı testlerinin en önemli çıktılarıdır. Bu çalışmada, bulunan kullanılabilirlik problemleri miktar, önem dereceleri ve tip çeşitliliklerine göre analiz edilmiştir. Problemlerin önem dereceleri, düşük, orta ve yüksek olmak üzere üç seviyede değerlendirilmiştir. Problem tip çeşitlilikleri için ise öncelikle bir kategori listesi hazırlanmıştır. Hazırlanan bu liste kullanılabilirlik testleri sonrasındaki problemlerin içerikleri temel alınarak tekrar revize edilmiştir ve problemler ilgili kategorilere ayrılmıştır. Bu problem kategorileri; “içerik, sayfa yapısı, kullanım akışı, menü kategorizasyonu, interaktif elemanlar, sistem durumu- geribildirimler ve estetik-görseldir. Ek olarak, kullanıcı ve prototip grupları arasındaki performans verileri (başarı oranı ve işlemler için harcanan süre) değerlendirilmiştir. Bu analizlerden sonra hangi kullanıcı grubunun hangi prototip tipinde daha çok data sağlayarak aktif rol aldığını belirtmek mümkün olabilmiştir. Literatürde, incelenen örneklem sayısının, her grup için 5 kişi, istatistiki olarak anlamlı sonuçlar elde etmek için yetersiz olduğu belirtilmektedir. Ancak bu çalışmanın sonucunda, kullanıcı uzmanlığı ve prototip uygunluğunun kullanılabilirlik testi çıktılarına etkilerini gözlemleyebildiğimiz istatistiki olarak anlamlı sonuçlar da elde edilmiştir. Çalışmanın en önemli bulgularından birisi, deneyimsiz kullanıcıların deneyimlilere göre toplamda istatistiki olarak önemli ölçüde daha çok kullanılabilirlik problemi ortaya çıkarmış olmasıdır. Bu iki grup arasındaki fark düşük uygunluklu prototipte daha fazladır. Kullanıcı grupları ve prototip tipleri arasındaki farkları daha iyi analiz edebilmek için, ortaya çıkarılan problemler sebepleri de dikkate alınarak yapılan gruplamaya göre ayrı ayrı değerlendirilmiştir. Bu gruplamanın sonuçları göstermektedir ki; ortalamalara bakıldığında en fazla içerik ile ilgili problem ortaya çıkarılmıştır. Özellikle düşük uygunluklu prototiple çalışan kullanıcılar içerik ile ilgili önemli ölçüde daha fazla problem ortaya çıkarırken, ortalama sayılar göz önünde bulundurulduğunda kullanım akışı ve sayfa yapısı ile ilgili problemler, bu prototipte daha fazla bulunmuştur. Yüksek uygunluklu prototip ile çalışanlar ise estetik- görsel kategorisinde önemli ölçüde daha fazla problem ortaya çıkarmıştır. Ek olarak, menü kategorizasyonu, interaktif elemanlar, sistem durumu-geribildirim kategorilerinde de ortalama problem sayıları göz önünde bulundurulduğunda yüksek uygunluklu prototipte daha fazla problem bulunmuştur. Kullanıcı uzmanlığı değerlendirmeye alındığında, deneyimsiz kullanıcıların deneyimlilere göre menü kategorizasyonu, interaktif elemanlar ve estetik-görsel kategorilerinde önemli ölçüde daha fazla problem buldukları gözlemlenmiştir. Bunun yanı sıra, deneyimli kullanıcılar, kullanım akışları kategorisinde deneyimsizlere göre önemli ölçüde daha fazla problem bulmuştur. Performans değerlendirme sonuçları ise deneyimli kullanıcıların deneyimsizlere göre işlemleri yaparken harcadıkları süre özelinde daha iyi performans sergilediğini göstermiştir. Bu sonuca ek olarak, ortalama değerler göz önünde bulundurulduğunda; deneyimli kullanıcıların genel olarak işlemleri tamamlarken daha başarılı oldukları gözlenirken, kullanıcı uzmanlığı ve prototip uygunluğunun kullanıcıların işlemleri tamamlama süreleri üzerinde daha az etkisi olduğu ortaya çıkmıştır. Son olarak, prototip uygunluğu ve kullanıcı uzmanlığı arasındaki etkileşim ise önemli ölçüde estetik- görsel kategorisindeki problemlerde gözlemlenmiştir. Bütün bu sonuçlar göstermektedir ki; temel amaç kullanılabilirlik problemlerini bulmak ise düşük uygunluklu prototipler yüksek uygunluklular kadar ve deneyimsiz kullanıcılar ise deneyimliler kadar efektiftir. Eğer temel amaç bir arayüzün yapısını değerlendirmek ise; çalışmanın kapsamı ve içeriği de göz önünde bulundurulduğunda kullanıcıların uzmanlık seviyeleri ve prototip uygunluk derecesi gözetilmeksizin kullanıcı ve prototip seçimi yapılabilir. Ek olarak performans ölçümünün temel amaç olarak belirlendiği çalışmalarda ise deneyimli kullanıcılar ve yüksek uygunluklu prototiplerle çalışmak daha uygundur.Usability of a product, interface or service is a crucial issue in terms of success of design. Several evaluation methods were introduced in the usability literature. Usability testing is the most reliable assessment method compared to other methods such as usability inquiry and usability inspection. Usability tests are must-have parts of the design process. They are more practical to cover the real-world experience and can be applicable to any phase of the design process of physical (consumer products; from cars to chair, computers to lamps…etc.) and digital products (such as; websites, apps, any business software…etc.). Even if the main purpose and outcomes of the usability testing differ according the studied object, in general, the main aim is to identify usability problems. Several factors can change the data provided by usability tests. Based on the Four- Factor Framework of Contextual Fidelity Model (Sauer et al, 2010), these factors are system prototype, user characteristics, test environment and task scenarios. In recent years, studies have been done to find the effects of these factors individually, especially with prototyping fidelity and user expertise. Beside these, quite a few studies in the literature were found for the effect of the combination of these factors. Only one research with a physical product was conducted for both prototype fidelity and user expertise effects on usability testing outputs (Sauer et.al 2010). Although the results of the related research provide some insight about the effects of these two factors, it is not adequate to predict the possible effects especially on digital interfaces. The purpose of this thesis is to contribute to the literature by looking at the influence of prototype fidelity and user expertise on usability testing outputs of a digital interface and interaction between these factors if any. The main contribution with these revelations will be providing knowhow for those who want to design specific usability tests. To simulate the realistic experience and let participants to complete the task without any interruption, “Retrospective Think Aloud Protocol” and “Performance Measurements” were used to gather data to achieve the desired goals. Twenty participants were used in total divided into four groups with five participants each; 5 novice and 5 expert participants worked with the low fidelity prototype (paper) while another 5 novice and 5 expert participants worked with the high fidelity prototype (the device itself). By doing this evaluation, usability problems were analyzed in terms of number, severity and variety of types. In addition, performance data (time on task, success rate) is also evaluated. Accordingly, it becomes possible to comment on which user groups takes part actively in what kind of prototypes. Although the sample size of five participants per each group has little statistical power, the results showed that, novice users found significantly more usability problems than experts in total and the difference between novices and experts was higher under low-fidelity prototype rather than high fidelity one. The study also showed that in order to understand the differences between the tested groups (novices and experts) and interfaces (low and high fidelity), usability problems must be isolated from each other. By doing this, it is important to consider on the cause of the problem to define types and subtypes for the classification with descriptions in detail. According to the result of the study, significant differences were found between user groups with the categories; use flow, menu categorization, interactive components and aesthetic & visual. In addition, content related problems were found significantly more in low fidelity prototypes and the interaction between expertise and fidelity is found significant with in the category of “aesthetic and visual”. Lastly, experts showed better performance with the time spent on test.Yüksek LisansM.Sc