6.5 USING SUS TO COMPARE DESIGNS

蘇承孺工商碩一

6.5.1 Comparison of ‘‘Senior-Friendly’’ Websites Traci Hart (2004) 在Wichita State

University的使用者經驗研究室，研究了三個專為老人設計的網站： Senior Net Senior Resource Seniors-Place

使用 SUS問卷來算分數 6.4.2介紹的 John Brook 1986所設計的，由

10個敘述句所組成，評定參與者的同意度高低。

6.5.1 Comparison of ‘‘Senior-Friendly’’ Websites

結果： SeniorResource顯著高於其他兩者 (參與者是超過 50歲的 21個成年人 )

6.5.2 Comparison of Windows ME and Windows XP The American Institutes for Research

(2001)請來 36個參與者 (對windows的專業能力從新手到專家都有 )

使用 SUS問卷去評分Windows XP和ME哪個比較高

結果： XP顯著高於ME(P<0.0001)

6.5.3 Comparison of Paper Ballots Sarah Everett, Michael Byrne, and

Kristen Greene (2006), from Rice University

進行一個使用性研究，比較三個不同種類的紙張選票 (泡泡式 , 箭頭式 , 開放式 )，也是用SUS問卷去測

選票請見下頁

6.5.3 Comparison of Paper Ballots

6.5.3 Comparison of Paper Ballots

結果： 1A泡泡式顯著高於 1B箭頭式、 1C開放式(P<0.001)

6.6 ONLINE SERVICES很多公司開始重視使用者對於他們網站的看法目前最流行的一個方法是 Voice of the

Customer”消費者的心聲和 post-session self reported metrics比較不同的是 Voc是在實況網路上直接做的。

大概方式是當你在一個重要的網站使用歷程後，會彈出個視窗做調查 (像是登出後、交易後 )

此節會介紹這類似的幾種線上服務

6.6 ONLINE SERVICES很多公司開始重視使用者對於他們網站的看法目前最流行的一個方法是 Voice of the

Customer”消費者的心聲和 post-session self reported metrics比較不同的是 Voc是在實況網路上直接做的。

大概方式是當你在一個重要的網站使用歷程後，會彈出個視窗做調查 (像是登出後、交易後 )

此節會介紹這類似的幾種線上服務

6.6.1 Website Analysis and Measurement Inventory Website Analysis and Measurement

Inventory(WAMMI)是一個線上的服務，從一個早期的使用性測量量表 (SUMI)所發展而來

兩者都由 Human Factors Research Group (HFRG) 所研發

SUMI是設計來評估軟體應用，WAMMI是用來評估網站， HFRG團體目前正在發展一個MUMMS的問卷，用來測量使用性。

6.6.1 Website Analysis and Measurement Inventory

WAMMI介紹 由二十陳述句所組成，五點量表，和SUS一樣，有些題目是反向題 平均是50分，滿分一百

6.6.1 Website Analysis and Measurement Inventory WAMMI分為五個構念 Attractiveness,

Controllability, Efficiency, Helpfulness, and Learnability

WAMMI最主要的優點是題目可以自創，且和評量量表連結。

已經有數百個網站的 data base，可供你對照自己的網站

6.6.1 Website Analysis and Measurement Inventory

Sample data 五個向度的平均分數如上 總分是56.5

6.6.2 American Customer Satisfaction Index American Customer Satisfaction Index(ACSI) 美國顧客滿意指數

Stephen M. Ross Business School of The University of Michigan開發的

涵蓋大部分的工業，例：零售、汽車、製造。 www.ForeSeeResults.com應用ACSI去對線上的產品和服務作調查，並提供一個滿意指標

現在ACSI廣泛在分析美國政府的的網站 92個美國政府網站在 2006年第二季提供分析數據這個問卷的核心問題有 14~20個問題 (請見下頁 )

6.6.2 American Customer Satisfaction Index

6.6.2 American Customer Satisfaction Index 10點量表對於網站使用經驗的每個屬性 (例：資訊質量、資訊更新速度… ..)進行 rating

對於使用者的資訊也會記錄 (訪問網站內容、頻率… .)來幫助公司有意義的組織使用者

6.6.2 American Customer Satisfaction Index

下頁呈現一個 Foresee對某資訊網站的滿意度分析例子 包含六個影響滿意度的層面：

內容 功能 外觀和感覺 導引 搜尋 網站呈現方式

6.6.2 American Customer Satisfaction Index

FIGURE 6.20 評六個面向，在最左側 (例：內容、功能、導引… .) 總分在中間 71分 最右邊是未來行為的評分 Impact on的分數是指對自己的影響力

6.6.2 American Customer Satisfaction Index

對自己的影響力

6個分類的滿意度

最需要改善

6.6.3 OpinionLab Opinion Lab (www.OpinionLab.com) provides for page-level feedback from

users(在頁面上有個按鈕可以按，點了跳出問卷 )

6.6.3 OpinionLab

五點量表，選項從 - -到++，opinionlab提供一個視覺化的分析技術，可以清楚看到結果。請見下頁

6.6.3 OpinionLab

最多人閱讀的 200個頁面中，評分最負面的在左邊，上方的是普通的，右邊是正面的。

6.6.4 Issues with Live-Site Surveys對於 Life-site必須要解決的議題

題目數：題目多，就沒人想答，題目少，得不到資訊。

受訪者數量：許多這類型的服務會設定百分比，去抓受訪者數量，但仍需密切觀察來增加或減少人數。

非重複的受訪者：訪問到重複的受訪者相當麻煩，通常可藉由 cookies(電腦暫存紀錄 )來預防。

6.7 OTHER TYPES OF SELF-REPORTED METRICS目前的自陳技術，都是用來評估使用者對於產品或網站做一個使用後整體的評分，但根據可用性研究的目標，應該是要請使用者對特定的元素做評分。

6.7 OTHER TYPES OF SELF-REPORTED METRICS 以下介紹一些產品或網站的屬性

Visual appeal視覺吸引力 Perceived efficiency知覺效率 Usefulness好用性 Enjoyment樂趣性 Credibility可信性 Appropriateness of terminology用詞適當性 Ease of navigation簡便導航系統 Responsiveness回應性

以細節去評分，會更全面性的兼顧到所有特定屬性。

6.7 OTHER TYPES OF SELF-REPORTED METRICS評估特定屬性的可用性研究：

網站視覺吸引力多快讓使用者產生印象(Lindgaard et al., 2006)

在網站中的每個頁面刷新影像 (50毫秒或 500毫秒 )

請受試者針對每個頁面進行視覺吸引力評估 (一個主要評估，五個細項評估：有趣 /無聊、好設計 /爛設計，好顏色 /爛顏色、好圖案 /爛圖案、富想像力的 /無想像力的 )

結果： 50毫秒和 500毫秒都一致

6.7 OTHER TYPES OF SELF-REPORTED METRICS幾年前，做了一個研究，是調查如何讓網站能活絡，我們定義一個活絡的網站必須要 能激發興趣與好奇心 讓你想進一步探索網站 讓你想重新訪問該網站

參與者看完這些網站後，評估這些網站是高度活絡還是低度活絡

6.7 OTHER TYPES OF SELF-REPORTED METRICS一個對於受試者評分的資料常用的分析技術是：專注觀察較高分及較低分的一~二個群體，這個通常被稱為‘‘ top-2-box’’ or ‘‘bottom-2-box’’ scores。

最近我們常使用這個技術在評鑑受試者對於首頁讀取速度的回饋。

我們人為將讀取時間設定成 1~11秒，觀察受試者的反應， 5點量尺評分 (1或 2是不能接受、 4或 5是可接受 )，取不能接受和可以接受出來化成下頁的表。

6.7.2 Assessing Specific Elements 在評估產品或網站上，可能會感興趣在評定它的特定元素。 通常在評定特定元素的技術都是相同的，會要求受試者專注在特定元素上然後給予適當分數。

The Nielsen Norman Group (Stover, Coyne, & Nielsen, 2002)進行一項研究，在受試者使用網站以後，完成了一份有關網站地圖的問卷，共十個網站進行這份測試。

The site map is easy to find. The information on the site map is helpful. The site map is easy to use. The site map made it easy to find the information I was

looking for. The site map made it easy to understand the structure of

the website. The site map made it clear what content is available on the

website.

6.7.2 Assessing Specific Elements每一個問題都是七點量表，極度不同意，到極度同意，再平均各個問題的結果。

10個網站都各有一個總分這是一個網站更可靠的評分案例，將不同的特徵評分，然後平均在一起。

6.7.2 Assessing Specific Elements Tullis (1998)候選人的網頁設計要求使用者對於 page format,

attractiveness, and use of color進行評分五點量表 (-2(poor),-1,0,1,2(excellent))覺得設計最好的是模板 1、最差的是模板 4

6.7.2 Assessing Specific Elements這個研究也闡釋了對於替代方案的比較研究可以從中分析那個模板比較好 48%的參與者選擇模板 1最好， 57%參與者選擇模板 4最差。

6.7.3 Open-Ended Questions使用性研究上，常包括一些開放式問題最常見的，是讓受訪者自己加上一個對於已有評分的意見或評論。

另一種是要求使用者列出對於產品最喜好的部分 3~5點，跟最厭惡的部分。

這些可以轉化為指標。

6.7.4 Awareness and Comprehension一個可能模糊差異的方式：詢問受試者對於網站的一些問題，但是只能靠記憶，不能點回去看。

例如：會給受試者短暫瀏覽網頁的機會，然後給它們一個作業是去閱讀有關太空站的新聞。接著使用者必須去回答一份問卷，是這個網站是否有這些資料。受訪者會指出是否他記得這個網站有這些資料

這個方法也是得到受訪者是否理解網站的方式。

6.7.4 Awareness and Comprehension和上一個密切相關的技術是：在使用者和網站進行互動後，給它們一個測驗，以測驗它們對網站上的信息學習及理解

如果使用者在使用網站前，就已經了解部分在此網站的訊息，那就必須要做一個前測去了解他們已經知道什麼，比較他們逛了網站後多了解了甚麼

如果使用者沒有公然的被導引到這些資訊上，那就被稱為‘‘ incidental learning’’ technique.

6.7.5 Awareness and Usefulness Gaps就是去了解是否受試者所知覺到的訊息和當初所想要呈現的 (例：資訊、功能、知覺可用性 )，有所差異，是非常有價值的分析。

例如：如果大量的受試者都沒察覺到一個特殊的功能，一旦它們發掘了這樣功能，會覺得他是非常有用的，製作者就應該將這個功能在網站中做出突顯。

6.7.5 Awareness and Usefulness Gaps要分析：察覺與使用性的鴻溝，我們可以詢問受試者對於察覺性的 yes/no問題。

例如：您再調查前有在此網站察覺到這個功能嗎 (yes/no)？這個功能對您有多有用呢(1~5)？

接著就可以使用 Top-2-box scores去做分析(請見下頁 )

Feature 2 察覺到的最少，但卻是最有用的。

Summary 有許多技術都可以從自陳報告的數據中得到使用性指標，但是下列重點要謹記： 考慮從任務的執行中得到自陳資料，但從使用性的討論中結束。Task-

level的資料可以幫助你辨認到底是何處需要改進 .而 session-level可以激發關於整體使用性的 sense。

在實驗室中測試，考慮使用標準化的問卷，去評鑑受試者對系統的反應，即使受試者樣本數不大，System Usability Scale仍然是相當有效的方法。

當從實況網站上測試，考慮使用其中一種線上的服務去測量使用者滿意度 .最大的優點是它們可以用它們的文獻數據庫，幫你比較你的網站和大量的其他網站。

可以更有創意的使用其他量表，如果可行，可以用不同的方式詢問一個topic，將這些結果平均，來得到更一致的資料。要小心地建構新的評分量表，開放式的問題做出適當的使用，並在產品互動後檢驗受試者的理解和覺知程度。

End & Thanks for listening