Évaluation d’un système interactif Tests d’utilisabilité
description
Transcript of Évaluation d’un système interactif Tests d’utilisabilité
Interfaces et Scnarisation (COM2571)
valuation dun systme interactifTests dutilisabilitInterfaces et Scnarisation (COM2571)17 septembre 2013Grgory Petithttp://lrcm.com.umontreal.ca/greg/COM2571/1La semaine dernire On a vu :
La notion dutilisabilit
Des critres ergonomiques
La mthode dvaluation heuristique par des expertsVoila Lhomme adapt lordinateur!!!
Et donc on fait quoi aujourdhui?valuation et processus de recherche et dveloppement (R&D)Dfinir une problmatiqueMthodes dvaluation de lutilisabilitvaluation heuristiqueTests utilisateursExemple avec les non-voyantsAtelier
valuation et processus de recherche et dveloppement (R&D)PrjugsLe dveloppement et lvaluation, cest cher!
Je connais le domaine je sais que jai fait un truc bien!
On a test loutil en interne
Je sais lutiliser donc tout le monde peut lutiliser
On a fait passer un questionnaire et toute le monde aime a
Personne naime les critiques
Processus de R&DInnovationAnalyse des besoinsObservationsEntrevuesAnalyse de donnes prcdentesAnalyse des fonctionnalitsPrototypevaluationvaluation heuristiquevaluation empirique Tests techniquesTests dutilisabilitDfinir une problmatique but de lvaluationBut de lvaluationToujours prciser les objectifs de lvaluation en premier!
valuer un systme adapt aux activits et au contexte?
Quelle est la valeur ajoute du systme?
Comment mettre en place lvaluation?Rechercher les autres systmes, les usagers, les thories, les expriences qui se rapportent au systme valuer.Comparer un systme un autre ou une version antrieure observer les diffrencesUtilisabilit critres ergonomiquesImpact notion dutilit (apprentissage, vente, change) quoi a sert, qui, pourquoi? Diffrents usagers, attentesProblmatiqueUne problmatique doit permettre de correctement rpondre aux questions suivantes :
Pourquoi met-on en place une valuation?
Que veut-on valuer?
De quelle faon allons-nous faire lvaluation?Mthodes dvaluation de lutilisabilitMthodes dvaluationvaluation analytique ou heuristique
Tests utilisateursaussi appels valuation empirique avec des usagers
valuation analytiqueBase sur lanalyse des tches ou des activits - GOMS
Parcours cognitif (Cognitive walkthrough)
valuation heuristique des principes ergonomiques (par des experts) dj vu!
valuation base sur lanalyse des tches et des activits GOMSAussi appel analyse hirarchique des tches
Utile pour analyser un systme dvelopper ou des activits existantes faire avant le dveloppement!
Utile pour dvelopper la documentation
structure de tche structure dinterface
valuation base sur lanalyse des tches et des activits GOMSGOMS = Goal Operators Methods and Selection rulesButs : intentions, mmoire de la tche faire, structure explorer (Cas dutilisation) pourquoi?Oprateurs : lments d'actions, composantes, effets, input, output quoi?Mthode: organisation de la tche, des buts et des oprateurs, suite dactions comment?Rgles de slection: procdure gnrale de choix entre les mthodes comment?
Lexemple Comment ouvrir un fichier ?But: Ouvrir un fichier pour lditerOprateurs: Bureau, Dossier, Souris, ClavierMthodes: dplacements et clics souris, recherche au clavierRgles: Si je suis dans le bon dossier, dans un dossier proche ou ai accs raccourci sur mon bureau, prfrer la manipulation souris Si je suis dans un dossier loign, prfrer la recherche16Application du modle GOMSUtile lorsque la tche est organise sous formes dtapesDcrire le comportement idal de la tchePermettre de caractriser les diffrences entre modles usagers et tches prvuesPermet de distinguer les novices, les experts et les mthodes efficaces pour la formationPermet de choisir des versions ou options dans le systmePermet de considrer des variables comme la distance des lments, le nombre doprations, le temps de celles-ci, la difficult, l'imbricationPeut servir dcrire un systme priori et le valider sur papierParcours cognitifApproche des scnarios
Dterminer les squences dutilisationIdentifier les buts et extraire les tats par lesquels passeront les usagersExplorer les multiples chemins possibles
valuer lutilisabilit des squencesParcours cognitifPour chaque action dans la squence se mettre dans la peau dun usagerQue veut faire lusager ?Laction requise est-elle suffisamment vidente ?Lusager reconnat-il que laction rpondra ses buts ?Lusager reconnat-t-il que la rponse du systme rpond ses besoins, quil a fait le bon choix.Evaluation heuristiqueVoir cours prcdentTests utilisateursProtocole exprimentale
Mthodologie danalyse des observations
Mthodologie danalyse des traces
Utilisation des questionnairesProtocole exprimentalPrparation
Choix des sujets
Installation
Droulement Protocole exprimental prparationDfinir la problmatique
Dfinir les tches
Trouver un contexte rel dactivitProtocole exprimental - ProblmatiqueLa problmatique permet didentifier le but de lvaluation
valuation de lexprience globale rencontre sur le site?
valuation de certaines fonctionnalits seulement?
valuation dans un contexte dutilisation spcifique (mobile?) Protocole exprimental - TchesLes tches permettent de rpondre la problmatique
Pas un nombre standard de tches
valuer la dure moyenne de chaque tcheViser un temps total dune heure pour lexprimentation
Identifier les critres de russite de chaque tcheToutes les tches doivent tre ralisablesProtocole exprimental Contexte dactivitIndiquer dans le scnario de dpart quel est le contexte rel dactivit
Exemples :Votre contrat de tlphonie mobile expire bientt, vous souhaitez changer de tlphone et trouver un forfait plus avantageux.Vous souhaitez partir en vacances au soleil le mois prochain.Vous tes fan du Canadien de Montral et voulez consulter les dernires informations concernant cette quipe.Protocole exprimental Choix des sujetsEchantillon reprsentatif ou au hasard?
Mesures rptes?
Schma contrebalanc?
GroupeTemps 1Temps2ACondition 1Condition 2BCondition 2Condition 1Protocole exprimental InstallationTester si tout fonctionne :VidoAudioLapplication valuerEtc.
Parcourir de nouveau la consigneProtocole exprimental DroulementFormulaire de consentement
Consigne
Pratique de la verbalisation (think aloud)
ExprimentationIntervenir le moins possibleObserverRappeler quil faut verbaliser
QuestionnairesObservation Il faut noter :Actions de lutilisateur
Commentaires des usagers (incluant les questions poses)
Temps mis pour raliser une tche
Erreurs commises
Utilisation de laide
Rponses physiques de lutilisateur (expressions faciales)
Diagnostic des problmes ergonomiques sur le vif
Suggestions sur le vif
Laboratoire de test : LORIT
Laboratoire de test : LORIT
Supervision:Voir les postes et les camrasContrle des postes Contrle des camrasContrle des liens avec InternetContrle des enregistrements
Magicien dOz simuler les interactions dun systme en dveloppement, aide, questions suggestions. Laboratoire de test : Bell Web
Observation : Eye TrackingEye Tracking : suivi oculaire
iViewX (SMI)
ASL
Tobii T60Observation : Eye TrackingUn Eye Tracker calcule la distance entre liris et un reflet cornen
Observation : Eye Tracking
Observation : vers les motions?
Kismet
Observations : mesures physiologiquesRythme cardiaque
Sudation
Temprature
Mthodologie danalyse des observationsTranscription de vidos
Codage des observations et des commentaires des usagers selon une grille ergonomique
faire ensuite la synthse selon les grandes catgoriesTranscription de vidosTempsStatus du systmeActions et commentaires de lutilisateurProblmes et autres remarques23:00Tche 1. Connectez-vous votre compte23:15> AccueilLutilisateur essaie de trouver le lien pour se connecter ... Je pensais le trouver quelque part sur la gaucheProblme: Le modle mental de lutiilisateur propos de la localisation de la fonctionnalit permettant de se connecter ne correspond pas au modle du systme.Problme : La fonctionnalit pour se connecter nest clairement visible depuis le coin en haut droite.23:59Il trouve finallement le lien. Oh! Ctait chach ici!24:10> Mon compteLusager remplit son nom dutilisateur et son mot de passe sans problme25:00Dure de la tche : 2:00Rsultat:Succs35:10Tche 2. Analyse des tracesNombre de visites dans les diffrents environnements
Temps pass dans les diffrents environnements
Contexte du temps pass (en revenant ou en avanant, en venant do ?)
Erreurs, appel laide
Statistiques descriptives sur les donnes, tableau des frquences, des moyennes, pourcentages
Tests de comparaison entre les groupesQuestionnaireIl peut y avoir un pr-questionnaire (ge, habitudes de lutilisateur, )
Sinon, le questionnaire a lieu aprs, mais le plus vite possible!
Questions adaptes et claires
Questions fermes au dbut, puis ouvertes
Compltement daccord pas du tout daccord VS. Echelle de Likert 1 (moins) X (plus) avec 0 = ne sait pas VS. Smileyometter de Read
QuestionnairePr-tester les questions et modifier celles qui ne sont pas claires ou inutiles, lorsque tout le monde a la mme rponse
Il vaut mieux viter les questions et les remplacer par des affirmations positives en demandant lutilisateur sil est daccord
Le logiciel est-il difficile utiliser? Le logiciel est facile utiliser Lutilisation du logiciel est : 1 2 3 4 5 (1 = trs difficile; 5 = trs facile)
Type de questionQuestions fermesListe cocherSmileyometterchelle de Likert (0 X) (X = 5 ou 7)Rang par exemple, ordonner les problmes
Questions ouvertesPrincipaux problmes et solutionsCe que vous avez prfrProposition damliorations
QuestionnaireAttention leffet Hawthorn!!!
Les utilisateurs ont la fcheuse habitude de vouloir faire plaisir lexprimentateur!
Il faut donc toujours leur prciser quils ne doivent pas hsiter tre compltement transparent dans leurs commentaires. Indiquer que le modrateur na pas participer la conception du systme aide.
QuestionnaireNe pas suggrer de rponse
Ne pas embarrasser les utilisateurs
Les questions ne doivent pas tre trop vasives
Les questions ne doivent pas tre trop complexes
Lordre des questions est important
RingnierieRviser globalement latteinte des objectifs du systme, qualifier et regrouper ce qui est le plus significatif
Repenser la structure des activits, de la navigation, la structure de linterface
Faire la liste des corrections apporter au niveau du contenu textuel et non-textuel
Rviser systmatiquement les crans, les botes de dialogues, les commandes et corriger en assurant le respect des critres ergonomiques
Dire ce qua apport lexprimentation et les prochaines actions faire
RingnierieEssayer de proposer une solution globale
Changer linterface rapport trs structur
Proposer plus de guidage pour les nouveaux utilisateurs
Changer la procdure dutilisation du systme
Etc.ExempleGraphisme tactile lusage des non-voyantsProtocole exprimental Protocole exprimental graphisme tactile Trs (trop) complet car fait pour une recherche Pas parfait (les questions sont orientes)
Rsultats pour ceux que a intresse Articles scientifiques sur le site http://lrcm.com.umontreal.ca/greg/publi.htmlAtelierAtelier valuation dAmazonCe quon veut valuer :Trouver facilement ce quon cherchetre correctement conseill dans les achatsGrer facilement le panier dachat
Identifier vos types dutilisateur
Prparez la consigne (avec le contexte) et quelques phrases pour encourager la verbalisation
Choisissez des tches typiques permettant de rpondre la problmatique (dure moyenne 1h)
Questionnaire - Prparez des questions selon la problmatique
Faire une grille dobservationDes questions???
Merci de votre attention!
A la semaine [email protected]://lrcm.com.umontreal.ca/greg/COM2571/