Que valent les tests utilisateurs à distance ?

Je suis dernièrement tombé sur cet article publié sur R/WW : Eye-Tracking & User-Testing Made Easy with YouEye. Il y est question de la start-up YouEye qui propose des tests de eye-tracing à distance reposant sur la webcam des participants. En fait l’offre est un peu plus sophistiquée, car il propose de créer / gérer des sessions de tests à distance dont le format de sortie est un mélange de eye-tracking, capture vidéo (écran + participant) et heat map (en fonction des mouvements de la souris).

Eye-trakcing à distance avec YouEye

Ils ne sont pas les seuls à proposer ce genre de prestation puisque GazeHawk ou UserLytics ont des offres équivalentes. À priori ça ressemble à une arnaque, à postériori, le recours à des solutions pilotées à distance mérite réflexion. Nous sommes ainsi tous d’accord pour dire qu’une session de tests regroupant physiquement les participants et les observateurs dans une même pièce est bien plus enrichissante qu’une session à distance. Il n’empêche que les solutions de tests à distance peuvent s’avérer très utiles d’un point de vue quantitatif.

C’est en tout cas ce que je retiens de différents articles publiés sur le sujet : Unmoderated, Remote Usability Testing: Good or Evil? et Pros and Cons of Remote Usability Testing. En fait le débat ne se limite pas au eye-tracking et concerne tous les tests en rapport avec l’ergonomie informatique. Ceux qui en ont déjà organisé savent à quel point les sessions de test sont complexes à mettre en oeuvre. En théorie, les outils de communication avec partage d’écran comme Skype, WebEx, GoToMeeting… pourraient suffire à faire du test à distance de premier niveau, mais il existe des services en ligne avec une approche plus industrielle comme  UserZoom, Loop11, UserTesting, EyeUsability, Usabilla… (voir une liste exhaustive sur Remote Usability Tools). Ce type de services pourrait par exemple être utile pour vérifier des hypothèses et remonter des données quantitatives (délais et taux de complétion d’une tâche en particulier).

Par contre, dans le contexte bien particulier du eye-tracking, j’ai un peu plus de doutes. L’oculométrie en effet une discipline qui demande de la rigueur et de l’expertise. De la rigueur dans l’échantillonnage du panel ainsi que dans la configuration de la salle de test et le calibrage de la machine. De l’expertise dans l’interprétation des données. Je ne suis pas un expert en oculométrie, mais le peu que je connais de cette discipline est que les observations peuvent être trompeuses.

J’ai ainsi souvent recours aux analyses de sociétés spécialisées comme Miratech dans mes articles, leurs interprétations prouvent à chaque fois qu’il faut savoir lire entre les lignes. Mais ça ne veut pas dire que les tests à distance ne valent rien, simplement qu’ils doivent être exploités en fonction de la valeur qu’ils apportent à la réflexion. Comprenez par là qu’il est possible de collecter une grosse quantité de données à valeur ajoutée (commentaires oraux, déplacements de la souris, langage corporel, expressions faciales…) mais qui ne sont pas suffisamment rigoureuses pour justifier une décision impactante.

Ces tests à distance sont donc les compléments idéaux de tests « grandeur nature ». En combinant ces deux types de tests, vous aurez des retours terrain encore plus riches (cf. 6 Ways Eye Tracking Is Changing the Web).

5 commentaires pour “Que valent les tests utilisateurs à distance ?”

  1. Posté par Robin Azéma a dit : le

    Assez d’accord, certes ces tests à distance ne valent pas des « vrais tests » sur le plan qualitatif mais ils permettent de réduire les coûts la plupart du temps et/ou de recueillir des données quantitatives.
    A priori, c’est une pratique qui va être amenée à se développer fortement.

  2. Posté par Olivier Sauvage a dit : le

    Bonjour Fred,
    Merci pour cet article fort détaillé. On découvre toujours des choses sur tes blogs.
    Pour ce qui concerne la technologie de eye-tracking à distance, je reste extrêmement dubitatif surtout quand on connaît la complexité et le coût des eye-trackers (comme celui de Tobii). Ceux-ci utilise une technologie de suivi du regard basé sur l’infrarouge qui seul permet de suivre vraiment en temps réel les mouvements oculaires. De plus, les besoins en capacité de calcul pour suivre le regard sont plutôt imposant et nécessite des machines puissantes.
    Si on suppose que le eye-tracking à distance puisse fonctionner, on ne peut que douter fortement de sa qualité (quid de la puissance machine du client ? Quid de la capacité à repérer les mouvements oculaires ?). Bon, les américains sont balèzes et innovants, c’est sûr, mais ça me laisse fortement dubitatif.
    En revanche, les tests à distance sont une chose tout à fait possible et peut-être plus pratique que les tests in-situ. Je sais que beaucoup d’agences le font et que ça doit être assez riche d’enseignements. En revanche, je me pose la question de la population cible : pouvoir faire ce genre de test à distance ne filtre-t-il pas immédiatement les panels dans une certaine catégorie de population ??

  3. Posté par Olivier Sauvage a dit : le

    Bon, j’ai fait plein de fautes d’orthographe. C’est ça de ne pas se relire.

  4. Posté par John a dit : le

    Bel article. D’ailleurs, en France ce type de site commence à arriver, ce qui est quand même plus pratique (et puis ça fait vivre des entreprises française ^^). Je suis notamment tombé sur Testapic (www.testapic.com) qui propose des tests utilisateurs (je vous ai mis un lien vers un billet de leur blog franchement intéressant) et leur offre est franchement attractive…à voir en pratique après; mais je pense faire tester quelques site via cette solution.

  5. Posté par Mikael Lothodé a dit : le

    Bonjour, je cherche des outils pour faire des tests en France.. malheureusement je ne trouve rien, des pistes?