Améliorer l’expérience grâce au journal de bord

Cet article est une transcription de ma conférence sur la méthode du journal de bord. Dans le cadre d’un projet de refonte, nous avons plusieurs fois utilisé cette méthode pour évaluer, sur une période de temps, la façon dont nos utilisatrices et utilisateurs interagissaient avec notre outil. Cela nous a permis d’énormément l’améliorer avant son lancement final. Je partage ici mon processus étape par étape – de la mise en place de l’étude à l’analyse des résultats – et les enseignements clés qu’on en a tiré. Si vous êtes curieuses de savoir comment un journal de bord peut aider à améliorer un produit avant son lancement, ou recherchez simplement un retour d’expérience sur cette méthode, vous êtes au bon endroit ! La version Française n’a pas été enregistrée, mais vous pouvez visionner une version en anglais en vidéo.

Contexte : migration d’un outil interne d’entreprise, de plus de 18 ans

Je vais illustrer cet article à l’aide du projet de recherche dans lequel nous avons mis en place la méthode du journal de bord. Pour mieux comprendre, il vous faut un peu de contexte sur notre projet. 

Je travaille pour la Banque Européenne d’Investissement. Je simplifie un peu volontairement, mais imaginez une banque classique, qui fait des prêts à différentes entitiés, mais avec des montants un poil plus élevés qu’une banque classique (et quelques obligations supplémentaires). 

Durant 4 ans, j’ai travaillé sur la migration d’un des plus gros outils de la banque, qui permet, en simplifiant un peu, aux employés en interne de suivre toutes les étapes d’un projet de prêt. L’ancien outil avait 18 ans, est utilisé par plus de 2000 personnes, dans 6 groupes user. Et nous avions plus de 400 pages de contenus à migrer. La diversité des tâches dans l’outil est immense.  

Analyse de l’existant

Nous avons commencé la migration par une analyse de l’existant. Nous savons que nous devons migrer 400 pages. La question est : par où commencer ? Nous nous sommes lancés dans une analyse de l’utilisation des pages existantes. Comme nous n’avons pas de “vrai” outil d’Analytics, nous avons utilisé les données serveur. Cela nous a donné une idée des pages les plus visitées, sur lesquelles nous devons nous concentrer.  

Nous avons également lancé une analyse des contenus des pages : dans un gros fichier Excel, nous avons répertorié et catalogué les contenus principaux du site actuel. Une première analyse nous a déjà permis de cataloguer les contenus dupliqués. À ce stade, nous ne savons cependant pas vraiment « pourquoi » les pages les plus visitées le sont, et quels contenus y sont utiles. 

Phase de recherche exploratoire et analyse de tâches

Pour mieux comprendre ce que font les employés avec ces pages, et quels contenus / fonctionnalités sont prioritaires, nous avons une phase de recherche exploratoire en planifiant de nombreux entretiens individuels.

Le but était de comprendre :

• Les tâches à accomplir au quotidien avec l’outil
• Ce qu’il faut faire pour chaque tâche (activités)
• Comment c’est effectué
• Les dépendances en termes d’outils, mais aussi de personnes au sein de l’organisation
• Les frustrations et points de frictions actuels

Une grosse partie des entretiens sont très vite devenus des sessions d’observations, où nos utilisatrices et utilisateurs partageaient leur écran pour nous aider à comprendre leurs différentes tâches quotidiennes. Pour celà, nous nous sommes aidés du User Task Canvas – Cards & Interview Guide de Geoffrey Crofte’s et Julie Muller, que nous avons adapté en format A4.

Test utilisateur d’observation sur une version beta

Je saute un peu des étapes, mais, en résumé, cette recherche exploratoire nous a permis de très vite commencer à designer et développer les premières pages et fonctionnalités du nouvel outil.  Certaines des “grosses” fonctionnalités ont également fait l’objet de test utilisateurs en amont sur des prototypes Axure, pour évaluer très tôt une solution sans avoir à la développer.

Au bout de plusieurs mois, nous avons alors une version bêta, avec des pages et des fonctionnalités développées. Nous l’avons petit à petit ouverte à différents groupes, segmentés autour des différentes tâches à accomplir. Nous l’utilisons pour lancer des sessions de test utilisateurs.

Durant ces sessions, nous demandions aux participantes et participants d’accomplir la tâche qu’iels font d’habitude avec l’ancienne version, mais, à la place, de le faire avec notre nouvel outil. Nous observions et posons des questions supplémentaires

---

Si vous avez besoin d’aide avec les entretiens utilisateurs, j’ai d’ailleurs un article très détaillé sur le sujet. N’oubliez également pas de jeter un coup d’œil à mes ressources

Voir les templates sur ma boutique

---

Le besoin d’une méthode d’évaluation sur le temps

En raison de la diversité des tâches réalisées quotidiennement avec l’outil, il était impossible de tout couvrir pendant les sessions d’une heure. Nos participantes nous expliquaient “je fais ça aujourd’hui, mais demain, je vais sans doute chercher ce type d’information, et travailler sur cette partie d’une opération financière.”. 

Nous avions besoin d’une méthode d’auto-évaluation pour recueillir des données sur l’utilisation réelle sur une période prolongée. C’est à ce moment-là que nous avons décidé de mener des études de journaux de bord.

La Méthode UX du journal de bord

Le journal de bord (User Diary en anglais), est une méthode auto-déclarative, qui permet d’évaluer une expérience, à travers le temps, avec le même groupe d’utilisatrices et utilisateurs. C’est une méthode plutôt utilisée en phase d’exploration des besoins.  Mais, elle peut être utilisée en phase d’évaluation (comme nous l’avons fait), pour évaluer des systèmes existants, ou prototypes de nouveaux systèmes.

Concrètement, à quoi ça ressemble ?  On demande aux personnes de reporter leurs actions, leurs pensées, leur utilisation, habitudes dans un “journal de bord” durant une période donnée. La forme dépend de l’étude (j’y reviens plus tard dans cet article). On peut récolter du texte (questionnaires), mais aussi des photos, vidéos, etc.

L’intérêt global, est que les participantes et participants vont reporter en contexte; et pas à posteriori comme souvent dans la collecte de feedback.

L’intérêt pour mon projet:

• Avoir accès à des données sur un usage en “contexte réel”, en dehors de notre session de test limitée dans le temps
• La méthode ne nécessite pas une observatrice. Je suis seule sur le projet, faire du shadowing de beaucoup d’utilisatrices et utilisateurs aurait été compliqué et chronophage.

Mise en place d’un journal de bord

Passons au vif du sujet : comment mettre en place cette méthode, et comme nous l’avons mis en place sur notre projet.

Le plan de recherche

Comme toute étude, la première étape est de définir un plan de recherche. Ici ce qui est important:

• Quel est l’objectif de recherche ? Dans mon cas : évaluer, si les utilisatrices peuvent travailler, au quotidien avec la nouvelle version de l’outil sur le long terme, sans avoir à retourner sur l’ancienne version.  Le cas échéant, découvrir ce qui manque / ne fonctionne pas
• Quel est le cadre / groupe ? Dans mon cas: 5 groupes différents qui ont eu accès à la beta à différents moments du projet
• Combien de temps ? A la banque, nous avons lancé la même étude 4 fois, sur un intervalle de 2 ans. Nous étions partis sur 1 mois, mais finalement nous leur avons plutôt laissé 1 mois et demi voir 2 mois

PS: si vous avez besoin d’aide avec le plan de recherche, j’ai un truc, je crois ???

Préparation du journal : quelles données capturer et comment

Décider de ce qu’on va capturer 

Ce que vous allez vouloir capturer dépend de votre étude. C’est vraiment très ouvert comme format, vous pouvez décider de capturer différents aspects : 

• Tâches, activités, habitudes, motivations, impressions globales, fréquence d’usage, difficultés, sentiments…
• Texte, audio, vidéo, photos, artefacts physiques…

Pour mon projet, nous avons choisi un format texte. Nous avons voulu capturer des points de friction qui empêchent les personnes d’accomplir la tâche. Nous leur avons également demandé d’ajouter si possible des captures d’écran. 

Mais, on peut imaginer vouloir capturer des artefacts autour de l’expérience. Par exemple, si vous faites une étude pour améliorer des interfaces dans une usine, ça peut être intéressant de demander aux personnes des photos de leur environnement, voir des courtes vidéos, pour mieux comprendre le contexte d’usage. 

Définir le déclencheur

Il vous faut ensuite choisir le déclencheur : qu’est-ce que qui va faire, que la personne va ajouter une entrée dans le journal ? Le type de déclencheur dépend de votre question de recherche et de ce que vous essayez de comprendre dans votre étude. En général, il y en a 3 types :

• Des intervalles spécifiques: enregistrement à un intervalle régulier prédéfini (par exemple tous les 3 jours, chaque jeudi soir, etc.)
• Basés sur des événements: enregistrement uniquement lorsque des événements spécifiques se produisent. C’est très utilisé quand on ne peut pas “prévoir” un événement ou intervalle de temps (une erreur, par exemple.)
• Des rappels ou signaux : un signal déclencheur est envoyé par l’UX researcher, demandant à la personne de remplir. On a moins de soucis d’oublis, mais ça peut-être intrusif.

Note: si on passe par un outil dédié,  les déclencheurs peuvent être automatisés (par exemple, envoyer le questionnaire automatiquement, et des rappels)

Pour mon projet, nous avons utilisé les déclencheurs basés sur des événements, formulé ainsi : « Chaque fois que vous devez revenir à l’ancien outil pour faire quelque chose, consignez ce qui vous empêche de travailler avec le nouveau (contenu manquant, quelque chose que vous ne comprenez pas ou qui est frustrant, etc.). » 

Décider du format et des outils

Comment souvent dans une étude, il existe 3 types de structures : 

• • Ouvert : la personne rapporte avec ses propres mots, dans des champs texte, audio ou vidéo.
  • Fermé : questions fermées, à choix multiple, textes à trous, complétion, etc.
  • Mixte : un mélange entre capture ouverte et fermée

Nous avons opté pour un format mixte.

Comme nos participants travaillaient dans une banque, nous avons utilisé Excel. Ce n’était pas extravagant, mais nos utilisatrices et utilisateurs à la banque y sont habitués. D’autres options existent par exemple : 

• Journal papier. Par exemple, le Luxembourg a lancé une étude sur la consommation des ménages. Ils ont demandé de noter, dans un carnet envoyé par voie postale, tous les achats du foyer, sur deux semaines. Bonne chance aux personnes qui vont analyser ça ! 
• Journal de bord numérique: il existe différents outils de journaux de bord numériques, pas forcément pour de la recherche utilisateur. Mais vous pouvez les réutiliser pour une étude UX. J
• Outil de questionnaire: si vous collectez surtout du texte (voir de la photo et vidéo), vous pouvez utiliser un outil de questionnaire en ligne (par exemple, user testing. La seule contrainte: il faut que tant que l’outil permette de remplir plusieurs fois le même questionnaire.
• Outil de communication: on peut imaginer utiliser Slack, Whatsapp ou même des SMS pour collecter des données. L’intérêt est qu’on peut facilement mettre en plus un déclencheur par signal. Extraire la donnée est cependant peut-être un poil plus compliqué.

On pourrait argumenter que le type de données va orienter le format / outil de capture et vice versa. Le format et l’outil sont assez libres, là encore, et vont dépendre de votre étude. 

Conduire une étude de journal de bord

Piloter l’étude

Avant le lancement, nous avons testé l’étude avec des membres internes de l’équipe. Cela nous a permis d’affiner les questions et d’identifier d’éventuels problèmes techniques.

Recrutement

Les études de journal de bord demandent un engagement important, il est donc essentiel d’être transparent. Lors du recrutement, voici quelques points à surveiller :

• Soyez transparent sur le temps que les participants devront consacrer à l’étude.
• Offrez une compensation qui reflète le temps et l’effort investis.
• Cette méthode a un taux d’abandon plus élevé que d’autres méthodes. Cela signifie que vous devrez peut-être recruter plus de participants pour compenser les abandons.

Lancement et suivi

Organisez une session de lancement avec les participantes : présentez l’étude et son contexte. Expliquez-leur combien de temps ça va durer,  (et l’engagement attendu de leur part), et précisez le déclencheur : quand devront-elles consigner leurs entrées.

Nous avons commencé par une session de lancement pour :

• Expliquer les objectifs et la durée de l’étude.
• Montrer aux participantes et participants comment consigner leurs entrées, avec un exemple
• Fournir des informations de contact pour toute assistance.

Si l’étude dure longtemps, pensez à faire des suivis réguliers, surtout si vous récupérez les données au fur et à mesure (formulaire par exemple) et constatez que ne recevez pas grand-chose. Pour mon projet, nous avions régulièrement envoyé des petits e-mails de rappel, pour maintenir l’engagement et s’assurer que personne n’avait de soucis.

Collecte et récupération des journaux

Si vous ne collectez pas les données en direct et que vous demandez aux participantes et participants de renvoyer un journal, quel que soit son format, voici quelques recommandations :

• Prévenez quelques jours avant la fin si vous récupérez des fichiers / artefacts
• Facilitez la récupération des journaux (par exemple, par e-mail ou via un système en ligne simple).
• Remerciez les participantes et participants et expliquez comment recevoir leur compensation.

Dans mon projet, quelques jours avant la date limite, nous avons envoyé un email de rappels pour informer que nous allions collecter leurs journaux bientôt. Il leur suffisait de répondre à notre email en attachant le fichier. Nous avons fini avec un taux de récupération de 80%, ce qui est franchement pas mal pour une étude aussi longue.

Voici un autre exemple de facilitation de la récupération : lors de l’étude lancée au Luxembourg sur la consommation des ménages mentionnée plus haut, les ménages ont reçu en plus du journal de bord, une enveloppée pré-remplie et pré-timbrée. Les ménages n’avaient qu’à insérer leur journal complété dans l’enveloppe et à le déposer dans une boîte aux lettres.

Analyse et utilisation des données

Pour le contexte, souvenez-vous que les données ici sont des retours d’utilisation du nouvel outil, sur une période d’un mois et demi. Analyser les données d’une étude journalière demande une certaine organisation. Rappelez-vous : plus vous collectez de données, plus leur analyse prendra du temps. Je ne vais pas entrer dans les détails d’une analyse quantitative et qualitative, mais voici comment nous avons procédé pour nos données ; 

• Fusion et nettoyage des doublons : une fois les différents journaux Excel récupérés, nous avons fusionné toutes les entrées dans un seul fichier et supprimé les doublons.
• Catégorisation  : il n’y a pas de méthode magique pour analyser une telle quantité de données, il faut tout parcourir. Avec un collègue, nous avons lu chaque entrée et l’avons catégorisée par type (par exemple, problème d’utilisabilité, bug, ou amélioration) et par gravité (de mineur à critique).
• Second nettoyage : nous avons effectué un second passage pour retirer les bugs de la liste et les traiter séparément.
• Identification des thèmes : nous avons alors recherché des thèmes récurrents dans les données. Ces thèmes nous ont, par exemple aidés, à identifier les améliorations nécessaires dans l’interface, mais aussi, où et comment ajuster le moteur de recherche.
• Actions à prendre : une fois les thèmes identifiés, nous avons pu décider des actions à prendre pour différents retours. Nous avons commencé par  corrigé les bugs signalés dans les journaux. Pour certains problèmes d’ergonomie, nous avons contacté les participants pour obtenir plus de détails (cela est abordé plus loin dans la section sur le suivi). Nous avons également retravaillé certaines parties de l’interface pour corriger des soucis d’utilisabilité. Nous avons identifié du contenu manquant et l’avons priorisé pour la migration. Enfin, nous avons développé des supports de formation pour aider les utilisateurices et utilisateurs à s’adapter aux futures changements. Ces ressources incluaient des FAQ, des vidéos et de la séance de formation adaptées à leurs besoins.

Petit aparté sur la gestion du changement et le besoin de formation sur une nouvelle interface : lorsque vous travaillez dans des environnements d’entreprise, les utilisatrices et utilisateurs s’attendent souvent de la formation sous différentes formes (FAQ, vidéos, séance de formation réelles, etc.). Cela ne signifie pas que vous avez échoué en tant que designer, mais que vous travaillez dans un environnement très complexe où les gens ont besoin d’aide pour faire leur travail avec l’outil.

Suivi post-étude

L’étude ne se termine pas après la collecte et analyse des données. Le suivi est également très important. Voici quelques actions de suivi que nous avons menées :

• Nous avons clarifié les entrées peu claires en demandant des détails supplémentaires aux participantes et participants lors de sessions individuelles.
• Nous avons exploré de nouveaux sujets soulevés pendant l’étude et confirmé les contenus manquants lors de sessions de suivi individuelles.
• Nous avons partagé une synthèse des retours et des actions avec nos participantes et participants, pour leur montrer comment leurs retours ont influencé les prochaines étapes de la refonte

Comme je travaille directement chez le client, techniquement, mes utilisatrices et utilisateurs sont mes collègues, et l’ensemble du projet repose sur la confiance et la transparence. Nous n’avons bien sûre pas partagé en détail le backlog avec elles, mais le but est de montrer les avancées, avant la mise en production finale.

Vous pouvez aussi utiliser les suivis pour collecter des retours sur la méthode du journal de bord elle-même. C’est super utile, surtout si on envisage d’en mener plusieurs à l’avenir avec la même cible.  

Amélioration continue du produit

Les données des journaux ont influencé notre roadmap, pour une amélioration continue de l’outil avant le lancement final. Ils ont été une mine d’or pour l’amélioration continue. Ils nous ont aidés à :

• Collecter des données contextuelles, pour des cas d’utilisation réels que nous ne pouvions pas capturer lors des sessions de tests utilisateur.
• Découvrir du contenu non migré qu’on avait loupé et qui était crucial pour la réussite de la migration
• Identifier et corriger des problèmes d’ergonomie spécifiques sur des sujets qui ne pouvaient pas être abordés lors des sessions de test.

Les données collectées nous ont par exemple permis d’améliorer notre moteur de recherche. C’est l’une des fonctionnalités clés de notre outil qui a 3 usages principaux :

• Rechercher quelque chose de spécifique (oui, bon, logique pour une recherche)
• Construire une liste d’éléments selon différents critères et les exporter à des fins de reporting (moins logique pour une recherche j’en conviens)
• Trouver du contenu « similaire » pour le comparer à leurs propres éléments (très niche et spécifique au contexte du projet)

Le moteur de recherche est l’un des thèmes qui a recueilli le plus d’entrées dans les journaux. C’est difficile de mesurer l’efficacité et l’utilité d’un moteur de recherche en 1h de test utilisateur. Les résultats dépendent de ce que la personne recherche à ce moment précis. Nous savions qu’il fallait l’améliorer, mais nous ne savions pas exactement comment ni ce que les utilisateurs attendaient.

Pendant le mois et demi et l’étude, nos participantes et participants ont pu faire de vraies recherches sur la version bêta, et logué pleins de retours sur leurs attentes. Ces retours nous on permis d’améliorer différents aspects du moteur de recherche :

• Nous avons retravaillé l’interface utilisateur pour ajouter des filtres essentiels qui manquaient (qu’on avait un peu arbitrairement décidé de ne pas migrer, car personne ne nous en avait parlé durant la phase exploratoire).
• Nous avons pu ajuster les priorités des résultats de notre elastic search pour les rendre plus pertinentes, grâce à de vrais exemples de recherches concrètes.
• Nous avons modifié ce qui était attendu pour les recherches textes, avec ou sans correspondances exactes.
• Nous avons retravaillé l’ordre et le filtrage des résultats, etc.

Conclusion : Avantages et limites de la méthode

Avantages

La méthode du journal de bord permet de collecter des données et des retours sur une période prolongée, ce qui présente les avantages suivants : 

• Collecter des données sur le long terme : permet de capturer des informations au-delà d’un instant T artificiel, et mesurer la dimension temporelle de l’expérience utilisateur
• Collecter des retours et des artefacts ancrés dans l’environnement ou l’usage réel : cela permet de récupérer des données sur le contexte d’utilisation (par exemple, une personne utilisant l’interface dans une grue sur un chantier, signalant qu’il est difficile de l’utiliser sous une lumière intense). Étant donné que ces données sont autorapportées, cela réduit également les biais d’observation.
• Collecter des données impossibles ou difficiles à planifier ou à reproduire : par exemple, dans le cadre de mon étude, des tâches imprévues pour les utilisateurs.
• Collecter des données dans des environnements où l’observation pourrait être compliquée ou impossible : par exemple, dans une prison.

Défis et limites

Mais cette méthode comporte également des défis :

• Elle prend beaucoup de temps, à la fois pour les chercheuses et chercheurs, ainsi que du côté des participantes et participants.
• La qualité des données dépend de la rigueur avec laquelle les entrées sont renseignées, on est donc tributaire de comment nos participantes et participants vont remplir les journaux.
• Les données auto-rapportées comportent leurs propres biais. Les humains ne sont par exemples pas très doués pour analyser leurs propres sentiments. Pour atténuer cela, il est important de rester factuel, orienté sur les tâches, et de ne pas poser de questions hypothétiques (prédictions futures, etc.).
• Étant donné que les données sont auto-rapportées, il se peut que vous manquiez l’occasion d’observer directement des comportements inattendus.

Malgré ces limites et ces défis, la méthode du journal de bord m’a permis de récolter une mine d’information inestimable pour affiner notre outil avant son lancement. Je pense qu’avec une planification adéquate, cette méthode constitue un outil puissant également pour l’évaluation d’interfaces, et expériences à travers le temps. 

Merci de votre lecture ! Si vous envisagez de mener une étude de journal de bord, j’espère que ce guide vous sera utile !

Video de la présentation

Si vous préférez une version video, en anglais de cette présentation, pouvez aller regarder ma conférence sur YouTube (avec des sous-titres auto générés).