Analyse sémantique et Feedback management : je t’aime, moi non plus

Depuis plusieurs années, l’analyse sémantique complémente les programmes de Feedback Management. Cette technologie aide les entreprises à y voir plus clair dans les nombreux commentaires laissés par leurs clients dans le cadre d’enquêtes de satisfaction.

La puissance des outils actuels, leur intégration toujours plus poussée des technologies IA et Big Data, en font des alliés précieux pour les responsables qualité et directeurs de la satisfaction client.

Nous allons voir ici les champs d’utilisation de l’analyse sémantique au sein des programmes de Feedback Management ainsi que les limites qu’ils imposent dans certains cas d’usage.

Quel est le rôle de l’analyse sémantique dans un programme de Feedback Management ?

Comme nous le rappelions dans un précédent article, l’analyse sémantique peut être utilisée de plusieurs manières au sein d’un programme de Feedback Management.

Détection plus fine des alertes

En se basant sur l’analyse sémantique en complément des questions fermées, la détection des alertes devient plus précise. Il se peut que certains clients, au demeurant satisfaits, demandent à être recontactés. Il est également possible que certains clients furieux ne rentrent néanmoins pas dans les limites déterminées pour déclencher une alerte. Dans ces 2 cas, le commentaire est d’une aide précieuse pour rattraper ces détracteurs potentiels.

Catégorisation des commentaires

Permettre à un opérationnel de lire les commentaires concernant son service ou son pôle est d’une importance capitale à qui vise l’amélioration continue. L’analyse sémantique permet donc de rapprocher des commentaires ouverts avec des questions fermées et de filtrer les commentaires par catégories et sous-catégories.

Détection des signaux faibles ou forts

Une autre utilité de l’analyse sémantique est la détection des mots (ou groupes de mots) émergents ou ayant une volatilité remarquable. Les outils d’analyse sémantique peuvent alors alerter les utilisateurs sur des comportements qu’un humain est dans l’incapacité technique de déceler.

L’analyse sémantique peut-elle remplacer les questions fermées ?

Lorsque l’expérience client est courte (ou faible), il est tentant de limiter le nombre de questions fermées à la question NPS et la compléter par une question ouverte. La sémantique fera le reste.

Voici les raisons principales pour lesquelles cette approche est une fausse bonne-idée.

Répondre à une question ouverte prend du temps

Ecrire un commentaire prend du temps (d’une dizaine de secondes à plusieurs minutes) là ou il faut quelques secondes à peine pour cocher une réponse à une question fermée. Le gain de temps espéré n’est donc pas forcément au bénéfice du répondant.

Une granularité d’analyse limitée

L’analyse sémantique standard offre 2 tonalités distinctes par catégorie : positive ou négative. Les tentatives pour multiplier ces modalités (à 4 ou à 5) sont à mon avis illusoires.

Quand on tente de remplacer une question fermée par une question ouverte, on en vient à mesurer le pourcentage de tonalité positive (ou négative) dans le temps. Et là, l’évolution est nécessairement très limitée du fait de cette granularité faible d’analyse.

Une question fermée, contenant entre 4 et 10 modalités de réponses différentes, apporte beaucoup plus de détails et de finesse dans l’analyse. Les évolutions de score sont également plus tangibles et plus en adéquation avec la réalité opérationnelle.

Un nombre de réponses trop restreint

Le meilleur moyen d’avoir une réponse, c’est encore de poser la question. Le souci fondamental de l’analyse sémantique dans le cadre d’un programme de Feedback Management est qu’elle est issue d’une question ouverte du type « Merci de nous faire part de vos commentaires ». Dès lors, il est peu probable que le répondant s’exprime sur tous les sujets qui intéressent réellement vos opérations.

En moyenne, un répondant classique s’exprime sur 3 sujets (dans le cas d’une réponse par email, moins s’il s’agit d’une réponse par SMS).

Un plan de classement sémantique classique contient une dizaine de catégories, contenant chacune une dizaine de sous-catégories…disons 100 sous-catégories pour simplifier.

Sachant qu’il faut 30 réponses à chaque sous-catégorie pour être statistiquement correct (limite, mais correct), et en admettant même que les répondants s’expriment de façon uniforme sur l’ensemble des sous-catégories, il faut 1000 répondants (à 3 sujets par répondants) pour commencer à sortir des résultats fiables.

Au niveau du siège, c’est peut-être jouable…mais on voit alors bien qu’à l’échelle d’un magasin ou même d’une région, cela signifie que le pilotage n’est plus à la semaine ou au mois, mais plutôt à l’année ; dans le meilleur des cas.

En conclusion

L’analyse sémantique apporte beaucoup à un programme de Feedback Management. Mais elle ne peut pas se substituer à ce dernier. Oui, un treemap est une vue intéressante et sans doute impressionnante qui permet, d’un coup d’œil de classer les catégories ou sous-catégories des commentaires reçus. Mais il ne peut pas se substituer à une analyse statistique fiable des résultats d’une enquête. Et il ne peut certainement pas orienter les opérationnels dans leurs actions correctives.