Analyses · Mesure

Ce qu'un audit automatique ne contrôle pas.

Nous avons passé notre propre site à une analyse automatique, corrigé ce qu'elle signalait, puis rejoué la mesure. L'écart s'est refermé là où il était annoncé. Les deux défauts les plus concrets, eux, ne figuraient dans aucun rapport.

Un score ne se corrige pas, il se rejoue

Une analyse de site produit un chiffre global et le décompose en axes pondérés. Le nôtre en compte sept : la découverte, l'identité déclarée aux machines, l'état des pages, l'accessibilité, la sécurité des en-têtes, la cohérence graphique et la cohérence structurelle.

Le premier passage a donné 92 sur 100. Trois axes seulement étaient en dessous de la barre. Nous avons corrigé les défauts qui les portaient, puis relancé la même analyse, sans rien changer d'autre.

L'intérêt de ce tableau n'est pas le gain. C'est que le chiffre a bougé là où nous l'attendions, et nulle part ailleurs. La cohérence graphique, que nous n'avons pas touchée, n'a pas varié d'un point. Un score qui se déplace ailleurs que là où l'on est intervenu ne mesure pas ce qu'il prétend mesurer.

C'est la seule preuve qui compte, et elle est bon marché : si une analyse ne se rejoue pas à l'identique, le premier chiffre était un avis.

Un contrôle ne voit que ce qu'il cherche

Le rapport signalait un défaut de liaison entre les versions linguistiques des pages. En allant vérifier, nous avons trouvé le défaut annoncé, et deux autres qu'il ne mentionnait pas.

Deux pages italiennes déclaraient leur équivalent dans une autre langue à une adresse qui n'existe pas. Les deux répondaient par une erreur 404. Ces liens étaient en ligne, invisibles à la lecture, et parfaitement absents du rapport.

La raison est mécanique. Le contrôle vérifiait que chaque page déclare ses traductions. Il ne vérifiait pas que les adresses déclarées répondent. Ce sont deux questions différentes, et seule la première était posée.

Nous les avons trouvées en écrivant un contrôle que personne n'avait demandé : pour chaque groupe de pages traduites, vérifier que toutes déclarent exactement le même jeu d'adresses, puis vérifier que chacune de ces adresses existe. Le balayage a ensuite été étendu à l'ensemble du site.

Un audit automatique est un instrument. Comme tout instrument, il a un champ, et ce qui tombe hors du champ ne remonte pas comme un problème : il remonte comme un silence.

Une recommandation ne s'applique pas au pied de la lettre

Deux des recommandations du rapport auraient causé des dégâts si nous les avions suivies telles quelles.

La première demandait d'harmoniser les déclarations de langue « sur l'ensemble des pages ». Or une partie de nos pages n'a délibérément aucune traduction. Leur déclarer des équivalents inexistants aurait fabriqué exactement le défaut que nous venions de corriger ailleurs. Trois pages étaient en cause, pas l'ensemble.

La seconde portait sur les en-têtes de sécurité. La politique de contenu la plus stricte, celle qui satisfait les vérificateurs, aurait bloqué le chargement des polices de caractères du site et interdit les styles inscrits dans les pages. Le site serait resté fonctionnel et serait devenu illisible. Nous avons donc écrit une politique qui autorise explicitement ce que les pages utilisent réellement, après avoir compté ce qu'elles utilisent.

Une recommandation automatique décrit un état souhaitable en général. Elle ne connaît pas le site auquel elle s'adresse. C'est au lecteur de faire la différence, et cette différence est le vrai travail.

Un indice n'est pas une mesure

L'axe de cohérence graphique reprochait au site un nombre excessif de couleurs distinctes. En comptant nous-mêmes dans les feuilles de style, nous en avons trouvé près de trois fois plus que le chiffre annoncé.

Ce n'est pas une erreur du rapport, qui précise lui-même produire un indice de cohérence et non un relevé du rendu : il regroupe les teintes proches. Mais cela change complètement ce qu'on doit en faire. Viser le nombre affiché comme un objectif n'aurait aucun sens, puisque ce nombre n'est pas un décompte.

Le défaut sous-jacent, lui, est réel : des gris presque identiques coexistent sans raison. Il se corrige en fusionnant ce qui est indiscernable, pas en courant après une valeur cible.

Ce que nous en retenons

Nous nous sommes arrêtés à 97 volontairement. Ce qui restait était d'un côté un travail de rédaction utile en dehors du score, de l'autre un déplacement de marges sur des dizaines de pages en production pour gagner quelques points d'un indice interne. Le second n'a de valeur que pour le chiffre lui-même, et nous préférons un site stable à un tableau complet.

Trois choses valent d'être retenues au-delà de notre cas.

Un chiffre d'audit ne dit rien tant qu'il n'a pas été rejoué après correction. La deuxième mesure vaut plus que la première, parce qu'elle seule dit si l'on a corrigé ce qu'on croyait corriger.

Un contrôle absent ne produit aucune alerte. Quand un outil ne signale rien sur un point, il faut savoir s'il l'a vérifié ou s'il ne le regarde pas. Nos deux liens morts étaient dans le second cas.

Enfin, l'écart entre une recommandation générale et son application à un site donné ne se comble pas automatiquement. C'est là que se trouve le jugement, et c'est la partie qu'aucun rapport ne rend.

Exposer un problème →