Re: Perfomance score per instance

Hello,

Here is the french explanation (just below my signature).

Matthieu

-*-*-*-*-*-

De ma compréhension, les 3 formules ne sont pas séparables. En prendre 
une et regarder son score est limitatif voire insignifiant. Par contre, 
l'ensemble des 3 formules me semble apporter une véritable valeur 
ajoutée. Appliquons ça à des exemples (par facilité, je reste dans le 
monde AccessiWeb).


  Exemple 1

Considérons le site suivant:

  * 10 pages dont 1 (la page d'accueil), invalide 1 critère (disons le 1.1),
  * 10 critères applicables, dont 1 invalidé (le 1.1 donc).

  * 110 images sur tout le site, réparties comme suit :
      o 101 images sur la page d'accueil, dont 1 invalide le critère 1.1,
      o les 9 images restantes sont réparties "une sur chaque page"
        (autre que la page d'accueil donc), et sont toutes les 9 valides
        au regard du critère 1.1

... et observons les scores :


    Score formule 1 (SF1)

SF1 = nombre de critères conformes sur le site / nombre de critères 
applicables sur le site = 9 / 10  = 90%


    Score formule 2 (SF2)

SF2 = somme de tous les critères valides sur chaque page du site / somme 
de tous les critères applicables sur chaque page du site = (9 pages * 10 
critères valides + 1 page * 9 critères valides) / 10*10 = 99 / 100 = 99%


    Interprétation


Au regard de SF2 (99%), on pourrait penser que le site a un niveau 
d'accessibilité proche de la perfection. Ce n'est pas tout à fait vrai, 
à cause de l'image sans alt, et c'est bien SF1 qui le montre avec un 
score à 90%.

De notre côté nous appelons ça l'indicateur de conformité, et il est 
génial dans le sens où on ne pourra jamais être à 100% tant qu'il reste 
au moins un critère invalidé (même s'il s'agit d'une seule image sans 
alt, parmi 10000 autres images !).

Par contre, il est un point sur lequel les formules ne peuvent rien 
c'est la notion de barrière. Par exemple, si l'image sans alt donne 
accès à tout le reste du site, alors effectivement le site devient 
totalement inaccessible pour l'utilisateur. Cette interprétation 
représente bien la valeur ajoutée que peut apporter un consultant, et 
qu'aucune machine n'est prêt de remplacer ! Pour être précis, on 
pourrait dire que le site est 100% inaccessible pour l'utilisateur, mais 
là le 100% relève d'une autre mesure, celle des barrières, et ça c'est 
le projet Mipaw :) <sourire>, donc un autre document.


    Score formule 3 (SF3)

Rappelons la signification de "instance d'un critère" : nombre de fois 
où un même critère est applicable. Par exemple pour une page contenant 3 
images, avec une 1 sans alt, le Critère AW 1.1 aura 3 instances 
applicables dont 1 instance invalidée.

Remarque : pour se concentrer sur les notes et ne pas ajouter de 
complexité inutile, nous considérons que chacun des 9 critères valides 
ne possède qu'une seule instance.

SF3 = somme des instances de critères valides / somme des instances de 
critères applicables

Dénombrons les instances applicables :

  * pour la page d'accueil: 101 instances pour le critère AW 1.1 + les 9
    autres critères (qui n'ont qu'une seule instance)
  * pour les 9 pages restantes : 10 critère à 1 instance chacun
  * soit un total de: (101 + 9) + 9 * 10 = 200

Dénombrons maintenant les instances valides:

  * pour la page d'accueil: 100 instances pour le critère AW 1.1 (un
    seul alt manquant, on passe de 101 à 100) + les 9 autres critères
    (qui n'ont qu'une seule instance)
  * pour les 9 pages restantes : 10 critères à 1 instance chacun
  * soit un total de: (100 + 9) + 9 * 10 = 199


Pour ceux (comme moi) qui préfèrent un tableau, voici le tableau listant 
les (199) instances valides:

Critère
	Page 1 (accueil)
	Page 2
	Page 3
	Page 4
	Page 5
	Page 6
	Page 7
	Page 8
	Page 9
	Page 10
	TOTAL
1 (AW 1.1)
	*100*
	1
	1
	1
	1
	1
	1
	1
	1
	1
	*109*
2
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
3
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
3
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
4
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
5
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
6
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
7
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
8
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
9
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
10
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10


(le tableau possède une accessibilité minimale, mais devrait être 
correctement lisible, je suis limité par l'éditeur HTML de Thunderbird)

Les 199 instances sont obtenues en faisant la somme de la dernière 
colonne (soit 109 + 9*10).

On obtient donc:

SF3 = 199/200 = 99,5%


    Interprétation (suite)

SF3 montre que l'effort à fournir pour atteindre la conformité est 
faible. Plus qu'un fichu alt et on est à la perfection !


  Exemple 2

Considérons le même site, mais changeons les résultats sur les images :

  * 10 pages dont 1 (la page d'accueil), invalide 1 critère (disons le 1.1),
  * 10 critères applicables, dont 1 invalidé (le 1.1 donc).

  * 110 images sur tout le site, réparties comme suit :
      o 101 images sur la page d'accueil, dont *100* invalident le
        critère 1.1,
      o les 9 images restantes sont réparties "une sur chaque page"
        (autre que la page d'accueil donc), et sont toutes les 9 valides
        au regard du critère 1.1

... et observons les scores :


    Score formule 1 (SF1)

SF1 = nombre de critères conformes sur le site / nombre de critères 
applicables sur le site = 9 / 10  = 90%

*Observation *: pas de changement avec l'exemple 1.


    Score formule 2 (SF2)

SF2 = somme de tous les critères valides sur chaque page du site / somme 
de tous les critères applicables sur chaque page du site = (9 pages * 10 
critères valides + 1 page * 9 critères valides) / 10*10 = 99 / 100 = 99%
*
Observation *: pas de changement avec l'exemple 1.


    Score formule 3 (SF3)

SF3 = somme des instances de critères valides / somme des instances de 
critères applicables

Le nombre d'instances applicables n'a pas changé par rapport à l'exemple 
1, c'est toujours 200. Dénombrons maintenant les instances valides :

  * pour la page d'accueil: 1 seule instance valide pour le critère AW
    1.1 (sur les 101 images de la page, 100 sont en erreur) + les 9
    autres critères valides (qui n'ont qu'une seule instance)
  * pour les 9 pages restantes : 10 critères à 1 instance chacun
  * soit un total de: (1+ 9) + 9 * 10 = *100 instances valides *(au lieu
    de 199 dans l'exemple 1)

Voici le tableau des instances valides (pour avoir une vision globale)

Critère
	Page 1 (accueil)
	Page 2
	Page 3
	Page 4
	Page 5
	Page 6
	Page 7
	Page 8
	Page 9
	Page 10
	TOTAL
1 (AW 1.1)
	*1*
	1
	1
	1
	1
	1
	1
	1
	1
	1
	*10*
2
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
3
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
3
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
4
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
5
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
6
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
7
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
8
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
9
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10
10
	1
	1
	1
	1
	1
	1
	1
	1
	1
	1
	10


On obtient donc:

SF3 = 100/200 = 50%


    Interprétation

Dans cet exemple, il n'y a qu'un seul critère invalidé sur tout le site, 
on pourrait penser qu'on a un excellent niveau d'accessibilité, ce 
qu'indique SF2 à 99%. Ce n'est pas tout à fait vrai, et SF1 nuance en 
indiquant 90%. Jusque là rien de nouveau par rapport à l'exemple 1.

Par contre, on mesure grâce à SF3 la quantité de travail qu'il *reste à 
faire*. Autant dans l'exemple 1, on était à un doigt de la perfection, 
autant ici il reste beaucoup de boulot (SF3=50%), on pourrait presque 
dire qu'on n'a *fait que la moitié du **travail d'accessibilité*.

Sympa SF3 ! :) <sourire>


  Autres exemples

Pour être complet, il faudrait construire au moins un autre exemple qui 
mette en évidence l'intérêt de SF2. (Je suis désolé, je n'ai plus le 
temps ce soir !)


  Compléments pour WCAG-EM

Le reproche qu'on pourrait formuler à ces formules est qu'elles ne 
donnent que des valeurs relatives (des pourcentages).

Pour s'ancrer plus dans le concret, pour ma part j'ai envie d'avoir en 
plus des chiffres en valeurs absolue. Je pense au nombre de critères 
restant à valider, et au nombre d'instances de critères restant à 
valider. Avec Jérôme, nous appelons ça le RAF (Reste à faire) [TBC / To 
Be Corrected]. Je reprends les exemples et donne les valeurs de RAF.


    Exemple 1

  * RAF instances de critère : 1
  * RAF critères : 1


    Exemple 2

  * RAF instances de critère : 100
  * RAF critères : 1


  Conclusion

Voilà, ça fait un mail un peu long, mais il m'a semblé nécessaire.

Ah oui, un autre retour à faire à WAI sur cette section, est qu'il faut:

  * une définition formelle (mathématique) de chaque formule (ce sera
    l'occasion de faire chauffer MathML !)
  * plusieurs exemples comme ceux qu'on a mis en évidence ici, sans quoi
    on y risque de passer à côté de toute la beauté de telles formules !

Sur ce, je vous dis bon appétit !
Matthieu

On 07/11/2013 13:25, Emmanuelle Gutiérrez y Restrepo wrote:
>
> Hi Matthieu,
>
> I have interest in your tables even if they are in French. (J'aime 
> beaucoup les français).
>
> Best,
>
> Emmanuelle
>
>

-- 
Phone: +33 9 72 11 26 06
Mobile: +33 6 73 96 79 59
Twitter: @mfaure <http://twitter.com/mfaure>

Tanaguru free-libre software for accessibility assessment 
<http://www.Tanaguru.org/>
KBAccess collaborative database of good and bad examples of Web 
Accessibility <http://www.kbaccess.org/>

Received on Thursday, 7 November 2013 13:28:47 UTC