La taille, ça compte !

Mise en contexte

Je parlerai ici de la taille d’un échantillon dédié à des essais de validation. Je prendrai l’exemple d’un fournisseur qui me propose une matière plus chère mais réputée plus résistante de 20% pour réaliser la pièce mécanique qu’il me fournit.

Une matière plus résistante de 20%, ça m’intéresse mais je ne vais pas valider un surcoût sans vérifier par moi-même. Je vais donc demander un échantillon de quelques pièces pour réaliser des essais. Combien de pièces devrais-je demander ? Peu savent mener ce calcul pourtant simple dans tous les logiciels de statistiques.

Le triangle des contraintes

Dans le domaine du traitement statistique des données, nous sommes coincés dans un triangle dont les sommets sont les suivants. La taille de l’effet mesuré : ici une matière 20% plus résistante. La taille de l’échantillon à tester et la taille du risque de se tromper lors de l’interprétation des résultats compte tenu de ce que l’échantillon nous montre de la réalité (ce n’est qu’un échantillon après tout ! Par le hasard de l’échantillonnage, il peut être plus ou moins favorable.).

On conçoit bien que si la nouvelle matière était deux fois plus résistante, nous n’aurions pas besoin de beaucoup d’essais pour le prouver sans grand risque de nous tromper. De même si la matière n’est que légèrement plus résistante, par le hasard d’un échantillonnage de petite taille nous sommes exposés à un grand risque de la voir identique. Alors qu’en fait elle est légèrement meilleure. Cette loi statistique fait que pour une taille d’effet recherché (20% plus résistante ou deux fois plus résistante ?) et pour un niveau de risque d’erreur accepté (1% de « chance » de me tromper ou 2% ou 5% ?) il est possible de calculer le nombre de pièces à tester et ce calcul est simple.

Une loi statistique simple qui s’adapte aux contraintes du terrain

Au cours des formations délivrées sur ce chapitre, souvent on m’objecte : « A quoi cela va-t-il me servir de calculer qu’il me faudrait tester 30 pièces par exemple, de toutes façons, des pièces à tester je n’en aurai que 10 parce qu’elles coûtent cher ou elles sont difficiles à fabriquer, ou le temps nous est compté… ? »

La loi statistique évoquée plus haut à propos des trois sommets du triangle des contraintes marche dans tous les sens. Ainsi, si pour une taille d’effet recherché vous m’imposez la taille d’échantillon, je peux alors calculer de manière simple le niveau de risque d’erreur auquel je suis exposé.

Ma réponse est alors : « Justement puisque la taille d’échantillon vous est imposée, ce calcul prend tout son sens. Vous devriez calculer votre risque d’erreur, le publier et le faire valider par votre hiérarchie. Sinon dans deux ou trois ans, quand il faudra faire un rappel sur des produits défectueux, tout le monde se souviendra que vous aviez validé la chose mais personne ne saura que compte tenu de la contrainte de petite taille d’échantillon, l’affaire était quasiment perdue d’avance à cause d’un énorme risque d’erreur ! Vous étiez condamné à vous tromper !».

Alors oui, la taille ça compte !

Consultant formateur Six Sigma chez Pilotage & Compagnie
Profil LinkedIn