Article publié le 2 novembre 2021.
On peut débattre de tout, y compris des chiffres !
Depuis quelques semaines, vous pouvez entendre à la radio : "On peut débattre de tout, sauf des chiffres". Cette phrase, péremptoire, fait frissonner tout statisticien ! Tout chiffre mérite de faire l’objet d’un débat public, que ce soit sur les méthodes, les modes de diffusion des résultats,... Débat d’autant plus important que des révisions sont parfois faites, comme c’est le cas avec les données diffusées par la Drees sur le Covid : un changement de méthodologie, et c’est bien le chiffre qui est modifié !
La réaction publiée dans la Lettre éco de la CGT de septembre 2021
Selon une publicité gouvernementale pour la vaccination contre la covid, on pourrait débattre de tout sauf des chiffres. Cette affirmation péremptoire est gravement erronée : tout chiffre se réfère à des définitions et à des méthodes de mesure qui peuvent et qui doivent faire l’objet de débats publics non réservés aux spécialistes. A défaut, les citoyens auront quelques raisons de douter et risqueront de se fourvoyer.
« On peut débattre de tout sauf des chiffres » proclame une publicité gouvernementale diffusée sur les chaines publiques, qui se poursuit ensuite en indiquant que « Aujourd’hui, en France, 8 personnes sur 10 hospitalisées à cause du Covid19 ne sont pas vaccinées. » Cette affirmation serinée sur des chaînes publiques n’a qu’un but : inciter à la vaccination. On peut la consulter ici si on estime ne pas l’avoir assez entendue !
Il ne s’agit pas ici de contester l’opportunité de la vaccination contre la covid : examiner les raisons des réticences de certains citoyens serait l’objet d’un tout autre article, mais il est faux de prétendre que ces chiffres ne se discutent pas.
Au contraire, ils font naître une foule de questions qui pourraient conduire à contester ce chiffre de 8 sur 10, le modifier substantiellement, le relativiser ou, au moins, le contextualiser.
Sans être exhaustif, en voici quelques unes :
– En premier lieu, une question basique : quelle est la proportion de personnes vaccinées et de non vaccinées dans la population ?
– Quelle est la structure par âge de ces deux « populations » puisque, on le sait, les personnes plus âgées sont plus souvent atteintes par des formes graves de la maladie ?
– Quelles sont ces "personnes" dont parle la publicité ? Toutes y compris les moins de 12 ans non ciblés par les campagnes de vaccination mais dont certains sont hospitalisés ou seulement la population d’un certain âge ?
– De quand date cet « aujourd’hui » évoqué ? Quel jour ou sur quelle période alors que le nombre d’hospitalisés, comme celui des vaccinés ne cesse d’évoluer ?
– Quelle est le territoire concerné ? L’ensemble de la France, qui intègre les départements d’outre-mer ou la France réduite à sa métropole comme dans de nombreuses statistiques publiques ? Que donnerait le même slogan sur certains territoires ciblés tant les différences peuvent être grandes selon les régions ? Et ceci aussi bien pour la situation épidémique que pour la structure de leur population, catégories sociales et l’âge évidemment, puisque cette annonce s’adresse visiblement surtout aux « jeunes »
– Que signifie « pas vaccinées » ? Est-ce les personnes qui ne sont complètement vaccinées en intégrant le délai de quelques jours pris en compte dans le passe sanitaire ? Ou est-ce une notion plus souple qui compte parmi les vaccinées toutes celles qui ont eu leur deux doses, voire aussi celles qui en ont déjà eu une ?
– Pourquoi privilégier l’indicateur sur les personnes « Hospitalisées » plutôt qu’un autre, relatif aux personnes en soins critiques, voire aux décès ?
Autant de points à expliciter et vérifier qui peuvent et qui doivent susciter et alimenter le débat.
De fait, ce chiffre de 8 sur 10 s’appuie très probablement sur une étude de la Drees du ministère de la Santé dont le sérieux n’est pas en cause et qui apporte des élements de réponse à certaines des questions posées ci-dessus [1]. Selon l’une des conclusions de cette étude : « 84 % des admissions en soins critiques et 76 % des admissions en hospitalisation conventionnelle sont le fait de personnes non-vaccinées ». A peu près 8 sur 10 donc. Cependant, la principale conclusion de cette étude est la suivante : « à taille de population comparable, il y a 11 fois plus d’entrées en soins critiques parmi les non-vaccinés que parmi les complètement vaccinés. »
Ce "11 fois plus" aurait pu mériter tout autant d’être mis en avant puisqu’il rend compte beaucoup plus directement des écarts de risques individuels entre personnes vaccinées et personnes non vaccinées. Une question peut donc se poser : Pourquoi a -t-on choisi de mettre en avant "8 sur 10" plutôt que "11 fois plus", pourtant plus solide, plus précis et scientifiquement plus convaincant ? Paradoxalement, le choix qui a été fait conduit à minimiser, involontairement, l’intérêt de la vaccination ! Peut-être parce que "8 sur 10" (ou son homologue 80 %) figure parmi ces « chiffres magiques » qui marquent les esprits.
Quantifier implique de convenir puis de mesurer. Et de débattre
De façon plus générale, l’idée selon laquelle on n’aurait pas à débattre des chiffres est absurde, voire potentiellement dangereuse. Elle rejoint des affirmations tout aussi erronées que « les chiffres parlent d’eux-mêmes » ou son contraire qui proclame que "l’on peut faire dire tout et son contraire aux chiffres". Quand on entend cela, il faut tout de suite se demander quel est le ventriloque qui les fait parler ; quelle « vérité des chiffres » il prétend imposer et à quelle fin !
Les historiens et les « sociologues de la quantification », dont Alain Desrosières en premier lieu [2], ont bien établi que les chiffres mobilisés par les sciences sociales et politiques sont l’objet d’une construction. Ils sont constitués avec divers instruments de mesure (des enquêtes auprès des citoyens ou des entreprises, éventuellement par sondage, des relevés « sur le terrain », l’exploitation de fichiers administratifs etc.) et ne prennent leur sens que dans le cadre d’un ensemble de définitions.
Un seul exemple en dehors des indicateurs sanitaires : le chômage. Il est inepte d’annoncer comme on l’entend souvent que « LE chiffre du chômage » est, par exemple, de 3 millions. Il y a effectivement une définition générale du chômage, qui est celle du bureau international du travail et à laquelle peut correspondre ce chiffres de 3 millions. Cette définition a le mérite d’exister. Elle sert de référence aux statisticiens du monde entier au point que l’on peut parler de mesure "officielle". Mais la mise en oeuvre pratique de cette définition a varié dans le temps et peut différer selon les pays, parce qu’il faut définir de façon très concrète comment repérer les personnes sans emploi, disponibles pour travailler et en recherchant un. Or cette façon de faire n’est pas la même en tout lieu et en tout temps. En France, par exemple, s’inscrire à Pôle Emploi ou renouveler son inscription n’est plus considéré depuis longtemps comme une démarche active de recherche d’emploi. Mais ce ne fut pas toujours le cas. Ce simple changement de méthode a fait disparaître des dizaines de milliers de chômeurs du "chiffre officiel".
Les grands principes de la définition du bureau international du travail du chômage peuvent aussi être questionnés parce qu’ils se trouvent très restrictifs pour rendre compte de l’ensemble des personnes sans emploi ou en situation de sous-emploi, qui aimeraient travailler plus. Analyser le chômage ne peut ainsi se borner à un seul chiffre. Grâce aux débats permanents sur ce sujet, d’autres indicateurs ont ainsi pu voir le jour pour mieux rendre compte du "halo du chômage", à partir de la même enquête qui permet de mesurer le chômage "officiel" : l’enquête Emploi de l’INSEE.
Enfin, il y a les chiffres de Pôle Emploi, que le ministère du travail publie sous le nom "statistiques du marché du travail". Certains de ces chiffres peuvent sembler proches des chiffres du chômage calculés par l’INSEE et de sa définition. Mais la proximité est trompeuse et si l’on prend en compte l’ensemble des demandeurs d’emploi inscrits à Pole Emploi et soumis aux obligations de recherche d’emploi, les chiffres bondissent autour des 5 millions. Il ne s’agit pas ici de dire que tel chiffre serait "vrai" et tel autre "faux" mais de prendre conscience que ces chiffres ne mesurent pas la même chose et résultent de méthodes de production différentes. En particulier, les chiffres de Pôle Emploi résultent de l’exploitation d’un fichier dont le contenu dépend lui-même de dispositions réglementaires et de pratiques administratives que les statisticiens ne maîtrisent pas.
Après un travail considérable, le statisticien et historien de la statistique Alain Desrosières expliquait en résumé que « Quantifier, c’est Convenir + Mesurer. » Toute quantification s’appuie, d’une part, sur des définitions forcément discutables et contestables et, d’autre part, sur une méthodologie forcément perfectible.
Convenir, aboutir à une convention, à des définitions aussi claires que possible, se réfère à une première sorte de débats : que veut-on quantifier, pour quel usage politique et social ?
Mesurer ne devrait en principe intervenir que dans un second temps, une fois la convention établie. Compte tenu de ce que l’on souhaite mesurer, faut-il un recensement, une grosse enquête par sondage (ou une petite !) ? Faut-il exploiter un ensemble de documents supposés pertinents ? Se borner à des observations qui fournissent des chiffres sans prétention à la « représentativité statistique » ?
Diverses instances se saisissent de ces problématiques : le conseil national de l’information statistique et le comité du label pour les statistiques publiques, la commission des sondages, l’Université...
Mais ces questions ne doivent pas rester une affaire de spécialistes car, si c’était le cas, les citoyens ne pourraient pas bien exercer leur esprit critique et seraient réduits à deux attitudes :
– gober les chiffres frelatés ou erronés qui envahissent l’espace public, sans pouvoir les distinguer de ceux qui ont fait l’objet d’une construction sérieuse, même si elle reste discutable ;
– ou jeter le bébé avec l’eau du bain et conclure de manière sommaire que « (toutes) les statistiques sont fausses » ; ce qui peut facilement ramener à la première attitude.
Voilà pourquoi affirmer que l’« on peut débattre de tout sauf des chiffres » est faire preuve d’une naïveté coupable. Les chiffres, comme les mots, sont et doivent être des objets de débats qui ne méritent ni un excès de révérence, ni un rejet systématique.
Notes
[1] L’étude et sa méthodologie sont ici : https://drees.solidarites-sante.gouv.fr/communique-de-presse/debut-aout-huit-fois-moins-de-tests-positifs-et-onze-fois-moins-dentrees-en
[2] Voir par exemple « Avec Alain Desrosières entre pénombriens »
http://www.penombre.org/IMG/File/Lettre_grise_12.pdf