Le 30 Septembre 2021, une correspondance de Subramanian et Kumar étudiant l’effet des vaccins sur la pandémie de COVID-19 a été publiée dans le journal European Journal of Epidemiology. Cette correspondance analyse les relations entre la vaccination et le nombre de cas de COVID-19 à l’échelle nationale et conclut de façon ambiguë sur l’intérêt mitigé de la vaccination.
European Journal of Epidemiology
European Journal of Epidemiology, est une revue scientifique prestigieuse et cette correspondance a donc été prise très au sérieux par certains chercheurs et partagée massivement sur les réseaux sociaux au point de devenir le 13eme article de recherche le plus partagé de tous les temps parmis les articles tracqués par Altmetric, toutes disciplines confondues. De manière inquiétante, cette étude a été utilisée de façon particulièrement trompeuse par beaucoup y compris par Didier Raoult sur le réseau social Twitter. Cette correspondance cumule donc aujourd’hui plus de 2 millions de lectures et a alimenté le discours anti-vaccin. En plus des mauvaises interprétations dont la correspondance a été victime, l’article en lui-même soulève de nombreuses interrogations quant à sa validité scientifique, interrogations publiées, par European Journal of Epidemiology, dans plusieurs correspondances.
Le 24 décembre, le European Journal of Epidemiology publie une correspondance de Mulot et collègues (déjà accessible en preprint depuis le 14 Octobre). Dans cette correspondance, les auteurs montrent les limites de l’analyse faite par Subramanian et Kumar sur plusieurs aspects méthodologiques.
Les faiblesses de l’étude
Le premier point problématique de l’étude concerne le mauvais choix de la mesure utilisée pour quantifier l’efficacité de la vaccination. Les auteurs ont utilisé le nombre de cas COVID-19 confirmés par pays. Or, la vaccination impacte principalement les hospitalisations, les cas de réanimations, et les décès, qui eux, n’ont pas été évalués dans l’étude.. Qui plus est, la seule mention de “décès” ou “hospitalisation” dans l’article de Subramanian et Kumar est une mention trompeuse: “le CDC a signalé une augmentation de 0,01 à 9 % et de 0 à 15,1 % (entre janvier et mai 2021) des taux d’hospitalisations et de décès, respectivement, chez les personnes entièrement vaccinées.” Mulot et collègues expliquent:
“Nous trouvons cette affirmation trompeuse. En effet, cette période correspond au début de la campagne de vaccination, où les vaccins ont été proposés à une petite partie de la population à haut risque, principalement les personnes âgées et les individus présentant des comorbidités graves. Cela est visible dans le fait que la vaccination de tous les adultes n’était disponible qu’en avril aux États-Unis et en mai dans de nombreux autres pays (par exemple, en France ou en Allemagne). En outre, l’effet d’un taux de vaccination croissant sur les chiffres des hospitalisations et des décès a été largement expliqué (par exemple ici).”
Le nombre de cas COVID
L’utilisation du nombre de cas COVID est aussi problématique à d’autres niveaux. En effet, la précision de ce nombre d’un pays à l’autre varie énormément en fonction des capacités de tests ainsi que de l’existence d’un système d’enregistrement exhaustif des cas positifs. Les pays ayant le moins de ressources pour le dépistage et l’enregistrement sont également les pays ayant une plus faible capacité de vaccination. D’autre part, même en l’absence de vaccin, des pays différents auront des taux d’incidence différents en fonction d’une multitude de facteurs, tels que la présence/absence d’interventions gouvernementales, les comportements individuels ou collectifs face aux dangers de la pandémie, la densité de population, etc…).
Ces différences fondamentales entre pays doivent être prises en compte afin d’estimer l’effet de la vaccination en elle-même (et non l’effet de ces facteurs). Cependant, l’étude de Subramanian et Kumar, qui compare plusieurs pays et régions, n’ajuste sur aucun de ces facteurs, ne permettant donc pas d’interpréter les résultats. Cela est encore accentué par une durée d’observation des pays trop courte pour être représentative de la situation actuelle. En effet, l’analyse compare les données d’incidence sur 1 semaine, choisie arbitrairement. Cette semaine correspond à un pic épidémique pour certains pays, mais à une fin de vague pour d’autres, ne permettant pas une comparaison honnête des indicateurs épidémiques.
Une sélection arbitraire
L’étude de Subramanian et Kumar inclut 68 pays, mais les critères de sélection de ces pays sont pour la plupart arbitraires. Par exemple, des pays comme la France ou l’Allemagne, pour lesquels les chiffres relatifs à la vaccination et au nombre de cas étaient disponibles n’ont pas été inclus dans l’analyse. Des pays avec une campagne de vaccination avancée ont été exclus, et inversement, beaucoup de pays ne disposant ni d’une bonne capacité de test, ni de moyens suffisants pour la vaccination et dans lesquels le nombre de décès est largement sous-estimé ont été inclus.
Analyse et interprétation
Enfin, le problème majeur de l’étude de Subramanian et Kumar réside dans l’analyse et l’interprétation incorrectes de leurs données. Les auteurs concluent à l’absence d’association entre la couverture vaccinale et l’incidence de cas confirmés de COVID-19 uniquement à partir de leurs graphiques, mais sans aucune statistique formelle. Les auteurs concluent que “les cas pour 100 000 personnes au cours des sept derniers jours sont largement similaires dans les catégories de pourcentage de la population entièrement vaccinée“. Pourtant, une analyse statistique de ces mêmes données par Mulot et collègues conduit à une forte évidence qu’un taux de vaccination plus élevé est associé à une incidence plus faible sur 7 jours. Bien que l’analyse conduite par Mulot et collègues soit limitée par la qualité des données elles-mêmes, comme énoncé précédemment, , cela montre que les données fournies dans le manuscrit de Subramanian et Kumar ne soutiennent pas les conclusions tirées par les auteurs.
Les limites démontrées par Mulot et collègues sont également mentionnées dans deux autres correspondances publiées par l’European Journal of Epidemiology. La première par Coleman et collègues, et la seconde par Gianicolo et collègues. Il est à noter également, que malgré la mise en ligne publique de ces problèmes depuis trois mois via preprint, PubPeer (un réseaux de relecture par les pairs après publication), et Twitter, le journal n’a pour le moment pas utilisé de bandeau pour indiquer que les résultats de Subramanian et Kumar étaient particulièrement contestés par leurs pairs. Le fait même que les conclusions des auteurs soient à l’opposé de ce que les données indiquent, ajouté aux nombreux problèmes méthodologiques devraient être suffisants pour entraîner une rétraction de l’article.
