Une étude rapporte que…
Au détour d'une discussion, sur Twitter, mon interlocuteur et moi discutions de l'intérêt de l'agriculture biologique dans le domaine du vin. Alors que je prétendais qu'il n'existait pas de preuves que le bio apporte un quelconque intérêt gustatif, mon interlocuteur m'incite à lire une étude réalisée par UCLA et Kedge Business School portant sur 74000 vins.

Cette réponse m'a intrigué pour deux raisons : d'une part cela remet en cause ce que je crois savoir, et d'autre part parce que l'étude porte sur un grand nombre de vins (n=74000), ce qui tend à faire penser que la puissance statistique (i.e. le degré de confiance qu'on peut accorder aux résultats de l'étude) est importante. En cherchant sur le moteur de recherche Google (mots-clés : «kedge UCLA vin bio meilleur»), je tombe sur de nombreux articles de presse grand public rapportant les résultats impressionnants de cette étude, (e.g. 1, 2, 3).

Mon intérêt ne s'en trouve que renforcé : ces journaux rapportent une différence de 4 points sur 100, ce qui semble plutôt important ! Je décide donc de me lancer dans une lecture détaillée de l'article original. Pour ceux que cela intéresserait, la référence est la suivante : Delmas, Magali A., et al. "Does Organic Wine Taste Better? An Analysis of Experts' Ratings." (4)

Dans ce billet, je détaille mon analyse de cette étude mais, avant de rentrer dans les détails, voici mes conclusions :
  • Malgré une apparente bonne foi des auteurs, l'étude présente, il me semble, de nombreuses erreurs méthodologiques.
  • D'autre part, certains raisonnements logiques sont - ou me semblent – erronés.
  • La presse grand public a omis de nombreux détails qui tempèrent de manière forte les résultats de cette étude.
  • Et finalement, quand bien même les résultats de l'étude seraient justes, la presse grand public a retranscrit de manière (fortement ?) erronée les propos des auteurs. Pour atteindre directement la justification de cette affirmation, cliquez ici.


Contexte de l'étude


La question posée



This study seeks to answer the question - is ecocertification associated with quality?

«Ecocertification» : Les auteurs de l'étude détaillent les différents types de certifications «bio» aux US. L'USDA décerne deux types de labels : «organic wine» —lesquels doivent contenir au moins 95% d'ingrédients bio et pour lesquels l'ajout de sulfites est interdit— et «wine from organic grapes» —pour lesquels des sulfites et ingrédients non bio, comme des levures p. ex., peuvent être ajoutés dans certaines limites (5). L'association Demeter décerne également une certification «biodynamie».Les auteurs indiquent qu'ils regroupent donc sous le terme écocertifié ces trois types de vins. Il y a deux notes de bas de page qui précise qu'il n'y a pas de «Organic wine» dans les 74000 vins passés en revue par les auteurs.

«Quality» : On trouve en section IV.A. la description de la variable indépendante de l'étude, en l'occurrence la qualité du vin. Les auteurs mesurent la qualité des vins par la note qui leur a été attribuée par l'une des trois revues expertes qui font partie de leur base de données.

Je remarque que les auteurs ne répondent pas exactement à la question posée dans le titre de leur article. En effet, l'écocertification est utilisée comme un proxy ; les auteurs ne testent pas directement l'influence de l'aspect biologique du vin sur la qualité. Comme ils le font très justement remarquer dans leur texte, d'ailleurs, certains producteurs suivent les règles de production de l'écocertification sans être écocertifiés. Dès lors, on peut se poser la question : parmi les exploitants, est-ce que ceux qui cherchent à obtenir les certifications ne sont pas ceux qui, aussi, se préoccupent le plus de la qualité de leurs vins ?

Ma seconde remarque concerne la manière dont la presse a rendu compte des résultats de cette étude. Alors que l'article original titre «Does Organic Wine Taste Better ?». La traduction littérale est: «Est-ce que les vins biologiques sont meilleurs au goût ?». C'est la traduction qui a été choisie par certains articles de presse grand public de manière sans doute erronée (6). La notion de «wine tasting» est néanmoins plus proche de la notion générale de «dégustation de vin», qui comprend l'évaluation des qualités olfactives ou de la robe par exemple. Je concède qu'il s'agit là d'un détail mineur, la barrière de la langue reste encore aujourd'hui un obstacle à la diffusion des connaissances.

Description des données utilisées



Les auteurs ont réuni des données provenant de trois journaux d'œnologie, réunissant 74148 références de vins californiens produits entre 1998 et 2009 dans 3842 établissements viticoles. Chaque référence de vin est accompagnée d'informations sur sa composition, sur l'année de sa production, sur le lieu de production, sur son prix et sur la quantité produite. Chacune de ces références a été soumise à une dégustation et une courte description du vin ainsi qu'une note, entre 0 et 100 points, lui a été attribuée.

Il semble important de remarquer qu'il s'agit d'une étude rétrospective dans laquelle les vins ont été goûtés sans aucun contrôle. Au crédit des auteurs, s'ils mentionnent que les vins ont été goûtés en aveugle, d'après lesdites revues, ils font également figurer dans les limitations de leur étude les incertitudes probables sur le procédé d'évaluation. Les auteurs remarquent également qu'il y a un effet d'arrondissement à la note supérieure entre les notes de 89 et de 90 (voir Fig.1), i.e. un biais de notation. On peut cependant raisonnablement penser que ce biais est aussi bien présent pour les vins biologiques que pour les vins conventionnels.

Finalement, la Table 1 indique que, parmi ces 74148 références, 785 références sont écocertifiées, soit environ 1.06%.

Quelques réflexions autour de la méthode


Variable dépendante : Le score de qualité



Afin de s'affranchir des différences d'appréciation des trois revues, les auteurs ont choisi de normaliser les échelles de notation. Ils utilisent la méthode de Cardebat et Paroissien (7), plus connue sous le nom de spécification d'histogramme. Les auteurs convertissent d'autre part les notes en percentiles. Cette normalisation leur permet d'obtenir un score «mis à l'échelle» (scaled score dans le texte).

Si la volonté de comparer des choses comparables —par la normalisation des barèmes— est louable, il est important de remarquer que la normalisation n'est pas anodine. D'une part, en spécifiant les histogrammes des différentes distributions de note, les auteurs transportent le phénomène d'arrondissent à la note supérieure décrit plus haut de manière différente. D'autre part, et c'est un point crucial, en traduisant les notes en percentiles, les auteurs modifie la structure de la distribution. Alors qu'elle était “resserrée” (écart type $\sigma \approx 3$, Table 1), la distribution des scores mis à l'échelle est “étalée” (écart-type $\sigma \approx 30$, Table 2). Ce détail est crucial pour comprendre en quoi la presse grand public a déformé les propos des auteurs de manière hallucinante.

Variable indépendante et variables de contrôle



Les auteurs déclarent un vin comme écocertifié si :
  1. L'exploitation produit des vins écocertifiés
  2. L'exploitation est certifiée «Biodynamie» par l'association Demeter
  3. L'exploitation achète des raisins à une source satisfaisant les points 1 ou 2

Notez bien : les auteurs considèrent que si l'exploitation viticole a une écocertification alors ils déclarent tous les vins de cette exploitation comme écocertifiés. Cette interprétation est confirmée si l'on regarde le modèle (section V) où l'on retrouve la variable Ecocertified pour laquelle les deux seuls indices sont l'année et l'exploitation viticole : la variable ne dépend pas du vin particulier évalué.

C'est une erreur importante ! Je m'explique : on peut retrouver sur le site de l'USDA (8) la liste des exploitations viticoles écocertifiées. On se rend compte que l'USDA ne certifie pas une exploitation viticole entière, mais bien des pratiques spécifiques. Par exemple, City Winery New York LLC Dba City Winery est écocertifiée pour la production spécifique d'un vin : Rose of Syrah 2017 (9). Une visite dans la section «Nos vins» de leur site web (10) révèle qu'ils font d'autres vins, vins qui ne sont donc pas certifiés…

vins_citywinery_compressed.jpg
vins produits par City Winery New York LLC Dba City Winery



Alors que, dans le titre de l'article, les auteurs prétendaient répondre à la question «Est que les vins bio sont de meilleur qualité», ils répondent en réalité à la question : «Est-ce que les exploitations viticoles produisant au moins UN vin biologique produisent des vins de meilleur qualité». La différence me semble loin d'être anodine.

On notera également la très faible proportion de références écocertifiées. Alors que l'étude se concentre sur environ 74000 références, 99% sont des références «conventionnelles» et seulement 1% sont des références écocertifiées. Ce type déséquilibre est un problème récurrent en statistique et requiert une attention particulière, ce que les auteurs omettent de faire. Je vous invite à lire le chapitre 16 de Applied Predictive Modeling, par Max Kuhn entièrement dédié à ce sujet (11).

Finalement, les auteurs incluent enfin dans leur modèle quelques variables de contrôle telles que la quantité de vin produite, le cépage des références ou encore la durée depuis laquelle la première écocertification a été obtenue. Cette dernière variable de contrôle est intéressante, et mérite également une discussion particulière, que nous aborderons dans la section de description des résultats.

Analyse des résultats



La régression du modèle indique que la variable Ecocertified est associée avec une augmentation statistiquement significative d'environ 4 points du score mis à l'échelle (p<0.05). On serait tenté de s'arrêter là, et de publier un article dans la presse, non ? Je vous assure que cela ne serait clairement pas avisé.

Tout d'abord, les auteurs remarquent une baisse significative du score mis à l'échelle lié à la durée depuis laquelle l'exploitation viticole est certifiée :

Interestingly, certification experience (which is equal to the vintage minus the first year the winery was certified) has a negative and statistically significant impact on scaled score.

Vous le voyez, le problème, là ? Allez, je vous donne un indice : la moyenne du nombre d'années d'écocertification, parmi les vins écocertifiés de leur base de données, est de 3.8 (Table 3). En clair :
  1. La variation de score liée à la variable Ecocertified seule est absolument dénuée de sens. En effet, il ne peut pas y avoir d'écocertification sans y avoir également une baisse de point liée à la durée d'écocertification.
  2. En moyenne, la variation de score liée à un vin éco certifiée n'est donc plus que de 1.2 point (+4 points pour être Ecocertified et -2.8 points pour être certifié, en moyenne, depuis 3.8 années). Beaucoup moins impressionnant…

certifjpg_compressed.jpg
La relation obtenue par régression sur les deux variables liées à l'écocertification est du type $\Delta S = 4 - 0.74\times y$, avec $\Delta S$ la différence de score après $y$ années d'écocertification.

Pour en terminer avec l'analyse du modèle, et de ses résultats, il me semble indispensable de rappeler que les auteurs ont défini un modèle. Ce faisant, ils ont imposé les variables indépendantes et variables de contrôle. Il est possible (et pas improbable d'ailleurs) que le modèle soit sujet au biais de la variable omise. Le site econometrics détaille, dans un exemple simple, comment le choix des variables du modèle peut faire varier de manière importante les résultats (12). Pas une erreur méthodologique en soit, mais à garder en tête lorsqu'on interprète les résultats. De la même manière, le modèle choisi est linéaire. Il parait évident que cela ne peut pas être le cas : les notes sont bornées entre 0 et 100 ! Il y aurait sans doute encore beaucoup d'autres points à discuter, mais ce billet est déjà bien trop long.

La plus grosse erreur : celle de la presse…



J'ai détaillé plus haut un certain nombre de problèmes, dans cette étude, qui m'incitent donc à douter des résultats présentés. De nombreuses approximations, ainsi que quelques erreurs méthodologiques tendent à rendre les résultats beaucoup moins robustes que ce qu'ils paraissent. D'autre part, l'extrapolation de ces résultats semble également hasardeuse : peut-on vraiment comparer vignoble californien et vignoble français ? Probablement pas. Est-ce que les sensibilités de dégustations entre œnologues pourraient être différentes ? Probablement…

Mais plus grave que ces considérations, il y a l'erreur commise par la plupart des articles de presse grand public. Rappelons que les auteurs concluent leur article par :

[…] ecocertification is associated with a statistically significant increase in wine quality rating. Being ecocertified increases the scaled score of the wine by 4.1 points on average.

L'augmentation de points identifiée par les auteurs est une augmentation sur le score mis à l'échelle. Celui dont l'écart type était en moyenne de 28, alors que sur l'échelle de «notation de base» il était de 3 environ. Pour une distribution gaussienne (peu ou prou similaire à la distribution des notes rapportées dans la Fig 1), 4 points dans l'échelle normalisée correspondent à… 0.4 point dans l'échelle «de base». Et encore, si j'intègre la variable «expérience de certification», on tombe à… 0.13 point en moyenne dans l'échelle de base.
Et pourtant «Le Monde», par exemple, écrit dans ses colonnes :

Résultat : les vins «bio» (selon la certification officielle californienne) ou «biodynamiques» (selon la certification privée de Demeter) affichent en moyenne un score supérieur de 4 points aux vins conventionnels, sur une échelle graduée de 50 à 100 — 50 étant le score d'une épouvantable piquette, un grand cru d'exception pointant entre 90 et 100


Quelle regrettable erreur…

Pour conclure



J'ai débuté cette analyse au détour d'une discussion sur Twitter.
  • Si je m'étais arrêté à ma discussion, sur Twitter, j'aurais conclu que les vins bios étaient meilleurs que les vins conventionnels.
  • Si je m'étais arrêté aux articles de presse, j'aurais conclu qu'il y avait un impact positif important de l'agriculture biologique sur la qualité des vins.
  • Si je m'étais arrêté à l'abstract, j'aurais conclu qu'il y avait un impact positif (mais modéré) de l'écocertification sur la qualité des vins.
  • En lisant l'article complet, je conclue qu'il y a un impact positif, très modéré, de l'écocertification sur la qualité de l'ensemble des vins (même non-bio) produits par un établissement viticole, sous un nombre important d'hypothèses de modélisation et de possible biais statistiques… Notez bien que je ne jette pas la pierre aux auteurs de l'étude : ils ont été, eux, remarquablement honnête dans la description des limitations de leur étude et dans la retranscription de leur méthode !

L'étude ci-dessus a été publiée en 2016. Elle a été reprise par un nombre impressionnant de site de presse, la plupart retranscrivant de manière partielle et/ou erronée les résultats de l'étude. Et elle est aujourd'hui citée comme «faisant foi».

A mes yeux, le Collectif NoFakeScience (13) résume parfaitement mon sentiment : il est indispensable, aujourd'hui plus que jamais, que la presse prenne au sérieux le traitement de l'information scientifique pour retranscrire une information juste et mise en contexte. Cela n'a pas été le cas dans le cas de cette étude.

NB : Je suis bien entendu ouvert à toute controverse et serait très heureux d'amender et/ou corriger mon article si vous y trouvez une incohérence ou une erreur d'interprétation. Me contacter sur Twitter (@Al_th).
Intérêts cachés et laboratoire pharmaceutique : un cas d’école
Dans ce billet, mon objectif est d’exposer un cas d’école d’intérêts cachés et de manipulation d’opinion.

Un peu de contexte pour commencer. Le 18 mars 2018, 124 professionnels de santé signent, dans le Figaro, une tribune qui a pour objectif d’alerter le public sur les médecines dites "alternatives", entre autre l’homéopathie 1.

Suite à cette tribune, de nombreux patients ainsi que des médecins homéopathes se sont indignés et ont réagi de manière vive. Du côté des patients, il est prétendu que ces médecins n’ont qu’un objectif financier en tête et qu’ils seraient en réalité des vendus à l’industrie pharmaceutique.

Doinet_compressed.jpg
Une réaction, parmi tant d'autres, à la tribune FakeMed


Du côté des médecins, des syndicats d’homéopathes menacent de porter plainte pour non-confraternité envers les signataires de la tribune. Cette menace a, depuis, été mise à exécution.

Avance rapide : Nous sommes le 22 Décembre 2018 et deux événements, plus ou moins parallèles, attirent mon attention. D’une part, le jugement de la Chambre Disciplinaire de Première Instance de la plainte en non-confraternité contre deux signataire de la tribune #FakeMed est rendu. Je reviendrais sur cet événement à la fin de mon billet. D’autre part un tweet de «Collectif SafeMed» est publié.

SAFEMED_Tweet2_compressed.jpg
Tweet du Collectif SafeMed


Ce tweet a attiré mon attention. Il est étonnant pour deux raisons, d’une part par le fond, d’autre part par sa forme. Par le fond, car il relate des faits erronés. En effet le tweet indique que c’est le Conseil National de l’Ordre des Médecins (CNOM) qui traduit ces médecins en chambre disciplinaire, une information que le vice président du CNOM lui-même dément 2. D’autre part, par sa forme. En effet, l’image du médecin se tenant les cheveux, comme s’il avait quelque chose à se reprocher, la référence à #PubMed (dont on se demande bien ce qu'elle vient faire là) et le vocabulaire semble étrange. D'autre part, le billet de blog accompagnant ce tweet a l’air peu objectif. J'ai donc décidé d'en savoir un peu plus sur ce Collectif SafeMed.

Sur le site web du collectif, on apprend qu’il s’agit d’une association regroupant patients, médecins, et professionnels de santé, qui promeut la «médecine de demain», la «médecine intégrative». Le but auto-proclamé de cette association est :
  • La promotion de cette médecine intégrative.
  • La défense de ceux qui assurent cette promotion.
On lit également qu’elle se refuse tout lien avec des intérêts privés et affirme sa totale indépendance.

SafeMed_liens_compressed.jpg
Déclaration d'absence de lien avec des intérêts privés du Collectif SafeMed


Enfin, on lit les noms du bureau de ce collectif. Je me suis permis de surligner le nom du Dr. Antoine Demonceaux, car il s’agit d’un personnage intéressant, comme nous allons le voir ci-après.

SafeMed_Demonceaux_compressed.jpg
Bureau du Collectif SafeMed


Je me permets maintenant de développer pourquoi j’ai prétendu que le Dr Antoine Demonceaux était intéressant.
Tout d’abord, en allant voir la base transparence.sante.gouv.fr, on note quelques transactions financières, principalement par le laboratoire Boiron, leader mondial de l’homéopathie. En soi, rien de très surprenant, quelque repas tout au plus. Pour un médecin fervent défenseur de l’homéopathie, comme le montre son blog 3, cela ne semble pas étonnant et jusque-là, donc, tout va bien.

Là où ça devient intéressant, c’est quand on remarque que ce monsieur est gérant de l’entreprise CEDH Sarl (et plus précisément dans le rôle de directeur commercial/marketing). Le CEDH est le «Centre d’Enseignement et de Développement de l’Homéopathie», un organisme qui forme à la pratique de l’homéopathie.

CEDH_SARL_compressed.jpg
CEDH Sarl


Là où ça devient ENCORE plus intéressant, c’est quand on sait que le CEDH est en réalité une filiale de Boiron, ce qui est d’ailleurs indiqué dans les mentions légales du site du CEDH 4. Et là, la base transparence.sante.gouv.fr révèle les torrents d’argents que Boiron déverse dans le CEDH.

CEDH_ARGENT_compressed.jpg
Versements de Boiron vers le CEDH


Entre Janvier 2017 et Mai 2018, et si je compte bien, 3.305.200€ ont été versés au compte du CEDH. Pour remettre cette somme dans le contexte du bilan financier du CEDH, il s’agit d’un ordre de grandeur presque équivalent au CA du CEDH. D’autre part, lorsqu’on voit que le résultat net du CEDH est de 20.000€, on ne peut s’empêcher de se demander où passe tout cet argent. Sans surprise, pour un organisme de formation, les charges salariales correspondent à environ la moitié du CA 5 ... et donc sans doute le salaire du directeur marketing ?

Au début de ce billet, je mentionnais qu’hier avait eu lieu le jugement de la plainte en non-confraternité de deux signataires de la tribune #FakeMed. Vous vous demandez sans doute pourquoi je mentionnais cet événement ? Eh bien il s’avère que le plaignant est justement le Dr. Antoine Demonceaux. (cf tweet suivant 6). Il s’avère également qu’il connait et a discuté avec l’un des assesseurs, c'est à dire un juge, de la chambre disciplinare : le Dr. Ducreux. Nous rappellerons au lecteur que Dr. Ducreux est le président régional de la Société Française de Mésothérapie … une autre pratique alternative dénoncée par la tribune #FakeMed ! Sans aucune surprise la décision de la chambre disciplinaire n’est pas allée dans le sens des signataires de la tribune #FakeMed.

Le conflit d’intérêts semble énorme. Heureusement, le Conseil National de l’Ordre des Médecins a entendu la grogne montante vis-à-vis de cette situation et a décidé de faire appel sur la décision de la CDPI 7. Malgré cette décision remarquable, il n’en reste pas moins en bouche le goût amer de l’impression de se faire mener en bateau par des hommes qui n’ont aucune honte à manipuler l’opinion et à aller à l’encontre de toutes les règles de déontologie.

Rappelons tout de même que le Dr. Antoine Demonceaux, gérant d’une filiale de l’entreprise Boiron, ose prétendre sur le site du Collectif SafeMed, dont il est le président, que le collectif refuse tout lien avec des intérêts privés.

Mais de qui se moque-t-on ?!