Au détour d'une discussion, sur Twitter, mon interlocuteur et moi discutions de l'intérêt de l'agriculture biologique dans le domaine du vin. Alors que je prétendais qu'il n'existait pas de preuves que le bio apporte un quelconque intérêt gustatif, mon interlocuteur m'incite à lire une étude réalisée par UCLA et Kedge Business School portant sur 74000 vins.
Cette réponse m'a intrigué pour deux raisons : d'une part cela remet en cause ce que je crois savoir, et d'autre part parce que l'étude porte sur un grand nombre de vins (n=74000), ce qui tend à faire penser que la puissance statistique (i.e. le degré de confiance qu'on peut accorder aux résultats de l'étude) est importante. En cherchant sur le moteur de recherche Google (mots-clés : «kedge UCLA vin bio meilleur»), je tombe sur de nombreux articles de presse grand public rapportant les résultats impressionnants de cette étude, (e.g.1, 2, 3).
Mon intérêt ne s'en trouve que renforcé : ces journaux rapportent une différence de 4 points sur 100, ce qui semble plutôt important ! Je décide donc de me lancer dans une lecture détaillée de l'article original. Pour ceux que cela intéresserait, la référence est la suivante : Delmas, Magali A., et al. "Does Organic Wine Taste Better? An Analysis of Experts' Ratings." (4)
Dans ce billet, je détaille mon analyse de cette étude mais, avant de rentrer dans les détails, voici mes conclusions :
Malgré une apparente bonne foi des auteurs, l'étude présente, il me semble, de nombreuses erreurs méthodologiques.
D'autre part, certains raisonnements logiques sont - ou me semblent – erronés.
La presse grand public a omis de nombreux détails qui tempèrent de manière forte les résultats de cette étude.
Et finalement, quand bien même les résultats de l'étude seraient justes, la presse grand public a retranscrit de manière (fortement ?) erronée les propos des auteurs. Pour atteindre directement la justification de cette affirmation, cliquez ici.
Contexte de l'étude
La question posée
This study seeks to answer the question - is ecocertification associated with quality?
«Ecocertification» : Les auteurs de l'étude détaillent les différents types de certifications «bio» aux US. L'USDA décerne deux types de labels : «organic wine» —lesquels doivent contenir au moins 95% d'ingrédients bio et pour lesquels l'ajout de sulfites est interdit— et «wine from organic grapes» —pour lesquels des sulfites et ingrédients non bio, comme des levures p. ex., peuvent être ajoutés dans certaines limites (5). L'association Demeter décerne également une certification «biodynamie».Les auteurs indiquent qu'ils regroupent donc sous le terme écocertifié ces trois types de vins. Il y a deux notes de bas de page qui précise qu'il n'y a pas de «Organic wine» dans les 74000 vins passés en revue par les auteurs.
«Quality» : On trouve en section IV.A. la description de la variable indépendante de l'étude, en l'occurrence la qualité du vin. Les auteurs mesurent la qualité des vins par la note qui leur a été attribuée par l'une des trois revues expertes qui font partie de leur base de données.
Je remarque que les auteurs ne répondent pas exactement à la question posée dans le titre de leur article. En effet, l'écocertification est utilisée comme un proxy ; les auteurs ne testent pas directement l'influence de l'aspect biologique du vin sur la qualité. Comme ils le font très justement remarquer dans leur texte, d'ailleurs, certains producteurs suivent les règles de production de l'écocertification sans être écocertifiés. Dès lors, on peut se poser la question : parmi les exploitants, est-ce que ceux qui cherchent à obtenir les certifications ne sont pas ceux qui, aussi, se préoccupent le plus de la qualité de leurs vins ?
Ma seconde remarque concerne la manière dont la presse a rendu compte des résultats de cette étude. Alors que l'article original titre «Does Organic Wine Taste Better ?». La traduction littérale est: «Est-ce que les vins biologiques sont meilleurs au goût ?». C'est la traduction qui a été choisie par certains articles de presse grand public de manière sans doute erronée (6). La notion de «wine tasting» est néanmoins plus proche de la notion générale de «dégustation de vin», qui comprend l'évaluation des qualités olfactives ou de la robe par exemple. Je concède qu'il s'agit là d'un détail mineur, la barrière de la langue reste encore aujourd'hui un obstacle à la diffusion des connaissances.
Description des données utilisées
Les auteurs ont réuni des données provenant de trois journaux d'œnologie, réunissant 74148 références de vins californiens produits entre 1998 et 2009 dans 3842 établissements viticoles. Chaque référence de vin est accompagnée d'informations sur sa composition, sur l'année de sa production, sur le lieu de production, sur son prix et sur la quantité produite. Chacune de ces références a été soumise à une dégustation et une courte description du vin ainsi qu'une note, entre 0 et 100 points, lui a été attribuée.
Il semble important de remarquer qu'il s'agit d'une étude rétrospective dans laquelle les vins ont été goûtés sans aucun contrôle. Au crédit des auteurs, s'ils mentionnent que les vins ont été goûtés en aveugle, d'après lesdites revues, ils font également figurer dans les limitations de leur étude les incertitudes probables sur le procédé d'évaluation. Les auteurs remarquent également qu'il y a un effet d'arrondissement à la note supérieure entre les notes de 89 et de 90 (voir Fig.1), i.e. un biais de notation. On peut cependant raisonnablement penser que ce biais est aussi bien présent pour les vins biologiques que pour les vins conventionnels.
Finalement, la Table 1 indique que, parmi ces 74148 références, 785 références sont écocertifiées, soit environ 1.06%.
Quelques réflexions autour de la méthode
Variable dépendante : Le score de qualité
Afin de s'affranchir des différences d'appréciation des trois revues, les auteurs ont choisi de normaliser les échelles de notation. Ils utilisent la méthode de Cardebat et Paroissien (7), plus connue sous le nom de spécification d'histogramme. Les auteurs convertissent d'autre part les notes en percentiles. Cette normalisation leur permet d'obtenir un score «mis à l'échelle» (scaled score dans le texte).
Si la volonté de comparer des choses comparables —par la normalisation des barèmes— est louable, il est important de remarquer que la normalisation n'est pas anodine. D'une part, en spécifiant les histogrammes des différentes distributions de note, les auteurs transportent le phénomène d'arrondissent à la note supérieure décrit plus haut de manière différente. D'autre part, et c'est un point crucial, en traduisant les notes en percentiles, les auteurs modifie la structure de la distribution. Alors qu'elle était “resserrée” (écart type $\sigma \approx 3$, Table 1), la distribution des scores mis à l'échelle est “étalée” (écart-type $\sigma \approx 30$, Table 2). Ce détail est crucial pour comprendre en quoi la presse grand public a déformé les propos des auteurs de manière hallucinante.
Variable indépendante et variables de contrôle
Les auteurs déclarent un vin comme écocertifié si :
L'exploitation produit des vins écocertifiés
L'exploitation est certifiée «Biodynamie» par l'association Demeter
L'exploitation achète des raisins à une source satisfaisant les points 1 ou 2
Notez bien : les auteurs considèrent que si l'exploitation viticole a une écocertification alors ils déclarent tous les vins de cette exploitation comme écocertifiés. Cette interprétation est confirmée si l'on regarde le modèle (section V) où l'on retrouve la variable Ecocertified pour laquelle les deux seuls indices sont l'année et l'exploitation viticole : la variable ne dépend pas du vin particulier évalué.
C'est une erreur importante ! Je m'explique : on peut retrouver sur le site de l'USDA (8) la liste des exploitations viticoles écocertifiées. On se rend compte que l'USDA ne certifie pas une exploitation viticole entière, mais bien des pratiques spécifiques. Par exemple, City Winery New York LLC Dba City Winery est écocertifiée pour la production spécifique d'un vin : Rose of Syrah 2017 (9). Une visite dans la section «Nos vins» de leur site web (10) révèle qu'ils font d'autres vins, vins qui ne sont donc pas certifiés… vins produits par City Winery New York LLC Dba City Winery
Alors que, dans le titre de l'article, les auteurs prétendaient répondre à la question «Est que les vins bio sont de meilleur qualité», ils répondent en réalité à la question : «Est-ce que les exploitations viticoles produisant au moins UN vin biologique produisent des vins de meilleur qualité». La différence me semble loin d'être anodine.
On notera également la très faible proportion de références écocertifiées. Alors que l'étude se concentre sur environ 74000 références, 99% sont des références «conventionnelles» et seulement 1% sont des références écocertifiées. Ce type déséquilibre est un problème récurrent en statistique et requiert une attention particulière, ce que les auteurs omettent de faire. Je vous invite à lire le chapitre 16 de Applied Predictive Modeling, par Max Kuhn entièrement dédié à ce sujet (11).
Finalement, les auteurs incluent enfin dans leur modèle quelques variables de contrôle telles que la quantité de vin produite, le cépage des références ou encore la durée depuis laquelle la première écocertification a été obtenue. Cette dernière variable de contrôle est intéressante, et mérite également une discussion particulière, que nous aborderons dans la section de description des résultats.
Analyse des résultats
La régression du modèle indique que la variable Ecocertified est associée avec une augmentation statistiquement significative d'environ 4 points du score mis à l'échelle (p<0.05). On serait tenté de s'arrêter là, et de publier un article dans la presse, non ? Je vous assure que cela ne serait clairement pas avisé.
Tout d'abord, les auteurs remarquent une baisse significative du score mis à l'échelle lié à la durée depuis laquelle l'exploitation viticole est certifiée :
Interestingly, certification experience (which is equal to the vintage minus the first year the winery was certified) has a negative and statistically significant impact on scaled score.
Vous le voyez, le problème, là ? Allez, je vous donne un indice : la moyenne du nombre d'années d'écocertification, parmi les vins écocertifiés de leur base de données, est de 3.8 (Table 3). En clair :
La variation de score liée à la variable Ecocertified seule est absolument dénuée de sens. En effet, il ne peut pas y avoir d'écocertification sans y avoir également une baisse de point liée à la durée d'écocertification.
En moyenne, la variation de score liée à un vin éco certifiée n'est donc plus que de 1.2 point (+4 points pour être Ecocertified et -2.8 points pour être certifié, en moyenne, depuis 3.8 années). Beaucoup moins impressionnant…
La relation obtenue par régression sur les deux variables liées à l'écocertification est du type $\Delta S = 4 - 0.74\times y$, avec $\Delta S$ la différence de score après $y$ années d'écocertification.
Pour en terminer avec l'analyse du modèle, et de ses résultats, il me semble indispensable de rappeler que les auteurs ont défini un modèle. Ce faisant, ils ont imposé les variables indépendantes et variables de contrôle. Il est possible (et pas improbable d'ailleurs) que le modèle soit sujet au biais de la variable omise. Le site econometrics détaille, dans un exemple simple, comment le choix des variables du modèle peut faire varier de manière importante les résultats (12). Pas une erreur méthodologique en soit, mais à garder en tête lorsqu'on interprète les résultats. De la même manière, le modèle choisi est linéaire. Il parait évident que cela ne peut pas être le cas : les notes sont bornées entre 0 et 100 ! Il y aurait sans doute encore beaucoup d'autres points à discuter, mais ce billet est déjà bien trop long.
La plus grosse erreur : celle de la presse…
J'ai détaillé plus haut un certain nombre de problèmes, dans cette étude, qui m'incitent donc à douter des résultats présentés. De nombreuses approximations, ainsi que quelques erreurs méthodologiques tendent à rendre les résultats beaucoup moins robustes que ce qu'ils paraissent. D'autre part, l'extrapolation de ces résultats semble également hasardeuse : peut-on vraiment comparer vignoble californien et vignoble français ? Probablement pas. Est-ce que les sensibilités de dégustations entre œnologues pourraient être différentes ? Probablement…
Mais plus grave que ces considérations, il y a l'erreur commise par la plupart des articles de presse grand public. Rappelons que les auteurs concluent leur article par :
[…] ecocertification is associated with a statistically significant increase in wine quality rating. Being ecocertified increases the scaled score of the wine by 4.1 points on average.
L'augmentation de points identifiée par les auteurs est une augmentation sur le score mis à l'échelle. Celui dont l'écart type était en moyenne de 28, alors que sur l'échelle de «notation de base» il était de 3 environ. Pour une distribution gaussienne (peu ou prou similaire à la distribution des notes rapportées dans la Fig 1), 4 points dans l'échelle normalisée correspondent à… 0.4 point dans l'échelle «de base». Et encore, si j'intègre la variable «expérience de certification», on tombe à… 0.13 point en moyenne dans l'échelle de base.
Et pourtant «Le Monde», par exemple, écrit dans ses colonnes :
Résultat : les vins «bio» (selon la certification officielle californienne) ou «biodynamiques» (selon la certification privée de Demeter) affichent en moyenne un score supérieur de 4 points aux vins conventionnels, sur une échelle graduée de 50 à 100 — 50 étant le score d'une épouvantable piquette, un grand cru d'exception pointant entre 90 et 100
Quelle regrettable erreur…
Pour conclure
J'ai débuté cette analyse au détour d'une discussion sur Twitter.
Si je m'étais arrêté à ma discussion, sur Twitter, j'aurais conclu que les vins bios étaient meilleurs que les vins conventionnels.
Si je m'étais arrêté aux articles de presse, j'aurais conclu qu'il y avait un impact positif important de l'agriculture biologique sur la qualité des vins.
Si je m'étais arrêté à l'abstract, j'aurais conclu qu'il y avait un impact positif (mais modéré) de l'écocertification sur la qualité des vins.
En lisant l'article complet, je conclue qu'il y a un impact positif, très modéré, de l'écocertification sur la qualité de l'ensemble des vins (même non-bio) produits par un établissement viticole, sous un nombre important d'hypothèses de modélisation et de possible biais statistiques… Notez bien que je ne jette pas la pierre aux auteurs de l'étude : ils ont été, eux, remarquablement honnête dans la description des limitations de leur étude et dans la retranscription de leur méthode !
L'étude ci-dessus a été publiée en 2016. Elle a été reprise par un nombre impressionnant de site de presse, la plupart retranscrivant de manière partielle et/ou erronée les résultats de l'étude. Et elle est aujourd'hui citée comme «faisant foi».
A mes yeux, le Collectif NoFakeScience (13) résume parfaitement mon sentiment : il est indispensable, aujourd'hui plus que jamais, que la presse prenne au sérieux le traitement de l'information scientifique pour retranscrire une information juste et mise en contexte. Cela n'a pas été le cas dans le cas de cette étude.
NB : Je suis bien entendu ouvert à toute controverse et serait très heureux d'amender et/ou corriger mon article si vous y trouvez une incohérence ou une erreur d'interprétation. Me contacter sur Twitter (@Al_th).
