Les  économistes et les critiques d’art disent de plus en plus ouvertement que la dégustation des vins est une science bidon. Ce billet soutient que le problème ne tient pas tant à l’impossibilité de distinguer un bon d’un mauvais vin qu’à la façon dont les vins sont jugés. Si un système d’évaluation et de classement reposant sur l’indice de Shapley était adopté, la dégustation des vins aurait meilleure presse. (Cet article est la traduction de « Ranking wines using the Shapley value », paru dans Vox-Eu du 1 août 2013. Voir aussi pour démystifier la notion très surévaluée de « terroir » : « Wine tasting: Is ‘terroir’ a joke and/or are wine experts incompetent? » dans la même revue.)

 

Il y quelques années, Robert Hodgson, un océanographe à la retraite et maintenant vigneron de Californie, a écrit un papier dévastateur sur le résultat de 13 concours de vins qui s’étaient tenues en Californie (dans le Journal of Wine Economics 4, 1-9, 2009). Il concluait : « il n’y a presqu’aucun consensus au sein des 13 concours sur la qualité du vin : des vins qui reçoivent la médaille d’or dans une ou plusieurs concours ont toute chance de n’avoir aucune récompense dans les autres ; et la probabilité de recevoir une médaille d’or peut être statistiquement expliquée par le seul hasard.

Hodgson n’est pas le seul critique des concours de vins. Voir l’article du Guardian du 23 juin 2013 (« Wine Tasting: It’s Junk Science ») qui décrit des résultats similaires.

Notre point de départ ici est que la dégustation repose sur deux piliers : un jury, et une méthode de notation. Et que le problème ne viendrait pas du jury mais de la méthode qu’ils utilisent.

 

Les méthodes de notation

Elles ont toutes la même structure. Des jurés en nombre M s’assoient en face de N verres de vin. Ils les goûtent à l’aveugle et doivent soit les noter (disons sur une échelle de 0 à 20) ou les classer (le premier, le second, etc.). Les notes ou les rangs sont alors additionnés et les totaux donnent la notation ou le classement des vins.

Certains jurés sont généreux, d’autres moins et l’amplitude des notes par chacun des juges peut également varier. Ce dernier point peut donner plus de poids aux jurés qui notent avec beaucoup d’amplitude et donc qui expriment des préférences fortes. Dès 1781, Jean-Charles de Borda dans son « Mémoire sur les élections au scrutin » avait identifié ce problème. Pour corriger cela, les notes données par chaque juré sont converties en classement avant de faire l’addition.

Mais il reste que la notation et le classement sont compliqués. Ceux qui ont à noter des élèves ou des étudiants le savent bien (et sans verre de vin pour les soulager !).

 

Une nouvelle méthode : l’indice de Shapley

Venue de la théorie des jeux, l’indice de Shapley peut être utilisé pour la notation des vins. Les jurés devraient trouver cela facile, puisqu’on ne leur demande plus d’évaluer ou d’ordonner chaque vin, mais simplement de désigner le groupe de vins qu’ils trouvent « de valeur » (c’est-à-dire dignes d’une médaille).

Pour cela, on ne donne à chaque juré qu’un seul vote, qu’il utilise pour désigner le sous-groupe de son choix parmi les N vins. En votant pour ce groupe, il indique qu’il préfère tout vin faisant partie du groupe et qu’en ce qui le concerne, chacun d’eux est digne de recevoir la médaille alors que les autres vins ne le sont pas. Un groupe peut être constitué d’un seul vin ou bien de tous les vins. Quand un juré vote pour un groupe, son vote est partagé également entre chacun des vins. S’il vote disons pour cinq vins, chaque vin reçoit une note de 1/5ème. Les jurés votent simultanément de façon à ne pas connaître l’avis des autres, et aucun juge ne peut voter deux fois pour le même vin. Le score final de chaque vin, c’est-à-dire son indice de Shapley, est la somme des scores individuels qu’il a obtenus. Le plus haut score remporte le prix.

 

Conclusion

Il s’agit d’une méthode proche de certains systèmes de vote où un électeur vote pour autant de candidats qu’il veut. On peut s’inquiéter qu’un juré qui choisit un nombre important de vins exerce davantage de pouvoir que celui qui ne choisit qu’un seul vin. Mais ceci ne pose aucun problème, puisque chaque juge ne dispose que d’un seul vote. S’il retient beaucoup de vins, son vote unique devient dilué tandis que le juge qui ne vote que pour un vin lui assigne un plein score de un.

Cette méthode est bien plus simple d’emploi que la notation classique ou le classement. Les jurés sont beaucoup plus à l’aise, ce qui rend leurs choix plus aisés et plus cohérents.