Présentation et fondements

Pl@ntNet a été conçu par un consortium regroupant l’Institut de recherche pour le développement (IRD), le Centre de coopération internationale en recherche agronomique pour le développement (CIRAD), l’Institut national de recherche pour l’agriculture, l’alimentation et l’environnement (INRAE), l’Institut national de recherche en informatique et en automatique (INRIA) et le réseau Tela Botanica, avec le concours de la fondation Agropolis.

Après une dizaine d’années d’existence, l’application a été téléchargée plusieurs millions de fois et compte des dizaines de milliers d’utilisateurs par jour à travers le monde.

La reconnaissance automatique des images s’appuie sur des techniques d’intelligence artificielle (apprentissage profond). Après des transformations numériques des images visant à en extraire les invariances, des recherches de similarités sont faites depuis une base de données de plantes déjà référencées et nommées. Les images soumises pour des déterminations peuvent ensuite rejoindre la base de données (selon leur qualité et leur pertinence).

L’application et son utilisation

Une interface dédiée à la détermination des plantes est proposée, disponible à la fois sur téléphone et depuis un site dédié. L’utilisateur envoie de une à quatre photos en précisant de quels organes il s’agit. L’application lui retourne une liste d’espèces (photo 1), classées par ordre de vraisemblance selon une valeur comprise entre 0 et 100 % (confidence score). Elle est assimilable à la probabilité d’appartenance du sujet de la photo fournie à l’espèce indiquée, selon le modèle mis à contribution. Ces valeurs peuvent fortement varier d’une photo à l’autre (par exemple de 2,58 % à 74,5 % pour deux feuilles d’Alisier blanc classées l’une et l’autre en première position), ou d’une espèce à l’autre. Le rang des espèces proposées importe donc également beaucoup, au-delà de la simple valeur de vraisemblance. L’utilisateur peut voir d’autres photos des espèces proposées pour juger d’une éventuelle ressemblance. Il peut ensuite choisir l’espèce qui lui semble le mieux convenir, même si elle n’apparaît pas en premier, voire en saisir une nouvelle si aucune ne convient dans la liste et qu’il est sûr de son fait. Des critères botaniques complémentaires (taille relative, odeur, rugosité, pilosité, etc.) sont accessibles à l’utilisateur alors que le modèle ne travaille qu’à partir de photos. De plus, il voit la plante dans son contexte et peut s’appuyer sur d’autres organes pour sa détermination.

L’outil Pl@ntNet est collaboratif et repose beaucoup sur ses nombreux utilisateurs revendiqués. Ainsi, chaque utilisateur peut aussi participer à la validation des images ou proposer des corrections (photo 1). Ce travail de révision permet d’améliorer les déterminations et de n’enrichir la base qu’avec des données confirmées.

Photo 1 Trois copies d’écran de l’application Pl@ntNet sur téléphone
À gauche, les résultats obtenus à la suite de la demande d’identification d’une feuille de Bouleau verruqueux (Betula pendula Roth.). Au centre, la possibilité offerte aux utilisateurs de réviser un résultat (le leur ou celui d’un autre), pour confirmer une proposition ou en faire une autre. À droite, la possibilité de valider ou non une photo (selon la netteté, le cadrage ou la facilité à reconnaître les critères d’identification) et de proposer un autre organe quand celui spécifié n’est pas le bon.

Save View full size Expand inline Collapse inline

Un tel outil semble a priori utile et, après une dizaine d’années d’existence, il est intéressant d’analyser son fonctionnement, ses atouts et ses limites. Pour cela, une prise en main a d’abord été effectuée, puis après quelques mois, une série de photos a été saisie pour tester les résultats obtenus pour des essences forestières. L’objectif n’était pas de déterminer l’essence sur la photographie soumise à l’application car elle était déjà connue, mais de vérifier la pertinence des résultats proposés.

Le jeu de photos

Il a été décidé de tester l’application sur un jeu d’essences forestières feuillues, les feuilles étant un organe plutôt facile pour la détermination des essences. Vingt essences assez communes pour la plupart, des plaines et collines du nord et du centre de la France ont été sélectionnées (tableau 1).

Cette sélection a été faite en fonction de la fréquence de ces essences, de leur diversité morphologique, de leur autochtonie, de la difficulté variable pour leur détermination et de la disponibilité de photographies. Par ailleurs, certains genres (Acer, Quercus et Ulmus) ont été privilégiés pour visualiser les éventuelles confusions entre espèces morphologiquement proches.

Certaines essences comme les Tilleuls (Tilia cordata Mill. et T. platyphyllos Scop.) n’ont pas été retenues car il était difficile sur des photographies prises auparavant de garantir la bonne détermination de l’espèce, dans la mesure où les critères utilisables (couleur de la pilosité sous les feuilles, présence ou non de poils sur le pétiole ou le bourgeon, présence ou non de côtes saillantes sur les fruits…) y sont rarement vérifiables.

Pour chaque essence, dix photographies ont été sélectionnées. Elles proviennent soit de l’auteur (pour environ un tiers d’entre elles), soit de divers auteurs de la base photographique PhotoFor (Gaudin & Mouas, 2016), pour les deux autres tiers. Seules des photos prises en milieu forestier ont été retenues, pour éviter des confusions avec des espèces du même genre aux caractéristiques botaniques proches, comme on peut en retrouver dans les parcs et jardins.

Les photos utilisées dans ce test sont quasiment toutes issues d’appareils photos numériques et non de téléphones. Cela induit notamment des différences sur les arrière-plans. En effet, les appareils à moyen ou grand capteur, grâce à leur focale assez longue, leur diaphragme pouvant être ouvert en grand et parfois des objectifs macro peuvent produire des arrière-plans assez flous sur lesquels le sujet principal ressort d’autant mieux (photo 2). Les photos sélectionnées sont globalement de meilleure qualité que ce qui est saisi en majorité dans Pl@ntNet (netteté, cadrage…). De plus, comme elles ont été prises par des forestiers et sélectionnées pour intégrer une base photographique professionnelle, elles mettent en évidence le plus souvent un certain nombre de critères botaniques utiles à la détermination.

Une vérification conséquente a été réalisée pour que chaque photo illustre bien l’espèce indiquée, en particulier pour les essences pouvant s’hybrider (notamment dans le genre Quercus). Tout doute a conduit au rejet de la photo. Chaque cliché devait comporter une ou plusieurs feuilles de l’espèce considérée. Un recadrage a parfois été effectué pour répondre aux recommandations de Pl@ntNet (netteté, sujet centré, absence de mains tenant la feuille…).

Les photos ne devaient comporter que des feuilles, voire des rameaux et des bourgeons. Celles comportant d’autres organes pouvant intervenir dans la reconnaissance (fruits, fleurs…) n’ont pas été retenues pour que la détermination proposée ne se fasse qu’à partir des feuilles ou des rameaux et que toutes les photos soient classées selon le même organe.

Les critères relevés sur les photos

Sur un échantillon de deux cents photos, il est assez facile de constater qu’il existe d’assez nombreuses différences. Dans la mesure où ces particularités interviennent potentiellement dans la reconnaissance, du moins par l’œil humain, il a été décidé d’en noter certaines pour estimer si elles intervenaient ou non dans la qualité de la reconnaissance par logiciel. Pour les facteurs présentés ci-dessous, les nombres entre parenthèses précisent combien de photos sont concernées par chaque modalité (pour un total de 200 photos).

• Saison

L’application accepte des images prises à toutes les saisons. Comme il s’agissait ici uniquement d’essences à feuilles caduques, seules des photos prises au printemps (17), en été (131) ou en automne (52) ont été retenues. Les premiers stades de débourrement n’étaient pas pris en compte, de même que les stades de décomposition assez marquée (avec une forte squelettisation, par exemple). Les feuilles printanières se distinguent par une morphologie qui peut être différente des feuilles estivales (photo 2) ou par leur couleur (vert tendre du Hêtre après le débourrement, par exemple). Les feuilles automnales peuvent bien entendu changer de couleurs, présenter des taches, mais également voir leur forme varier (racornissement, déchirement, flétrissement partiel du limbe), par rapport aux feuilles estivales.

Photo 2. Cette photo d’Érable sycomore présente 4 feuilles (classe B), en fin de débourrement (la saison notée est le printemps) qui se détachent bien grâce un arrière-plan flou permis par les réglages de l’appareil photographique (fond noté simple). La prise de vue est orthogonale par rapport au limbe (orthogonalité notée bonne). Son support est sa branche.
Photo : © Sylvain Gaudin

Save View full size Expand inline Collapse inline

• Orthogonalité

Les limbes étant le plus souvent plans, une prise de vue orthogonale au limbe permet d’avoir toute la feuille dans le plan de netteté et d’obtenir une image qui n’est pas déformée, ce qui rend la détermination plus facile (Gaudin, 2013). Pour la majeure partie des photos sélectionnées, cette orthogonalité est bonne (137), elle est parfois qualifiée de moyenne (58) quand l’angle diffère de l’angle droit et que quelques déformations apparaissent (photo 3). Dans de rares cas, l’angle est marqué et les feuilles nettement déformées ou vues de biais. Leur orthogonalité est alors qualifiée de faible (5).

Photo 3. Cette photo de Frêne commun présente un nombre de feuilles entrant dans la classe C (cinq à dix feuilles). Les feuilles ayant leur morphologie adulte, la saison notée est l’été. Leur support est une branche. Comme la prise de vue est de biais par rapport à la majorité des limbes, l’orthogonalité est moyenne. Le fond assez présent et de même couleur que les feuilles rend au premier abord la lecture de l’image assez difficile. Il est donc noté moyen.
© Sylvain Gaudin

Save View full size Expand inline Collapse inline

Le test des photos par Pl@ntNet et les paramètres notés

Les 200 photos ont été saisies dans Pl@ntNet depuis un ordinateur via l’interface internet. Cela s’est fait en un temps réduit (sur deux journées, fin décembre 2022) pour que la même version des algorithmes soit utilisée pour toutes les photos et toutes les essences.

Pour chaque photo, la page dédiée présente non seulement les résultats à l’écran, mais propose également au téléchargement un fichier indiquant la liste des espèces potentielles avec chacune sa probabilité associée, classées par ordre décroissant. Cela permet donc d’obtenir directement sa probabilité et son rang pour l’espèce connue qui a été testée, ainsi que la liste des autres espèces proposées par l’application.

L'inverse du rang obtenu (Reciprocal Rank) a également été calculé pour chaque photo. Il vaut 1/1 si la bonne essence a été classée première, 1/2 si elle a été classée deuxième… La moyenne de l'inverse du rang (Mean Reciprocal Rank) est un critère utilisé habituellement pour comparer les sorties obtenues par des méthodes classant les résultats par ordre de vraisemblance (Joly et al., 2013). Par ailleurs, dans la mesure où les rangs peuvent varier fortement dans certains cas et prendre des valeurs assez différentes, ils ont été regroupés en trois classes : A : premier, B : deuxième et C : troisième ou rang ultérieur.

Quels sont les paramètres qui influencent la bonne reconnaissance des essences ?

Les données ont été analysées en utilisant la méthode des forêts aléatoires (Random Forests ; Breiman, 2001). Une première analyse a concerné le pourcentage (confidence score) retourné par l’application pour l’espèce présente sur la photo. Pour les deux cents photos testées, le modèle n’explique qu’environ 31 % de la variance de cette variable. Le graphique de l’importance des variables est présenté en figure 1. C’est de loin l’espèce qui est la variable la plus importante pour expliquer le pourcentage retourné par l’application. Vient ensuite le nombre de photos présentes dans la base pour l’espèce concernée au moment des tests. Les variables suivantes sont relatives à la prise de vue. Le fait que les feuilles soient composées ou simples ou la nature chargée ou non du fond n’ont pas d’importance sur le résultat, d’après nos données et la façon dont elles ont été encodées.

Figure 1 Graphique de l’importance des variables
Une importance élevée va de pair avec un poids conséquent de la variable pour diminuer l’erreur du modèle.

Save View full size Expand inline Collapse inline

Comme cela a été expliqué, les pourcentages retournés par l’application servent à classer les résultats. Une seconde analyse a donc été réalisée sur les rangs. Le modèle reclasse correctement 74 % des observations. C’est encore l’espèce qui a la plus forte importance, suivie du nombre de photos présentes dans la base, puis de la saison. Les autres variables ont pour cette seconde analyse une importance négligeable. Le comportement individuel de ces variables (figure 2) est identique dans les deux analyses.

Figure 2 Graphiques présentant l’effet marginal qu’ont les différentes variables sur le pourcentage retourné par Pl@ntNet (axe des ordonnées)

Save View full size Expand inline Collapse inline

La part de variance expliquée par le modèle (31 %) peut paraître faible. Toutes les caractéristiques des photos n’ont pas été traduites en variables : par exemple, est-ce que les feuilles sont éclairées en lumière directe ou par transparence (en contre-jour) ? Cependant, la raison principale est sans doute la très forte variabilité de la valeur à expliquer(confidence score) retournée par l’application. Pour l’ensemble des photos correctement classées en première position, elle varie de 2,6 % à 95,6 % avec un premier quartile à 19,5 %, une médiane à 40,9 % et un troisième quartile à 63,7 %.

Importance de la qualité de la prise de vue sur les résultats obtenus

Même si les modèles ont un pouvoir explicatif limité, la figure 2 montre quelques tendances intéressantes en ce qui concerne les prises de vue. Il faudra cependant les corroborer avec d’autres analyses.

Les résultats par essences

La figure 1 montre l’importance marquée de l’essence pour expliquer la bonne reconnaissance. Il existe des différences notables entre les essences (figure 2). Cela peut venir de difficultés intrinsèques (essence difficile à reconnaître d’après une photo, confusion fréquente avec d’autres espèces du même genre…) ou de l’application (manque de références pour l’essence, photos mal classées présentes dans la base, difficulté de différencier des espèces morphologiquement proches…). À ce titre, même si le nombre de photos dans la base pour chaque essence intervient de manière conséquente, il n’y a pas de relation linéaire entre ce nombre et la qualité de la reconnaissance (figure 2). Autrement dit, la quantité de photographies n’est pas la seule donnée à prendre en compte, leur qualité importe également. Par exemple, les photos étiquetées comme Érable à feuilles d’obier présentes dans la base ont été passées en revue. Parmi elles se trouvaient un nombre non négligeable de photos d’Érable champêtre, d’Érable sycomore ou de quelques autres érables, voire d’espèces d’autres genres comme la Viorne obier (Viburnum opulus L.).

La figure 3 présente les résultats globaux obtenus pour chaque essence. Ces valeurs ne proviennent que de dix photos et sont donc à prendre comme des ordres de grandeur. Il faudrait plusieurs dizaines, voire plusieurs centaines de photos pour être plus précis. La moyenne de l’inverse du rang est un paramètre synthétique qui varie entre 0 et 1 et qui tient compte non seulement de la bonne reconnaissance, mais aussi du classement. Une photo dont l’essence arrive au dixième rang fera nettement plus baisser la moyenne qu’une arrivant au deuxième. Par exemple, l’Érable plane, le Châtaignier et l’Alisier blanc ont chacun un taux de reconnaissance de 50 %, mais les rangs obtenus sont globalement meilleurs pour l’Érable plane et moins bons pour l’Alisier blanc.

Figure 3 Taux de reconnaissance et moyenne de l’inverse du rang pour les vingt essences testées

Save View full size Expand inline Collapse inline

Un outil fiable ?

Pl@ntNet est à la fois décevant et enthousiasmant ! Décevant car les résultats proposés comportent parfois des erreurs flagrantes pour un botaniste, y compris sur des espèces considérées comme faciles à déterminer. Enthousiasmant car il classe parfois très bien, voire en première position des plantes réputées difficiles, grâce à des photos ne montrant pas tous les caractères botaniques utiles alors qu’un tel résultat semblait impossible à atteindre.

Cette diversité des résultats pose donc le problème de la fiabilité. Autant il est facile de statuer en connaissant l’espèce avant même de la saisir dans l’application, même si elle n’apparaît pas en premier, autant cela est difficile en présence d’une plante complètement inconnue. Il faut dans ce cas regarder les photos proposées pour chercher les éventuelles ressemblances et surtout ouvrir des ouvrages spécialisés pour vérifier les critères de diagnostic.

L’accumulation des données pourrait permettre d’améliorer l’efficacité de l’outil. Cependant, le test réalisé montre que si le nombre de photos de feuilles dans la base est une variable d’importance, il n’y a pas de relation linéaire avec la précision des résultats obtenus (ni pour le pourcentage associé, ni pour le rang). Ainsi, la question de la qualité des photographies (cadrage, angle de prise de vue, typicité de la feuille photographiée, netteté…) et celle de leur pertinence (pourcentage de photos représentant réellement l’espèce et non une autre) se posent.

La validation ou la correction des espèces ainsi que l’appréciation de la qualité des photographies reposent sur un fonctionnement collaboratif. Cela permet donc de corriger des erreurs quand elles sont perçues. Cependant, certaines validations sont faites par des personnes ne connaissant pas assez les plantes et les critères de différenciation des espèces, ce qui ne contribue dans ce cas qu’à entériner des erreurs de détermination ! Ce phénomène peut même conduire à amplifier les erreurs : par exemple, Pl@ntNet propose souvent l’Érable à sucre en premier à la place de l’Érable plane. L’observation des photos classées comme Acer saccharum Marshall montre qu’une partie d’entre elles sont très vraisemblablement des photos d’Érable plane. Cela conduit donc non seulement l’application à proposer une mauvaise essence, mais aussi l’utilisateur à valider le résultat, des photos identiques à la sienne étant étiquetées comme Érable à sucre.

Seul un travail méticuleux de passage en revue des photos de la base réalisé par plusieurs botanistes pourrait enrayer cela, mais il y a parfois des milliers de photos par essence… Par ailleurs, certaines essences sont difficiles à identifier sur photo, même par des spécialistes. Les mauvais résultats obtenus sur les chênes s’expliquent peut-être ainsi.

L'application permet de saisir plusieurs photos et donc plusieurs organes de la même plante. Les samares pour un érable ou les glands pour un chêne apportent une information supplémentaire qui permet souvent d'affermir le diagnostic. Travailler ainsi de manière plus systématique améliorerait la pertinence des nouvelles photos saisies (Joly et al., 2014).

Un outil pour les débutants ?

Pl@ntNet est souvent présenté comme une application qui permet de manière instantanée de reconnaître les plantes. Cela conduit directement à penser qu’aucune compétence botanique n’est nécessaire et qu’un débutant obtiendra le résultat sans effort… Sur les deux cents photos testées, la validation systématique de l’espèce proposée au premier rang donne un taux de reconnaissance de 71 %. Ce serait donc la précision obtenue sur ces photos par une personne ne vérifiant pas la cohérence des résultats dans l’application ou n’utilisant pas une flore pour valider l’espèce proposée ou en choisir une autre dans la liste.

Une telle précision n’est pas gênante pour un utilisateur occasionnel, d’une part parce qu’il ignorera ses éventuelles confusions et d’autre part, parce que savoir que l’arbre vu est un érable est suffisant pour lui (peu importe que ce soit un plane ou un sycomore). Cependant, la validation de données inexactes contribue à polluer les bases de photographies servant à de nouvelles déterminations. L’un des objectifs affichés par Pl@ntNet est d’améliorer la connaissance du vivant (distribution des espèces, dynamique des populations, etc.). Même s’il existe des filtres (sur la qualité et la pertinence des photos) et que toutes les données ne sont pas intégrées dans des bases à usage scientifique, des déterminations inexactes risquent d’introduire du bruit dans les résultats.

Un outil qui remplace les ouvrages spécialisés ?

La détermination des plantes ne passe pas que par des critères visuels suffisamment gros pour être photographiés sans matériel spécialisé. Le toucher (rugosité, aspect coriace…) ou l’odorat (odeur de l’Épiaire des bois, de la Menthe aquatique) sont par exemple d’autres moyens de diagnostiquer une plante. Par ailleurs, les espèces de certaines familles (Poacées, Cypéracées, Joncacées par exemple) nécessitent une analyse approfondie, la maîtrise d’un vocabulaire spécifique et l’utilisation d’une loupe pour être déterminées. Pour toutes ces raisons, des ouvrages spécialisés seront toujours nécessaires pour conclure. Les flores sont moins accessibles et moins ludiques, mais plus complètes et offrent plus de certitudes en ce qui concerne les déterminations. L’utilisation des outils comme Pl@ntNet ne devrait donc se faire qu’en synergie avec les ouvrages de détermination.

Quelles stratégies d’utilisation ?