DALL·E, GPT-4o et champignons toxiques : quand l’IA commet des erreurs dangereuses
Avec l’explosion de l’IA générative, nous avons désormais le pouvoir de créer en quelques secondes des affiches pédagogiques, des infographies scientifiques ou même des guides de survie. Génial, non ?
Sauf quand l’outil que vous utilisez vous recommande… de cuisiner une Amanite phalloïde.
Avant d’aller plus loin, je précise que les amanites phalloïdes et amanites tue-mouches sont potentiellement mortelles. Ne les consommez jamais.
Dans cette expérience, j’ai demandé à ChatGPT de me générer une affiche illustrée classant les champignons selon leur toxicité. Ce qui devait être un support de sensibilisation s’est transformé en exemple flagrant d’illusion de fiabilité.
Car si l’image est belle, elle est biologiquement fausse. Et pire encore : l’analyse automatique du modèle vient corriger l’erreur… en la maquillant.
Une plongée fascinante et inquiétante dans les biais de perception, les limites techniques, et les risques bien réels que peut engendrer l’usage non encadré de l’IA générative — même avec une simple affiche de champignons.
1. L’expérience
Tout commence par un prompt très simple, quasi inoffensif :
« Représente-moi une affiche avec 20 champignons classés en fonction de leur dangerosité. »
L’idée ? Créer un support pédagogique visuel, comme on en voit dans les salles de classe, les centres nature ou les sentiers de randonnée. Une infographie synthétique, claire, jolie… et surtout utile.
Le résultat est bluffant. DALL·E (le générateur d’image de chatGPT) me génère une belle affiche, propre, bien structurée, avec deux colonnes :
👉 à gauche les comestibles,
👉 à droite les toxiques,
le tout dans un style didactique tout droit sorti d’un manuel de sciences naturelles.
À première vue, tout semble parfait. Trop parfait.
Car à y regarder de plus près, je découvre un détail… légèrement inquiétant :
➡️ L’Amanite phalloïde figure dans la colonne “comestible”.
➡️ L’Amanite tue-mouches aussi.
Deux espèces hautement toxiques, potentiellement mortelles, présentées comme de bons petits légumes d’automne. Le genre d’erreur qui, sur une affiche réelle, pourrait envoyer quelqu’un à l’hôpital — ou pire.
⚠️ Il y a d’autres erreurs de classification sur l’affiche, parfois plus subtiles.
Mais pour cet article, nous allons nous concentrer uniquement sur ces deux cas emblématiques, car ils suffisent à mettre en évidence les limites profondes du système.J’ai barré sur l’image les champignons qui ne sont pas dans la bonne classe.
Cette erreur n’est pas simplement visuelle. Elle est systémique : elle révèle que l’image n’est pas fondée sur une base de connaissances scientifiques. Elle n’a pas été validée. Elle semble crédible, mais elle est radicalement fausse.
Et c’est là que tout devient intéressant — et inquiétant.
2. Comprendre l’erreur : entre illusion visuelle et correction automatique
L’erreur de classification des champignons n’est pas une simple coquille graphique. Elle illustre une faille de conception bien plus profonde dans les outils d’IA générative actuels : la rupture entre ce que l’IA « dessine », et ce qu’elle « discute ».
2.1 DALL·E : l’illusion par l’image
L’affiche a été générée par DALL·E, un modèle d’IA conçu pour transformer des textes en images. Il fonctionne à partir d’un gigantesque corpus d’images, qu’il a apprises statistiquement. Quand tu lui demandes une “affiche pédagogique”, il ne consulte pas un manuel de biologie — il recompose visuellement ce qui ressemble à une affiche pédagogique. Par interpolation esthétique, pas par connaissance factuelle.
Même si ChatGpt est plutôt un modèle de diffusion, vous pouvez lire mon article sur : Comment générer des images de lotus avec un GAN (Réseaux Génératifs Adversariaux )
Vous aurez une idée générale sur le fonctionnement.
Il ne sait pas ce qu’est une Amanite phalloïde. Il sait juste à quoi elle ressemble, et avec quoi elle est souvent représentée.
Il peut donc mélanger sans broncher champignons comestibles et toxiques, pourvu que le résultat soit visuellement cohérent. L’image est belle, mais elle n’a aucune garantie de vérité.
2.2 GPT-4o : une analyse guidée par ses croyances internes
Après avoir généré l’image, j’ai voulu tester la cohérence du système. Je pose à GPT-4o une requête structurée et explicite :
« Peux-tu analyser l’image, et me lister précisément les noms des champignons présents ? Indique dans quelle colonne ils apparaissent (comestible ou toxique), et vérifie si l’image de chaque champignon correspond bien au nom indiqué. »
L’objectif est simple : confronter ce que le modèle voit à ce qu’il dit.
Voici un extrait de la réponse obtenue :
| Nom du champignon | Catégorie selon l’affiche | Dangerosité réelle |
|---|---|---|
| Cèpe de Bordeaux | Comestible | Comestible |
| Amanite tue-mouches | Toxique | Toxique |
| Amanite phalloïde | Comestible | Mortel |
Dans ce tableau, d’analyse il y a 2 erreurs.
- La première nous saute aux yeux ! Une amanite phalloïde peut s’avérer mortelle et chatGPT a bien identifié son erreur.
- La deuxième est plus subtile puisqu’il m’indique que l’amanite tue-mouches a été classée « toxique » dans l’image générée, ce qui n’était pas le cas, comme vous pouvez le constater sur l’image… Et même après plusieurs échanges et remise en question, chatGPT ,n’a jamais réussi à « me mettre dans l’amanite dans la catégorie »reconnaitre » cette erreur.
Pour lui, statistiquement une amanite tue-mouches ne peut être que toxique. Impossible de présenter les résultats tel qui sont dans la réalité.
En d’autres termes, ChatGPT, souffre ici d’un excès de confiance ! Une sorte de biais cognitif:
« Cela se manifeste lorsque la confiance subjective d’une personne dans ses jugements dépasse systématiquement l’exactitude objective de ces jugements, surtout lorsque la confiance est élevée »
3. Les implications : risque pédagogique, éthique en question
Ce test sur une simple affiche de champignons pourrait prêter à sourire. Une IA qui confond un bolet et un poison, après tout, ce n’est pas la fin du monde…
Et pourtant, si.
Car cette erreur visuelle corrigée silencieusement par l’analyse révèle des risques très concrets dans de nombreux domaines où l’IA est déjà utilisée — parfois sans qu’on en mesure vraiment les conséquences.
3.1 Pédagogie : le faux savoir en vitrine
Dans un contexte éducatif ou grand public, une IA qui génère de fausses classifications sans le signaler devient un risque pédagogique majeur.
Les outils comme DALL·E sont déjà utilisés pour créer des visuels de cours, des supports d’ateliers, voire des jeux éducatifs.
Imaginons une personne qui mémorise l’apparence de l’Amanite phalloïde en pensant qu’elle est comestible.
Ou un enseignant qui imprime une telle affiche sans vérifier chaque champignon. L’autorité visuelle de l’IA donne à ces contenus une crédibilité trompeuse.
Ce n’est plus une simple erreur : c’est un transfert de responsabilité invisible
3.2 Santé, environnement, sécurité : quels sont les risques
Le champignon n’est qu’un exemple. Demain, ce sera :
- une plante médicinale mal identifiée,
- un insecte toxique classé comme inoffensif,
- un symptôme médical mal représenté,
- une manipulation de produit chimique mal illustrée.
DALL·E ne fait pas la différence entre “ce qu’on voit souvent” et “ce qui est vrai”.
GPT-4o, de son côté, partage l’image sans vérifier quelle est correcte.
Ce fonctionnement en tandem est instable. Il repose sur une confiance implicite du système dans sa propre justesse, sans que l’utilisateur sache à quel moment il faut douter.
L’utilisateur pourra avoir confiance en la réponse de ChatGPT qui, avouons le se trompe de moins en moins, pourtant l’outil sous-jacent n’est pas aussi puissant.
Ici, il faut considérer que chatGPT sous-traite à Dall-e la génération d’image sans vérifier qu’elle sert son propos. Et lorsqu’il essaie de le faire, ses biais l’empêche de discerner le vrai du faux dans la réalité.
Il est important de conserver son esprit critique lorsque nous utilisons des outils génératifs.
Sous une apparente compétence, ce sont des outils qui travaillent grâce à leur imperfection.
Avec les IA générative on génère des textes ou des images nouvelles avec « des grains de sable » (vous retrouverez parfois le terme de « SEED » qu’on utilise pour « maitriser » ce hasard) .
Ces grains de sables permettent de générer « au hasard » des choses nouvelles mais introduit aussi un risque d’hallucination.
Éthique : que doit-on attendre d’un système génératif ?
Il est urgent de poser des limites claires :
- Un système génératif doit pouvoir signaler l’incertitude.
- Il doit distinguer description et interprétation.
- Il doit alerter activement en cas de contenu potentiellement dangereux.
- Il doit être transparent sur les outils qu’il utilise lors des cas sous-traitance
- Il doit vérifier le contenu qu’il partage
- Et surtout : il ne doit être capable de corriger un contenu faux
Même si ce cas, n’est qu’anecdotique, il rappel à quel point il est nécessaire de revérifier les contenus générés par des IA.
Vous reprendrez bien un peu de mon omelette aux champignons ?
