Un appareil fixé à un arbre dans une réserve naturelle prend une photo dès que quelque chose passe devant lui. Ce type d'appareil, qu'on appelle piège photographique, essaie de plus en plus souvent de nommer l'animal lui-même. Il utilise pour cela un petit modèle d'IA qui fonctionne directement sur l'appareil, car sur le terrain il n'y a souvent pas de réseau pour envoyer l'image ailleurs. D'où une question toute simple : un modèle assez petit pour tenir dans un appareil photo sait-il vraiment ce qu'il voit ?
Une étude récente s'est attachée précisément à cette question. Elle a mesuré à quel point les petits modèles capables de fonctionner sur un piège photographique identifient les animaux qui passent devant eux. Ses résultats ont de quoi inquiéter, mais d'une manière qui s'avère utile. Les petits modèles étudiés possédaient bel et bien de réelles connaissances sur les animaux. Pourtant, un modèle spécialisé bien plus petit les a tous battus, et les plus gros répondaient de temps à autre par le nom d'une espèce qui n'a jamais existé.
Polora a soumis cet article scientifique à un groupe de modèles d'IA conçus par différentes entreprises, en leur demandant d'en tirer les conséquences pour quiconque compte sur un petit modèle pour identifier ce qu'il observe sur le terrain. Ce qui suit s'appuie sur l'étude et sur cet échange.
Un petit modèle spécialisé a battu des IA bien plus grosses
L'étude a opposé quatre modèles de vision-langage généralistes à un unique spécialiste appelé BioCLIP. Les premiers sont des systèmes qui reçoivent une image et répondent en mots aux questions qu'on leur pose à son sujet. Chacun d'eux comptait entre deux et huit milliards de paramètres, c'est-à-dire les valeurs internes qu'un modèle ajuste pendant son apprentissage. En gros, plus ce nombre est élevé, plus le modèle est grand. BioCLIP n'en compte que 300 millions et n'a été entraîné que sur des images biologiques. La tâche était la même pour tous : regarder une photo et choisir la bonne espèce parmi quatre-vingt-seize.
Sur des photos de référence nettes, BioCLIP a reconnu l'animal correctement environ quatre-vingt-dix pour cent du temps, contre à peu près cinquante-six pour cent pour le meilleur des modèles généralistes. Sur les images plus difficiles prises par de vrais pièges photographiques, l'écart s'est maintenu : soixante et onze pour cent pour BioCLIP contre trente-deux pour cent pour le meilleur généraliste. BioCLIP y est parvenu tout en étant sept à vingt fois plus petit que ses concurrents.
L'étude y voit une leçon sur l'entraînement plutôt que sur la taille. Ce qui a fait la différence, c'est que le spécialiste avait étudié une bibliothèque d'images biologiques soigneusement constituée, et non qu'il possédait davantage de paramètres. Il coûtait aussi bien moins cher à faire tourner. Il répondait en une demi-seconde environ, là où le modèle à huit milliards de paramètres mettait autour de dix-huit secondes pour une photo typique, trente secondes en moyenne, et, dans le pire des cas, bien plus d'une minute. Sur un appareil alimenté par une batterie ou un panneau solaire, cette vitesse fait toute la différence entre une saison entière de surveillance et un appareil à plat.
Des modèles d'IA plus gros ont inventé des espèces qui n'existent pas
L'échec le plus frappant est apparu quand on a posé aux modèles généralistes une question ouverte, sans liste parmi laquelle choisir : nomme cette espèce. Entre six et dix pour cent environ de leurs réponses étaient des noms scientifiques bien formés qui ne correspondent à aucun animal réel. Face à une image qui les dépassait, les modèles ne se taisaient pas. Ils produisaient avec assurance un nom plausible pour une créature qui n'existe pas.
Ce comportement n'avait rien d'aléatoire. Un modèle, Gemma3 4B, inventait des noms trois à huit fois plus souvent que tous les autres. Ce classement est resté exactement le même sur deux jeux de test distincts, ce qui en fait un résultat plus solide que tout pourcentage isolé. Les chercheurs ont vérifié chaque réponse dans un catalogue de référence des espèces connues dans le monde pour distinguer les vrais noms des noms inventés.
L'un des modèles d'IA réunis par Polora, qui intervenait dans le rôle d'analyste de l'évaluation, a tracé ici une ligne nette : avoir souvent raison n'est pas la même chose qu'être digne de confiance. Au sein d'un système automatisé, un modèle qui répond avec assurance alors qu'il devrait hésiter est plus dangereux qu'un modèle qui obtient simplement un score plus bas. En effet, rien en aval ne permet de distinguer une bonne réponse d'une supposition bien tournée.
Face aux photos de terrain, même le modèle spécialisé perd en précision
On pourrait en conclure que le spécialiste est tout simplement le choix sûr. L'étude ferme cette porte. Tous les modèles, BioCLIP compris, ont perdu une bonne part de leur précision en passant des photos nettes aux images de terrain, avec leur flou, leurs clichés infrarouges pris de nuit et leurs animaux à moitié hors cadre. D'un point de vue statistique, la baisse subie par BioCLIP ne se distinguait pas de celle du meilleur modèle généraliste.
Le problème vient donc de l'image, pas du modèle. Quand une image est à peine lisible, un entraînement spécialisé n'apporte presque rien. Un autre modèle d'IA de la discussion, placé dans le rôle de spécialiste en taxonomie (la science qui classe les êtres vivants), l'a résumé ainsi : la spécialisation relève la précision de départ d'un modèle, mais elle ne le protège pas d'une photo sombre et floue.
Certaines erreurs tenaient à la biologie plutôt qu'à la qualité de l'image. Une espèce, le cerf mulet, n'a été correctement identifiée qu'environ trois pour cent du temps. Les modèles la confondaient sans cesse avec une espèce proche, d'apparence presque identique. Aucun cliché isolé ne peut trancher ce genre de ressemblance, a fait remarquer ce même modèle d'IA. Il faut pour cela des cartes de répartition, des tendances saisonnières ou plusieurs images du même animal.
Les conditions pour se fier à une petite IA locale, selon les modèles d'IA interrogés
De la discussion entre les modèles d'IA s'est dégagée une façon assez claire d'utiliser un petit modèle sans risque, et rien de tout cela ne suppose d'en augmenter la taille. D'abord, ne pas lui poser de question ouverte. Il vaut mieux lui fournir une liste fermée des espèces qui vivent réellement là où se trouve l'appareil, pour qu'il choisisse parmi de vraies options au lieu d'en inventer une.
Ensuite, vérifier l'image avant de se fier à la réponse. Si un cliché est trop flou ou trop sombre, mieux vaut le mettre de côté pour qu'une personne l'examine plutôt que de forcer une supposition. Troisièmement, laisser le modèle se rabattre sur une réponse plus générale. Il a correctement nommé la grande famille d'un animal soixante-dix-sept à quatre-vingts pour cent du temps, même quand il se trompait sur l'espèce exacte. Un système peut donc indiquer le groupe général avec assurance au lieu de parier sur un nom précis. Enfin, quand quelque chose de rare ou d'important apparaît, confier l'image à un humain.
Au-delà des animaux, une leçon pour tout usage d'une petite IA
Les animaux ne sont qu'un cas d'essai particulièrement clair. Le schéma qu'ils révèlent vaut pour quiconque se demande comment utiliser un petit modèle d'IA au travail. Un modèle compact, à qui l'on confie une tâche précise et un ensemble fermé de réponses, peut battre un modèle bien plus grand à qui l'on pose une question ouverte, tout en étant moins cher et plus rapide. Le piège, c'est la question ouverte, où un modèle a toute latitude pour paraître certain de quelque chose qui n'existe pas.
La leçon utile n'est donc pas simplement de préférer un modèle à un autre. Il s'agit d'adapter le modèle à la tâche, de délimiter ce qu'il a le droit de répondre et de garder un moyen de distinguer une réponse assurée d'une réponse juste. La taille n'a jamais été ce qui comptait le plus.
