Une caméra fixée à un arbre, dans une réserve naturelle, prend une photo dès que quelque chose bouge devant elle. De plus en plus, cette caméra tente de nommer l'animal toute seule, grâce à un petit modèle d'IA qui tourne directement sur l'appareil, car sur le terrain il n'y a souvent aucun réseau pour envoyer l'image ailleurs. Une question toute simple se pose alors : un modèle assez petit pour tenir dans une caméra peut-il vraiment savoir ce qu'il voit ?
Une étude récente s'est justement attelée à cette question, en mesurant la capacité des petits modèles installés sur une caméra de terrain à identifier les animaux qui se présentent devant eux. Ses résultats sont troublants d'une manière qui se révèle finalement utile. Les petits modèles examinés possédaient bien de véritables connaissances sur les animaux. Mais un modèle spécialisé, bien plus petit encore, les a tous surpassés, et les plus gros répondaient de temps à autre par le nom d'une espèce qui n'a jamais existé.
Polora a soumis cette étude à un groupe de modèles d'IA conçus par différentes entreprises et leur a demandé de réfléchir à ce qu'elle signifie pour quiconque s'appuie sur un petit modèle pour identifier des choses sur le terrain. Ce qui suit s'appuie sur l'étude et sur cette discussion.
Le spécialiste pesait une fraction du poids des autres et l'a quand même emporté
L'étude a opposé quatre modèles de vision-langage généralistes à un unique spécialiste appelé BioCLIP. Les premiers sont des systèmes qui reçoivent une image et répondent par des mots aux questions qu'on leur pose à son sujet. Chacun des quatre modèles généralistes comptait entre 2 et 8 milliards de paramètres, ces valeurs internes qu'un modèle ajuste au fil de son apprentissage, si bien qu'un nombre plus élevé correspond en gros à un modèle plus grand. BioCLIP n'en compte que 300 millions et n'a été entraîné que sur des images biologiques. La tâche était la même pour tous : regarder une photo et désigner la bonne espèce parmi 96.
Sur des photographies de référence bien nettes, BioCLIP identifiait correctement l'animal environ 90 % du temps, tandis que le meilleur des modèles généralistes atteignait à peu près 56 %. Sur les images plus difficiles prises par de vraies caméras de terrain, l'écart s'est maintenu : 71 % pour BioCLIP contre 32 % pour le meilleur modèle généraliste. Et il y parvenait tout en étant de 7 à 20 fois plus petit que ses rivaux.
L'étude y voit une leçon sur l'entraînement plutôt que sur la taille. Ce qui a fait la différence, c'est que le spécialiste avait étudié une bibliothèque soigneusement constituée d'images biologiques, non qu'il possédait davantage de paramètres. Il était aussi bien moins coûteux à faire tourner : il répondait en une demi-seconde environ, là où le modèle de 8 milliards de paramètres mettait autour de 18 secondes pour une photo ordinaire, 30 secondes en moyenne, et, dans ses pires cas, bien plus d'une minute. Sur une caméra alimentée par une batterie ou un panneau solaire, cette rapidité fait toute la différence entre une saison entière de surveillance et un appareil hors service.
Les plus gros modèles inventaient des espèces qui n'existent pas
L'échec le plus frappant est apparu quand on posait aux modèles généralistes une question ouverte, sans liste où choisir : nommez cette espèce. Entre 6 et 10 % environ de leurs réponses étaient des noms scientifiques bien formés qui ne correspondent à aucun animal réel. Les modèles ne se taisaient pas quand ils étaient pris au dépourvu. Ils produisaient, avec assurance, un nom d'apparence plausible pour une créature qui n'existe pas.
Ce comportement n'avait rien d'aléatoire. Un modèle, Gemma3 4B, inventait des noms de 3 à 8 fois plus souvent que n'importe quel autre, et ce classement restait rigoureusement identique sur deux jeux de tests distincts, ce qui en fait un résultat plus solide que n'importe quel pourcentage isolé. Les chercheurs ont confronté chaque réponse à un catalogue établi des espèces connues dans le monde pour distinguer les vrais noms des noms inventés.
L'un des modèles d'IA réunis par Polora, s'exprimant dans le rôle d'analyste d'évaluation, a tracé ici une frontière nette : avoir souvent raison n'est pas la même chose qu'être digne de confiance. Un modèle qui répond avec assurance là où il devrait hésiter est plus dangereux, au sein d'un système automatisé, qu'un modèle qui obtient simplement un score plus bas, car rien en aval ne permet de distinguer une bonne réponse d'une supposition bien tournée.
Les mauvaises photos ont eu raison du spécialiste aussi
On serait tenté d'en conclure que le spécialiste est tout simplement le choix sûr. L'étude referme cette porte. Tous les modèles, BioCLIP compris, ont perdu une large part de leur précision en passant des photos nettes aux images de terrain pleines de flou, de prises infrarouges nocturnes et d'animaux à moitié cadrés. La chute de BioCLIP était statistiquement impossible à distinguer de celle du meilleur modèle généraliste.
La faute en revient donc à l'image, non au modèle. Quand une prise de vue est à peine lisible, un entraînement spécialisé n'apporte pas grand-chose. Comme l'a formulé un autre des modèles de la discussion, campé dans le rôle de spécialiste de la taxinomie, la spécialisation relève le niveau de précision dont un modèle part, mais elle ne le protège pas d'une photo sombre et floue.
Certaines erreurs relevaient de la biologie plutôt que de la qualité de l'image. Une espèce, le cerf mulet, n'était correctement identifiée qu'environ 3 % du temps, parce que les modèles la confondaient sans cesse avec un proche parent qui lui ressemble presque trait pour trait. Aucun cliché isolé ne peut trancher ce genre de ressemblance, a fait remarquer ce même modèle; il y faut des cartes de répartition, des rythmes saisonniers ou plusieurs images du même animal.
Quand on peut se fier à un petit modèle local
De la discussion s'est dégagée une marche à suivre assez claire pour employer un petit modèle en toute sûreté, et rien là-dedans ne dépend d'un agrandissement du modèle. D'abord, ne pas lui poser de question ouverte. Lui fournir une liste fixe des espèces qui vivent réellement à l'endroit où se trouve la caméra, afin qu'il choisisse parmi des options réelles au lieu d'en inventer une.
Ensuite, vérifier l'image avant de se fier à la réponse. Si une prise de vue est trop floue ou trop sombre, la mettre de côté pour un humain plutôt que de forcer une supposition. Enfin, laisser le modèle renoncer. Il nommait correctement la grande famille d'un animal 77 à 80 % du temps, même quand il manquait l'espèce exacte, si bien qu'un système peut indiquer le groupe général avec assurance au lieu de parier sur un nom précis. Et quand surgit quelque chose de rare ou d'important, l'acheminer vers un humain.
La leçon dépasse le cas des animaux
Les animaux ne sont qu'un cas d'école bien net. Le schéma qui se cache derrière vaut pour quiconque décide de la façon d'utiliser un petit modèle d'IA au travail. Un modèle compact, chargé d'une tâche étroite et doté d'un ensemble fermé de réponses, peut l'emporter sur un modèle bien plus grand à qui l'on pose une question ouverte, et il sera de surcroît moins coûteux et plus rapide. Le piège, c'est la question ouverte, où un modèle est libre de paraître certain de quelque chose qui n'existe pas.
Ce qu'il faut en retenir n'est donc pas simplement de préférer un modèle à un autre. C'est d'accorder le modèle à la tâche, de circonscrire ce qu'il a le droit de dire, et de garder un moyen de distinguer une réponse assurée d'une réponse juste. La taille n'a jamais été ce qui comptait le plus.
