En una reserva natural, una cámara atada a un árbol toma una foto cada vez que algo se mueve delante de ella. Con creciente frecuencia, esa cámara intenta reconocer al animal por su cuenta con un pequeño modelo de IA que funciona dentro del propio aparato, porque en pleno campo muchas veces no hay señal para enviar la imagen a ninguna parte. De ahí surge una pregunta sencilla : ¿un modelo tan pequeño como para caber en una cámara sabe de verdad lo que está viendo?
Un estudio reciente se propuso responder justo a eso y midió hasta qué punto los modelos pequeños capaces de funcionar en una cámara de campo reconocen a los animales que tienen delante. Lo que encontró inquieta, pero de una forma que acaba siendo útil. Los modelos pequeños que examinó sí tenían un conocimiento real sobre los animales. Sin embargo, un modelo especializado mucho más pequeño los superó a todos, y los modelos más grandes respondían de vez en cuando con el nombre de una especie que nunca ha existido.
Polora le entregó el artículo científico a un grupo de modelos de IA creados por distintas empresas y les pidió analizar qué significa para quien depende de un modelo pequeño para identificar cosas sobre el terreno. Lo que sigue se basa en ese estudio y en esa conversación.
El modelo especializado era mucho más pequeño y aun así ganó
El estudio enfrentó a cuatro modelos de visión y lenguaje de uso general, sistemas que reciben una imagen y responden preguntas sobre ella con palabras, contra un único especialista llamado BioCLIP. Cada uno de los cuatro modelos generales tenía entre dos mil y ocho mil millones de parámetros, los valores internos que un modelo ajusta mientras aprende, de modo que una cifra mayor equivale, a grandes rasgos, a un modelo más grande. BioCLIP tiene apenas 300 millones y se entrenó solo con imágenes biológicas. La tarea era la misma para todos : mirar una foto y elegir la especie correcta entre noventa y seis.
Con fotografías de referencia nítidas, BioCLIP acertó con el animal alrededor del noventa por ciento de las veces, mientras que el mejor de los modelos generales llegó a cerca del cincuenta y seis por ciento. Con las imágenes más difíciles, tomadas por cámaras de campo reales, la distancia se mantuvo : setenta y uno por ciento para BioCLIP frente a treinta y dos por ciento para el mejor modelo general. Y lo logró siendo entre siete y veinte veces más pequeño que sus rivales.
El estudio lo interpreta como una lección sobre el entrenamiento, no sobre el tamaño. Lo que marcó la diferencia fue que el especialista había aprendido de una colección cuidadosamente seleccionada de imágenes biológicas, no que tuviera más parámetros. Además, resultaba mucho más barato de usar : respondía en aproximadamente medio segundo, mientras que el modelo de ocho mil millones de parámetros tardaba unos dieciocho segundos con una foto típica, treinta segundos de media y, en el peor caso, bastante más de un minuto. En una cámara que funciona con batería o con un panel solar, esa velocidad es la diferencia entre cubrir una temporada entera y quedarse con un aparato apagado.
Los modelos de IA más grandes inventaron especies que no existen
El fallo más llamativo apareció cuando a los modelos generales se les hizo una pregunta abierta, sin lista de opciones : di qué especie es esta. Entre un seis y un diez por ciento de sus respuestas eran nombres científicos bien construidos que no corresponden a ningún animal real. Cuando no sabían la respuesta, los modelos no se quedaban callados. Daban un nombre seguro y verosímil para una criatura que no existe.
Este comportamiento no era aleatorio. Uno de los modelos, Gemma3 4B, inventaba nombres entre tres y ocho veces más a menudo que cualquiera de los demás, y esa clasificación se mantuvo idéntica en dos conjuntos de prueba distintos, lo que la convierte en un resultado más sólido que cualquier porcentaje aislado. Los investigadores contrastaron cada respuesta con un catálogo reconocido de las especies conocidas del mundo para separar los nombres reales de los inventados.
Uno de los modelos de IA que Polora reunió, en el papel de analista de evaluación, trazó aquí una línea clara : acertar a menudo no es lo mismo que ser fiable. Según ese modelo, uno que responde con seguridad cuando debería dudar es más peligroso dentro de un sistema automatizado que otro que simplemente obtiene una puntuación más baja, porque nada de lo que viene después puede distinguir una buena respuesta de una conjetura bien formulada.
Las fotos malas también derrotaron al modelo especializado
Sería fácil concluir que el especialista es, sin más, la opción segura. El estudio descarta esa idea. Todos los modelos, BioCLIP incluido, perdieron buena parte de su precisión al pasar de las fotos nítidas a las imágenes de campo, llenas de desenfoque, tomas nocturnas con infrarrojos y animales que aparecen a medias en el encuadre. La caída de BioCLIP fue estadísticamente indistinguible de la del mejor modelo general.
Eso señala a la imagen, no al modelo. Cuando una foto apenas se distingue, el entrenamiento especializado aporta muy poco. Como lo expresó otro de los modelos de la conversación, en el papel de especialista en taxonomía, la especialización eleva la precisión de partida de un modelo, pero no lo protege de una fotografía oscura y borrosa.
Algunos errores tenían que ver con la biología y no con la calidad de la imagen. Una especie, el ciervo mulo, se identificó correctamente solo en torno al tres por ciento de las veces, porque los modelos la confundían una y otra vez con un pariente cercano casi idéntico. El modelo especialista en taxonomía añadió que ninguna instantánea aislada puede resolver ese tipo de parecido; hacen falta mapas de distribución, patrones estacionales o varias fotos del mismo animal.
Cuándo se puede confiar en un modelo de IA pequeño que funciona sin conexión
De la conversación entre los modelos salió una propuesta bastante clara para usar un modelo pequeño con seguridad, y nada de ella depende de hacerlo más grande. Lo primero, según plantearon, es no hacerle preguntas abiertas. Conviene darle una lista cerrada con las especies que de verdad viven donde está la cámara, para que elija entre opciones reales en lugar de inventarse una.
Lo segundo es revisar la imagen antes de fiarse de la respuesta. Si una foto está demasiado borrosa u oscura, la propuesta es apartarla para que la vea una persona en vez de forzar una conjetura. Lo tercero es dejar que el modelo retroceda un paso. Acertó con la familia general del animal entre el setenta y siete y el ochenta por ciento de las veces incluso cuando fallaba la especie exacta, así que un sistema puede informar con confianza del grupo general en lugar de jugársela con un nombre preciso. Y cuando aparece algo raro o importante, la recomendación de los modelos es derivarlo a un ser humano.
La lección va más allá de los animales
Los animales son solo un caso de prueba claro. El patrón de fondo sirve a cualquiera que esté decidiendo cómo usar un modelo de IA pequeño en su trabajo. Un modelo compacto al que se le da una tarea acotada y un conjunto cerrado de respuestas puede superar a otro mucho mayor al que se le hace una pregunta abierta, y además resulta más barato y más rápido. La trampa está en la pregunta abierta, donde el modelo tiene libertad para sonar seguro sobre algo que no es real.
Por eso, lo que vale la pena llevarse no es simplemente preferir un modelo a otro. Es ajustar el modelo a la tarea, limitar lo que se le permite decir y conservar una forma de distinguir una respuesta segura de una respuesta correcta. El tamaño nunca fue lo que más importaba.
