Una cámara sujeta a un árbol en una reserva natural toma una foto cada vez que algo se mueve delante de ella. Con creciente frecuencia, esa cámara intenta nombrar al animal por su cuenta, con un modelo de IA pequeño que funciona en el propio aparato, porque en pleno campo muchas veces no hay señal para enviar la imagen a ningún otro sitio. De ahí surge una pregunta sencilla : ¿de verdad puede un modelo lo bastante pequeño para vivir en una cámara saber qué está viendo?
Un estudio reciente se propuso responder justo a eso, midiendo con qué acierto los modelos pequeños que caben en una cámara de campo identifican a los animales que tienen delante. Sus resultados inquietan de una manera que acaba siendo útil. Los modelos pequeños que examinó sí guardaban conocimiento real sobre animales. Pero un modelo especializado mucho más pequeño los superó a todos, y los modelos más grandes respondían de vez en cuando con el nombre de una especie que nunca ha existido.
Polora entregó el estudio a un grupo de modelos de IA creados por distintas empresas y les pidió que desmenuzaran qué significa para quien depende de un modelo pequeño para identificar cosas en el campo. Lo que sigue se apoya en el estudio y en esa conversación.
El especialista era una fracción del tamaño y aun así ganó
El estudio enfrentó cuatro modelos de visión y lenguaje de uso general, sistemas que reciben una imagen y responden preguntas sobre ella con palabras, contra un único especialista llamado BioCLIP. Cada uno de los cuatro modelos generales tenía entre dos mil y ocho mil millones de parámetros, los valores internos que un modelo va ajustando a medida que aprende, de modo que un número mayor equivale, a grandes rasgos, a un modelo más grande. BioCLIP guarda apenas 300 millones y se entrenó solo con imágenes biológicas. La tarea era la misma para todos : mirar una foto y elegir la especie correcta entre noventa y seis.
En fotografías de referencia nítidas, BioCLIP identificó bien al animal alrededor del noventa por ciento de las veces, mientras que el mejor de los modelos generales llegó a cerca del cincuenta y seis por ciento. En las imágenes más difíciles, tomadas por cámaras de campo reales, la distancia se mantuvo : setenta y uno por ciento para BioCLIP frente a treinta y dos por ciento para el mejor modelo general. Y lo logró siendo entre siete y veinte veces más pequeño que sus rivales.
El estudio lo lee como una lección sobre el entrenamiento, no sobre el tamaño. Lo que marcó la diferencia fue que el especialista había estudiado una biblioteca cuidada de imágenes biológicas, no que tuviera más parámetros. Además, salía mucho más barato de operar : respondía en torno a medio segundo, mientras que el modelo de ocho mil millones tardaba unos dieciocho segundos en una foto corriente y treinta segundos de media, y en sus momentos más lentos bastante más de un minuto. En una cámara que funciona con una batería o un panel solar, esa velocidad es la diferencia entre una temporada entera de cobertura y un aparato muerto.
Los modelos más grandes inventaron especies que no existen
El fallo más llamativo apareció cuando a los modelos generales se les hizo una pregunta abierta, sin lista donde elegir : nombra esta especie. Entre un seis y un diez por ciento de sus respuestas, más o menos, eran nombres científicos bien formados que no corresponden a ningún animal real. Los modelos no se quedaban callados cuando no sabían. Producían un nombre seguro y de aspecto verosímil para una criatura que no existe.
Este comportamiento no era aleatorio. Un modelo, Gemma3 4B, se inventaba nombres entre tres y ocho veces más a menudo que cualquiera de los demás, y ese orden se mantuvo exactamente igual en dos conjuntos de prueba distintos, lo que lo convierte en un resultado más firme que cualquier porcentaje suelto. Los investigadores contrastaron cada respuesta con un catálogo establecido de las especies conocidas del mundo para separar los nombres reales de los inventados.
Uno de los modelos de IA que Polora había reunido, hablando en el papel de analista de evaluación, trazó aquí la línea clara : acertar a menudo no es lo mismo que ser fiable. Un modelo que responde con seguridad cuando debería dudar es más peligroso dentro de un sistema automático que otro que sencillamente puntúa más bajo, porque nada de lo que viene después puede distinguir una buena respuesta de una conjetura bien dicha.
Las fotos malas también derrotaron al especialista
Sería fácil concluir que el especialista es, sin más, la opción segura. El estudio cierra esa puerta. Todos los modelos, BioCLIP incluido, perdieron una buena parte de su acierto al pasar de las fotos nítidas a las imágenes de campo llenas de desenfoque, infrarrojo nocturno y animales que salen a medias en el encuadre. La caída de BioCLIP fue estadísticamente indistinguible de la del mejor modelo general.
Eso señala a la imagen, no al modelo, como culpable. Cuando un fotograma apenas se lee, el entrenamiento especializado aporta muy poco. Como lo expresó otro de los modelos de la conversación, en el papel de especialista en taxonomía, la especialización eleva el punto de acierto del que parte un modelo, pero no lo protege de una foto oscura y borrosa.
Algunos errores tenían que ver con la biología y no con la calidad de la imagen. Una especie, el ciervo mulo, se identificó bien apenas alrededor del tres por ciento de las veces porque los modelos lo confundían una y otra vez con un pariente cercano de aspecto casi idéntico. Ninguna instantánea suelta puede zanjar esa clase de parecido, señaló ese mismo modelo; hacen falta mapas de distribución, patrones estacionales o varios fotogramas del mismo animal.
Cuándo se puede confiar en un modelo pequeño que funciona en el propio aparato
De la conversación salió una forma bastante clara de usar un modelo pequeño sin riesgos, y nada de ello depende de agrandar el modelo. Primero, no le hagas una pregunta abierta. Dale una lista fija de las especies que de verdad viven donde está la cámara, para que elija entre opciones reales en lugar de inventarse una.
Segundo, revisa la imagen antes de fiarte de la respuesta. Si un fotograma está demasiado borroso u oscuro, apártalo para que lo vea una persona en lugar de forzar una conjetura. Tercero, deja que el modelo se retire. Acertaba la familia amplia de un animal entre el setenta y siete y el ochenta por ciento de las veces incluso cuando fallaba la especie exacta, de modo que un sistema puede informar del grupo general con confianza en vez de apostar por un nombre preciso. Y cuando aparece algo raro o importante, deriva el caso a una persona.
La lección va más allá de los animales
Los animales son solo un caso de prueba limpio. El patrón que hay debajo vale para cualquiera que esté decidiendo cómo usar un modelo de IA pequeño en el trabajo. Un modelo compacto al que se le da una tarea acotada y un conjunto cerrado de respuestas puede superar a otro mucho más grande al que se le hace una pregunta abierta, y encima resulta más barato y más rápido. La trampa es la pregunta abierta, donde el modelo tiene vía libre para sonar seguro sobre algo que no es real.
Así que lo útil que uno se lleva no es simplemente preferir un modelo a otro. Es ajustar el modelo a la tarea, poner un cerco a lo que se le permite decir y conservar una manera de distinguir una respuesta segura de una respuesta correcta. El tamaño nunca fue lo que más importaba.
