Durante décadas, aprender se ha entendido como un proceso acumulativo. Cuanta más experiencia incorpora una persona, mayor suele ser su conocimiento. Ese mismo principio ha guiado el desarrollo de la inteligencia artificial desde sus orígenes: alimentar un sistema con enormes cantidades de información debería traducirse en respuestas progresivamente más precisas.
Sin embargo, la rápida expansión de herramientas capaces de redactar textos, crear imágenes, programar software o producir vídeos ha abierto un escenario inédito. Una parte creciente de Internet ya no nace directamente de la creatividad humana, sino de algoritmos entrenados con inmensos conjuntos de datos. Ese caudal regresa después a la red, donde termina mezclándose con recursos de muy diversa procedencia.
La consecuencia plantea una pregunta inquietante: ¿qué ocurrirá cuando las futuras generaciones de inteligencia artificial pasen a nutrirse principalmente de información elaborada por otras inteligencias artificiales? Un estudio publicado en npj Artificial Intelligence concluye que esa dinámica puede erosionar gradualmente su rendimiento, aunque también describe una estrategia capaz de contener ese fenómeno.
Cuando las copias empiezan a alimentarse de otras copias
Los grandes modelos lingüísticos no interpretan el mundo como lo hace una persona. Su funcionamiento descansa en la detección de regularidades estadísticas dentro de enormes corpus documentales. A partir de millones de ejemplos, reconocen qué palabras suelen aparecer juntas, qué estructuras resultan más probables y cómo completar una secuencia con la mayor precisión posible.
Hasta hace pocos años, casi toda esa base procedía de libros, artículos periodísticos, revistas científicas, páginas web o conversaciones escritas por seres humanos. Aquella variedad ofrecía una representación extraordinariamente rica del lenguaje, repleta de matices, excepciones y registros muy distintos.
Ese panorama empieza a modificarse con rapidez. Cada jornada aparecen cantidades inmensas de publicaciones redactadas mediante asistentes conversacionales, descripciones comerciales generadas automáticamente, resúmenes elaborados por algoritmos, comentarios sintéticos e incluso páginas completas producidas sin intervención directa de un autor. Poco a poco, ese caudal pasa a integrar el inmenso océano digital del que beberán las próximas generaciones de modelos.
Los investigadores recurren a una comparación inspirada en la endogamia. No equiparan un sistema informático con una población biológica, sino que utilizan esa analogía para ilustrar una idea sencilla: cuando el intercambio queda restringido dentro de un mismo grupo, la diversidad disminuye y determinados rasgos tienden a consolidarse generación tras generación. En la inteligencia artificial, el riesgo consiste en que los algoritmos acaben nutriéndose, cada vez más, de producciones creadas por otros algoritmos.
Cuando el intercambio queda restringido dentro de un mismo grupo, la diversidad disminuye y determinados rasgos tienden a consolidarse generación tras generación.
Un desgaste que se manifiesta de forma paulatina
Ese comportamiento recibe el nombre de model collapse o colapso del modelo. Lejos de describir un fallo repentino, designa una degradación progresiva. Cada nueva generación entrenada con una proporción creciente de datos sintéticos conserva peor los ejemplos menos habituales, intensifica patrones excesivamente comunes y renuncia a parte de la riqueza estadística presente en el corpus inicial.
Una analogía ayuda a visualizar el fenómeno. Imaginemos que un cuadro se fotografía una vez. Después, alguien retrata esa primera copia. Más tarde, otra cámara reproduce la segunda imagen, y así sucesivamente. Aunque cada reproducción parezca aceptable por separado, pequeños defectos terminan acumulándose hasta alterar detalles que el original sí conservaba. Con estos sistemas ocurre algo parecido: la información no desaparece de golpe, pero determinados matices se difuminan conforme una generación toma como referencia a la precedente.
Los autores subrayan que el inconveniente no radica en la existencia de contenido sintético. Ese tipo de material resulta útil para numerosas aplicaciones. La dificultad surge cuando su proporción aumenta hasta desplazar una parte significativa de los textos, imágenes o registros creados directamente por personas. En ese contexto, la arquitectura acaba reforzando aquello que otras ya consideraban más probable, reduciendo paulatinamente la amplitud sobre la que construye sus predicciones.
Cada nueva generación entrenada con una proporción creciente de datos sintéticos conserva peor los ejemplos menos habituales, intensifica patrones excesivamente comunes y renuncia a parte de la riqueza estadística presente en el corpus inicial.
Las consecuencias van mucho más allá de repetir expresiones similares. El trabajo describe una pérdida progresiva de representaciones poco frecuentes, precisamente las que permiten responder correctamente a situaciones excepcionales o captar relaciones menos evidentes. Dicho de otra manera, el conocimiento termina concentrándose alrededor de los casos más comunes mientras las situaciones más raras van perdiendo representación.
La inquietud aumenta porque el volumen de información generada automáticamente crece a gran velocidad. Cada respuesta publicada en un foro, cada reseña automatizada, cada noticia redactada por un asistente o cada descripción comercial incorporada a una tienda digital puede acabar incorporándose al material empleado para entrenar futuras generaciones.
Una fórmula para preservar la variedad
Con ese escenario como punto de partida, el equipo creó una familia de funciones de entrenamiento denominada Confidence-Aware Loss o pérdida sensible al grado de confianza. Su finalidad no consiste en impedir que un modelo utilice datos sintéticos, sino en modificar la relevancia que concede a determinados ejemplos durante el aprendizaje.
La propuesta parte de una observación sencilla. Cuando un modelo encuentra secuencias extremadamente previsibles, suele atribuirles un grado muy elevado de confianza. Esas respuestas, justo por resultar tan evidentes, aportan poco contenido nuevo. Si el entrenamiento insiste una y otra vez sobre ese mismo tipo de patrones, termina reforzando aquello que ya domina mientras concentra menos atención en los casos capaces de enriquecer su representación del lenguaje.
Para evitarlo, los investigadores diseñaron una variante denominada Truncated Cross-Entropy o entropía cruzada truncada, que reduce el peso de esas predicciones excesivamente seguras. En lugar de tratar todos los ejemplos por igual, el procedimiento concentra una mayor parte del esfuerzo en los fragmentos que todavía contienen información valiosa. De ese modo, el modelo deja de premiar de forma desproporcionada lo más repetitivo y conserva mejor la diversidad estadística del conjunto de datos.
Un desafío que crecerá junto con Internet
Los ensayos mostraron una mejora muy significativa. Según los resultados, el método permitió que los modelos soportaran más de 2,3 veces una mayor proporción de información sintética antes de manifestar los efectos característicos del colapso. Eso no significa que el fenómeno desaparezca por completo, pero sí que retrasa notablemente su aparición, ampliando el margen para combinar contenido humano y el generado automáticamente sin perder rendimiento con la misma rapidez.
El método permitió que los modelos soportaran más de 2,3 veces una mayor proporción de datos sintéticos antes de manifestar los efectos característicos del colapso.
Otro aspecto destacable es que los autores no se limitaron a presentar esta propuesta. También publicaron un banco de pruebas abierto destinado a evaluar de forma sistemática cómo evoluciona esa degradación cuando cambia la proporción entre material original y sintético. Contar con una referencia común facilitará comparar futuras aproximaciones y determinar con mayor precisión cuáles ofrecen mejores resultados.
La relevancia de esta investigación trasciende un nuevo procedimiento matemático. En realidad, anticipa una dificultad que probablemente acompañará a la inteligencia artificial durante los próximos años. La cantidad de contenido generado automáticamente aumenta a tal velocidad que distinguir entre material producido por personas y por algoritmos será cada vez más complicado.
Ese cambio plantea un reto inédito para quienes diseñan grandes modelos lingüísticos. Hasta ahora, la prioridad consistía en reunir conjuntos de entrenamiento cada vez más extensos. En adelante, quizá resulte igual de importante conocer la procedencia de esos datos y conservar suficiente diversidad para impedir que las futuras generaciones acaben alimentándose principalmente de información sintetizada por otras máquinas.
Los propios investigadores reconocen que su propuesta no constituye una solución definitiva. El algoritmo no elimina el colapso del modelo ni garantiza la desaparición de todos sus efectos. Su principal aportación consiste en demostrar que ese deterioro puede mitigarse mediante una estrategia relativamente sencilla, abriendo una vía prometedora para investigaciones futuras.
El estudio invita, además, a reflexionar sobre una transformación mucho más profunda. Durante años, se asumió que la red representaba una inmensa biblioteca construida por millones de personas. Esa imagen empieza a cambiar, ya que una fracción creciente de los textos disponibles ya no procede directamente de la experiencia humana, sino de sistemas entrenados con contenido previo. A medida que esa proporción aumente, preservar fuentes originales podría convertirse en un requisito tan importante como perfeccionar arquitecturas más potentes.
La inteligencia artificial ha demostrado una extraordinaria capacidad para aprender. Ahora empieza a revelar una enseñanza menos intuitiva: la calidad del conocimiento no depende únicamente de cuánto se asimila, sino también de la procedencia de aquello que actúa como maestro. En un futuro donde una parte creciente de Internet será escrita por máquinas, el mayor desafío quizá no consista en producir más información, sino en evitar que los algoritmos acaben encerrados en un inmenso circuito de adiestramiento sobre sí mismos.
