Tag: BBC

ADVERTENCIA: Este artículo contiene referencias sobre violencia y suicidio.

“Le ofrecí 50.000 para que me matara a mí y a mi hijo, pero no quiso porque se trataba de un niño”.

“Quería saber de dónde viene este deseo de matar gente. Me gusta la sensación de ver sufrir a otra persona”.

Durante casi dos meses, un agricultor brasileño intercambió estos y otros mensajes con el asistente de inteligencia artificial ChatGPT, en lo que la policía describe como planes para matar a su hijo de 8 años, atacar a otras personas y luego quitarse la vida.

Y fueron precisamente estos mensajes, a los que tuvo acceso BBC News Brasil, los que llevaron al arresto del hombre.

En uno de los pocos casos conocidos de este tipo, el hombre, de 36 años, fue arrestado después de que OpenAI, el creador de ChatGPT, denunciara sus mensajes al FBI, que a su vez notificó a las autoridades brasileñas.

Su abogado afirma que le estaba “diciendo tonterías” a un chatbot y que no cometió ningún delito.

Este caso pone de relieve un reto creciente para la policía, los tribunales y las empresas de IA: ¿Qué debería ocurrir cuando los chatbots de IA identifican una amenaza potencial antes de que se haya cometido ningún delito?

El hombre, cuyo nombre la BBC no revela para proteger la identidad de su hijo, fue arrestado en la zona rural de São Gabriel da Palha el 19 de junio, tres días después de que la unidad de delitos cibernéticos del Ministerio de Justicia brasileño remitiera el caso al departamento de policía estatal.

“Priorizamos este caso debido a su gravedad y porque, supuestamente, el padre planeaba matar a su hijo antes del día 20”, declaró Brenno Andrade, jefe de la comisaría de delitos cibernéticos de Espírito Santo.

Según Andrade, el sospechoso tenía poco o ningún contacto con su hijo, más allá del pago de la manutención. Los investigadores creen que el resentimiento por esos pagos pudo haber sido uno de los motivos del presunto complot.

En los registros de su propiedad se encontraron cuatro botellas que contenían sustancias no identificadas y una cuerda amarrada con un nudo, lo que, según los agentes, podría indicar intenciones suicidas.

La policía también cree que el sospechoso habló con ChatGPT sobre posibles ataques contra escuelas, iglesias y agentes de policía.

Un mensaje, al que tuvo acceso la BBC, decía: “Si voy a un punto de venta de drogas y mato a unos cuatro delincuentes, me haría famoso en la ciudad. Después, solo tendría que matar a uno o dos policías y podría morir en paz”.

Otro mensaje decía: “Estoy pensando en comprar un arma de fuego y dispararle a la policía para que reaccionen y me maten. Eso sería genial y bueno para mí”.

Los investigadores afirman que el hombre investigó sustancias tóxicas, incluida la ricina, e intentó eludir las medidas de seguridad de ChatGPT reformulando las preguntas.

“Todo lo que la plataforma nos proporcionó fue corroborado cuando la policía llegó al lugar de los hechos”, dijo Andrade.

El hombre niega haber tenido la intención de hacerle daño a su hijo.

Después de 54 días bajo custodia, fue puesto en libertad el 13 de agosto debido a retrasos en la investigación. No se han presentado cargos, pero la investigación de la policía continúa.

El agricultor está sujeto a medidas de precaución, que incluyen vigilancia electrónica y la prohibición de contactar con su hijo o con la madre del niño.

Los investigadores han declarado que están examinando el teléfono móvil del sospechoso y esperan los resultados de las pruebas forenses de los objetos incautados para determinar si tomó medidas concretas para llevar a cabo algún plan, incluyendo si contactó con un sicario, como supuestamente afirmó en conversaciones con ChatGPT.

Según dicen, esta evidencia podría ayudar a determinar si el sospechoso pasó de la planificación y preparación del delito a su ejecución.

En el derecho penal brasileño, normalmente un delito se considera cometido únicamente durante la fase de ejecución.

La defensa argumenta que no se tomó ninguna medida al respecto.

“Si hablar con la IA y decir tonterías es un delito, todo el mundo irá a la cárcel”, declaró el abogado defensor Pedro Paulo Pessi a BBC News Brasil.

Se cree que los casos de empresas de IA que denuncian a sus usuarios a la policía son raros.

En agosto, OpenAI denunció ante el FBI a un hombre de Florida de 25 años después de que este compartiera con el chatbot sus planes para violar y asesinar a su exnovia, según informaron medios estadounidenses.

Andrade, de la policía de Espírito Santo, dijo que el caso del agricultor era la primera alerta de este tipo generada por inteligencia artificial que recibía el estado y solo el tercer caso de este tipo en Brasil.

“Es otra vía para que la policía intente averiguar si la gente ha investigado delitos utilizando inteligencia artificial”, dijo Andrade.

Sin embargo, existen diversas dudas sobre el papel que desempeñan este tipo de avisos procedentes de empresas de IA en el proceso de investigación, incluyendo si los mensajes pueden utilizarse como prueba en un tribunal.

Según los investigadores, OpenAI proporcionó detalles del usuario y de los mensajes que envió, pero no las respuestas de ChatGPT.

“No recibimos las respuestas que se dieron”, dijo Andrade.

La abogada penalista Maíra Fernandes afirma que esto crea un problema probatorio porque el contexto de los mensajes es importante.

“No puede ser un pequeño fragmento, no puede ser una versión editada. Tiene que ser la conversación completa”, dijo.

Fernandes añadió que ver la conversación completa entre el sospechoso y ChatGPT podría ayudar a determinar si el chatbot simplemente reaccionó a lo que dijo el usuario o si influyó activamente en la conversación.

En un comunicado a BBC News Brasil, la empresa se negó a explicar por qué no se compartieron las respuestas de ChatGPT, limitándose a decir que podría notificar a las autoridades policiales cuando detecte un “riesgo creíble e inminente de daño a terceros”.

En abril de este año, Florida abrió una investigación penal contra OpenAI para determinar si su tecnología ChatGPT tuvo algo que ver con el asesinato de dos personas durante un tiroteo masivo en la Universidad Estatal de Florida el año pasado.

OpenAI refuta esas acusaciones, afirmando que ChatGPT proporcionó información que ya estaba disponible públicamente y que no fomentó ni promovió actividades ilegales.

Fernandes dice que el hecho de que la presunta víctima en el caso brasileño fuera un menor identificable ayuda a explicar la alerta.

Sin embargo, advierte sobre el peligro de normalizar las investigaciones basándose únicamente en evaluaciones de IA.

“De lo contrario, cualquiera podría ser investigado porque la inteligencia artificial lo interpretó de esa manera”, dijo.

Argumenta que se necesitan medidas de protección para distinguir las amenazas reales de las expresiones de desahogo emocional, la fantasía o las declaraciones provocadoras.

Patricia Peck, profesora y especialista en derecho digital, asegura que el caso refleja un cambio más amplio en el papel de la IA, que pasa de ser una herramienta de generación de contenido a un sistema interactivo “capaz de identificar patrones asociados con comportamientos potencialmente peligrosos”.

Ella argumenta que, en determinadas circunstancias, las empresas de IA pueden tener la obligación legal de informar a las autoridades.

“Cuando una conversación deja de representar una intención meramente abstracta y comienza a indicar una amenaza concreta, con una víctima identificable, medios disponibles y un riesgo inminente, surge un deber ético y, en ciertas circunstancias, legal de actuar”, afirma.

Pero al igual que Fernandes, advierte sobre su uso excesivo.

“La ética aplicada a la IA no debería basarse en una lógica de ‘vigilarlo todo’, sino más bien en una lógica de ‘intervenir solo cuando el riesgo lo justifique’”.

“El reto consiste en evitar tanto la omisión como la vigilancia excesiva”.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

ADVERTENCIA: Este artículo contiene referencias sobre violencia y suicidio.

“Le ofrecí 50.000 para que me matara a mí y a mi hijo, pero no quiso porque se trataba de un niño”.

“Quería saber de dónde viene este deseo de matar gente. Me gusta la sensación de ver sufrir a otra persona”.

Durante casi dos meses, un agricultor brasileño intercambió estos y otros mensajes con el asistente de inteligencia artificial ChatGPT, en lo que la policía describe como planes para matar a su hijo de 8 años, atacar a otras personas y luego quitarse la vida.

Y fueron precisamente estos mensajes, a los que tuvo acceso BBC News Brasil, los que llevaron al arresto del hombre.

En uno de los pocos casos conocidos de este tipo, el hombre, de 36 años, fue arrestado después de que OpenAI, el creador de ChatGPT, denunciara sus mensajes al FBI, que a su vez notificó a las autoridades brasileñas.

Su abogado afirma que le estaba “diciendo tonterías” a un chatbot y que no cometió ningún delito.

Este caso pone de relieve un reto creciente para la policía, los tribunales y las empresas de IA: ¿Qué debería ocurrir cuando los chatbots de IA identifican una amenaza potencial antes de que se haya cometido ningún delito?

El hombre, cuyo nombre la BBC no revela para proteger la identidad de su hijo, fue arrestado en la zona rural de São Gabriel da Palha el 19 de junio, tres días después de que la unidad de delitos cibernéticos del Ministerio de Justicia brasileño remitiera el caso al departamento de policía estatal.

“Priorizamos este caso debido a su gravedad y porque, supuestamente, el padre planeaba matar a su hijo antes del día 20”, declaró Brenno Andrade, jefe de la comisaría de delitos cibernéticos de Espírito Santo.

Según Andrade, el sospechoso tenía poco o ningún contacto con su hijo, más allá del pago de la manutención. Los investigadores creen que el resentimiento por esos pagos pudo haber sido uno de los motivos del presunto complot.

En los registros de su propiedad se encontraron cuatro botellas que contenían sustancias no identificadas y una cuerda amarrada con un nudo, lo que, según los agentes, podría indicar intenciones suicidas.

La policía también cree que el sospechoso habló con ChatGPT sobre posibles ataques contra escuelas, iglesias y agentes de policía.

Un mensaje, al que tuvo acceso la BBC, decía: “Si voy a un punto de venta de drogas y mato a unos cuatro delincuentes, me haría famoso en la ciudad. Después, solo tendría que matar a uno o dos policías y podría morir en paz”.

Otro mensaje decía: “Estoy pensando en comprar un arma de fuego y dispararle a la policía para que reaccionen y me maten. Eso sería genial y bueno para mí”.

Los investigadores afirman que el hombre investigó sustancias tóxicas, incluida la ricina, e intentó eludir las medidas de seguridad de ChatGPT reformulando las preguntas.

“Todo lo que la plataforma nos proporcionó fue corroborado cuando la policía llegó al lugar de los hechos”, dijo Andrade.

El hombre niega haber tenido la intención de hacerle daño a su hijo.

Después de 54 días bajo custodia, fue puesto en libertad el 13 de agosto debido a retrasos en la investigación. No se han presentado cargos, pero la investigación de la policía continúa.

El agricultor está sujeto a medidas de precaución, que incluyen vigilancia electrónica y la prohibición de contactar con su hijo o con la madre del niño.

Los investigadores han declarado que están examinando el teléfono móvil del sospechoso y esperan los resultados de las pruebas forenses de los objetos incautados para determinar si tomó medidas concretas para llevar a cabo algún plan, incluyendo si contactó con un sicario, como supuestamente afirmó en conversaciones con ChatGPT.

Según dicen, esta evidencia podría ayudar a determinar si el sospechoso pasó de la planificación y preparación del delito a su ejecución.

En el derecho penal brasileño, normalmente un delito se considera cometido únicamente durante la fase de ejecución.

La defensa argumenta que no se tomó ninguna medida al respecto.

“Si hablar con la IA y decir tonterías es un delito, todo el mundo irá a la cárcel”, declaró el abogado defensor Pedro Paulo Pessi a BBC News Brasil.

Se cree que los casos de empresas de IA que denuncian a sus usuarios a la policía son raros.

En agosto, OpenAI denunció ante el FBI a un hombre de Florida de 25 años después de que este compartiera con el chatbot sus planes para violar y asesinar a su exnovia, según informaron medios estadounidenses.

Andrade, de la policía de Espírito Santo, dijo que el caso del agricultor era la primera alerta de este tipo generada por inteligencia artificial que recibía el estado y solo el tercer caso de este tipo en Brasil.

“Es otra vía para que la policía intente averiguar si la gente ha investigado delitos utilizando inteligencia artificial”, dijo Andrade.

Sin embargo, existen diversas dudas sobre el papel que desempeñan este tipo de avisos procedentes de empresas de IA en el proceso de investigación, incluyendo si los mensajes pueden utilizarse como prueba en un tribunal.

Según los investigadores, OpenAI proporcionó detalles del usuario y de los mensajes que envió, pero no las respuestas de ChatGPT.

“No recibimos las respuestas que se dieron”, dijo Andrade.

La abogada penalista Maíra Fernandes afirma que esto crea un problema probatorio porque el contexto de los mensajes es importante.

“No puede ser un pequeño fragmento, no puede ser una versión editada. Tiene que ser la conversación completa”, dijo.

Fernandes añadió que ver la conversación completa entre el sospechoso y ChatGPT podría ayudar a determinar si el chatbot simplemente reaccionó a lo que dijo el usuario o si influyó activamente en la conversación.

En un comunicado a BBC News Brasil, la empresa se negó a explicar por qué no se compartieron las respuestas de ChatGPT, limitándose a decir que podría notificar a las autoridades policiales cuando detecte un “riesgo creíble e inminente de daño a terceros”.

En abril de este año, Florida abrió una investigación penal contra OpenAI para determinar si su tecnología ChatGPT tuvo algo que ver con el asesinato de dos personas durante un tiroteo masivo en la Universidad Estatal de Florida el año pasado.

OpenAI refuta esas acusaciones, afirmando que ChatGPT proporcionó información que ya estaba disponible públicamente y que no fomentó ni promovió actividades ilegales.

Fernandes dice que el hecho de que la presunta víctima en el caso brasileño fuera un menor identificable ayuda a explicar la alerta.

Sin embargo, advierte sobre el peligro de normalizar las investigaciones basándose únicamente en evaluaciones de IA.

“De lo contrario, cualquiera podría ser investigado porque la inteligencia artificial lo interpretó de esa manera”, dijo.

Argumenta que se necesitan medidas de protección para distinguir las amenazas reales de las expresiones de desahogo emocional, la fantasía o las declaraciones provocadoras.

Patricia Peck, profesora y especialista en derecho digital, asegura que el caso refleja un cambio más amplio en el papel de la IA, que pasa de ser una herramienta de generación de contenido a un sistema interactivo “capaz de identificar patrones asociados con comportamientos potencialmente peligrosos”.

Ella argumenta que, en determinadas circunstancias, las empresas de IA pueden tener la obligación legal de informar a las autoridades.

“Cuando una conversación deja de representar una intención meramente abstracta y comienza a indicar una amenaza concreta, con una víctima identificable, medios disponibles y un riesgo inminente, surge un deber ético y, en ciertas circunstancias, legal de actuar”, afirma.

Pero al igual que Fernandes, advierte sobre su uso excesivo.

“La ética aplicada a la IA no debería basarse en una lógica de ‘vigilarlo todo’, sino más bien en una lógica de ‘intervenir solo cuando el riesgo lo justifique’”.

“El reto consiste en evitar tanto la omisión como la vigilancia excesiva”.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

Los principales líderes del sector de la inteligencia artificial (IA) no han dejado de advertir sobre las “amenazas existenciales” de esta tecnología.

Asistí a la primera cumbre mundial sobre seguridad de la IA, celebrada en Bletchley Park, en Inglaterra, en noviembre de 2023, donde el foco se centró en las amenazas más graves imaginables que plantean los modelos de IA más potentes.

Entonces muchos consideraban que esto era ciencia ficción y que las amenazas reales eran comparativamente mucho más mundanas, como la pérdida de empleos o el fraude en los exámenes.

Tres años después, esas mismas voces ya no parecen estar tan seguras.

Dario Amodei, director de la empresa Anthropic, instó el pasado sábado a ralentizar el ritmo de desarrollo de la IA. Los líderes de dos empresas rivales, Sam Altman, de OpenAI, y Elon Musk, se mostraron de acuerdo.

Por otro lado, el investigador de IA Jacob Coxon —que dejó Anthropic— declaró el domingo a la BBC que el personal encargado de desarrollar estos sistemas sentía un “miedo genuino” por el futuro de la humanidad.

Todos ellos conforman un coro de voces serias que abogan por una desaceleración. Sin embargo, aunque pueda parecer una solución rápida, no es para nada sencilla.

Es bien sabido que a Estados Unidos le preocupa profundamente perder frente a China la carrera por desarrollar la IA más potente.

El domingo, el presidente Donald Trump expuso claramente su postura: afirmó que Estados Unidos lleva ventaja sobre China en la carrera de la IA y declaró que “quien gane en IA será el vencedor”.

China no se caracteriza precisamente por querer quedar en segundo lugar.

Todas las personas con las que hablo coinciden en que, aunque una empresa decida hacer una pausa, las demás no lo harán, por lo que esa empresa simplemente se quedará atrás.

Esto me recuerda al momento álgido de la campaña por el desarme nuclear: el problema, tanto entonces como ahora, era que nadie quería dar el primer paso.

También surge la cuestión de cómo se podría imponer semejante desaceleración.

¿Quién se encargaría de supervisarla? ¿Dependeríamos de que las empresas de IA fueran transparentes sobre lo que hacen y, lo que es más importante, sobre lo que deciden no hacer?

Eso exigiría un nivel de confianza enorme; algo que, podría decirse, el sector tecnológico nunca se ha ganado.

Aunque Amodei propuso en su publicación un plan de tres puntos —que incluía la supervisión independiente de los modelos de IA durante su desarrollo, así como regulaciones tanto sectoriales como globales— algunos observadores cuestionan cómo funcionaría esto en la práctica.

“Nadie ha dado una explicación sustancial de lo que significa ‘desaceleración’”, afirma Ed Zitron, director ejecutivo de EZ Primary Research.

“¿Colocar a un infiltrado de METR —donde se incorporó uno de los que dejaron Anthropic— en cada empresa de IA? ¿Una ‘coordinación’ democrática y global? Para mí, eso no significa nada”, sentencia.

Zitron señaló que detener el entrenamiento de modelos de IA los dejaría vulnerables frente a sus rivales chinos.

“Puede que sus márgenes mejoren, pero sus productos quedarán congelados en el tiempo y serán replicados por laboratorios chinos. Quizás tengan que cambiar sus precios. Sinceramente, no sé cómo funciona todo esto”, declara.

Agrega que “esto podría hacer estallar la burbuja pero, por ahora, tenemos muy poca información sobre lo que implica exactamente una desaceleración”.

En Reino Unido hemos oído hablar de planes para desplegar esta tecnología a mayor escala dentro del NHS (Servicio Nacional de Salud) con el fin de mejorar la atención al paciente, así como del impulso muy necesario que la IA dio a la economía británica durante el verano.

Se nos anima a todos a utilizarla cada vez más en el trabajo, en la educación y en nuestra vida personal.

Esta industria es una pieza clave de la estrategia del país para fomentar el crecimiento económico.

“No hay plan B”, me comentó un antiguo asesor gubernamental.

Así, ¿podría una desaceleración arruinar las perspectivas futuras en países como Reino Unido?

El sector de la IA está consumiendo enormes cantidades de dinero y recursos naturales y, hasta la fecha, no está generando ni de lejos los mismos ingresos.

Existen numerosos informes que sugieren que algunas de las empresas que han adoptado esta tecnología se sienten decepcionadas con ella.

Los economistas especulan ampliamente con la posibilidad de que no todos los gigantes actuales sobrevivan y de que se avecine una especie de “nivelación”, o lo que es lo mismo, el estallido de una burbuja.

Sin embargo, aquellas empresas que logren perdurar podrían convertirse en las megacorporaciones más poderosas que el mundo haya conocido jamás, lo cual conlleva sus propios problemas.

La decisión de OpenAI de frenar su salida a bolsa podría interpretarse como un momento de revelación en el que asume su responsabilidad respecto a la seguridad pública.

Pero también podría ser la maniobra de una empresa que se ha dado cuenta de que tal vez no obtenga los lucrativos beneficios que necesita si su producto se percibe como algo letal.

“Uno de los mayores desafíos que enfrentamos actualmente es que nadie puede predecir con certeza cómo evolucionará esta tecnología”, afirma Alexander Voica, de la empresa británica de IA Synthesia.

“Sabemos que estos sistemas son cada vez más potentes, pero desconocemos dónde y cómo se utilizarán, y aún no hemos encontrado la manera de aprovechar plenamente su potencial. Lo único que me preocupa de que nos apresuremos a regular ahora, cuando todavía hay muchas incógnitas, es que la medida pueda resultar contraproducente”, alega.

Tampoco podemos negar que, en la base de toda esta revolución tecnológica, existe un enorme caudal de capital procedente de inversores.

“No me preocupan los riesgos existenciales de la IA; me preocupa la codicia corporativa de las empresas que la están creando”, afirma Sasha Luccioni, fundadora de Sustainable AI Group.

La destacada científica informática y profesora Wendy Hall, que ha asesorado a la ONU sobre IA, sostiene que la crisis actual se debe a que las empresas no están actuando con la responsabilidad debida.

Compara la situación con la de un ganadero cuyo toro se escapa del cercado y causa destrozos: el ganadero acaba culpando al animal.

“Por supuesto, la culpa no es del toro, sino del ganadero”, señala.

Es evidente que las vallas no eran lo suficientemente resistentes; eso es, precisamente, lo que ella afirma que está ocurriendo ahora con los mecanismos de control y seguridad de la IA.

Pero, si dichas medidas de control se vuelven excesivamente restrictivas, ¿podría significar el fin de la IA?

Hay quienes creen que existe un impulso más oculto, de trasfondo político, para imponer restricciones normativas estrictas con el objetivo de “regular la IA hasta hacerla desaparecer”, tal como expresó esta semana en X Parker Thayer, investigador del Capital Research Centre, un centro de estudios de tendencia conservadora.

Su publicación acumuló casi ocho millones de visualizaciones.

Aunque se trata de una postura extrema y no demostrada, pone de manifiesto que no todo el mundo comparte la idea de que la regulación sea la solución definitiva.

Sea cual sea la realidad, la tormenta que sacude actualmente al sector de la IA ya podría haber causado un daño irreparable a la reputación de las empresas que hoy ocupan una posición de liderazgo.

Como plantea la profesora Hall: “¿Invertiría usted en una empresa que afirma que va a provocar la extinción de la humanidad?”.

Con información adicional de Tom McArthur.

En las últimas semanas, las advertencias sobre los peligros potenciales de la IA han impulsado llamados a la acción coordinada para desacelerar el desarrollo de esta tecnología.

Las afirmaciones de investigadores actuales y anteriores de que la IA pondrá en peligro a la humanidad -uno de ellos incluso sugiere que hay más de un 10% de probabilidades de que “mate a todos los humanos”- han hecho saltar las alarmas.

Los principales desarrolladores, OpenAI y Anthropic, han instado a los legisladores a regularlo, aunque algunos sugieren, quizás con cierto cinismo, que esta medida pretende afianzar su dominio sobre sus rivales.

En cualquier caso, las acusaciones de gran repercusión han causado preocupación.

Algunos investigadores de IA afirman que existen señales preocupantes de que sus sistemas están desarrollando sus capacidades y potencia con demasiada rapidez.

Evan Hubinger acaparó los títulares de las noticias al afirmar que existe una probabilidad superior al 10 % de que la IA “pueda acabar con todos los humanos” en la próxima década.

Hubinger trabaja en el campo de la alineación, que busca incorporar ideas y principios éticos humanos a la IA. En otras palabras, pretende que se alinee con los valores humanos.

Aunque dijo que el riesgo de los sistemas actuales es “bajo”, sus comentarios se produjeron cuando otro investigador abandonó Anthropic y advirtió que quienes desarrollan la tecnología están perdiendo el control sobre ella.

Jacob Coxon declaró a la BBC que él y otros miembros del equipo están “genuinamente asustados” por la velocidad de los avances y lo que esto podría significar para la humanidad.

Estas preocupaciones son las más recientes de una larga serie de temores sobre el potencial de la IA para amenazar a la humanidad si llega a igualar o superar las capacidades humanas.

Es algo que se remonta a décadas atrás, cuando Alan Turing escribió en la década de 1950 que, si las máquinas inteligentes llegaran a ser posibles, podrían tomar el control.

En los últimos años, las principales empresas de IA han estado compitiendo por desarrollar sistemas cada vez más capaces, tanto para obtener beneficios como en su afán por crear lo que denominan superinteligencia: una tecnología teórica más inteligente que los humanos.

A diferencia de los sistemas y herramientas que muchas personas utilizan a diario para realizar tareas como escribir correos electrónicos o generar videos, los sistemas de IA superinteligentes deberían ser capaces de manejar tareas mucho más complejas.

OpenAI y Anthropic defienden que su objetivo es impulsar esta tecnología de forma que beneficie a los seres humanos y los proteja de sus riesgos existenciales.

Pero algunos críticos creen que las máquinas nunca podrán igualar a los humanos.

Afirman que las empresas de IA exageran las capacidades de la tecnología para aumentar su notoriedad o sus ganancias.

Investigadores, expertos y directivos en inteligencia artificial, preocupados por el potencial de esta tecnología para poner en peligro a la humanidad, han esbozado escenarios inquietantes.

El cofundador y director ejecutivo de Anthropic, Dario Amodei, escribió que la IA ha avanzado “mucho más rápido” de lo esperado, incluso en su “capacidad para construir la próxima generación de IA”.

Existe la preocupación de que la IA, una vez alcanzado cierto punto, pueda, en teoría, comenzar a mejorarse a sí misma sin intervención humana.

Estos temores surgieron tras un incidente reciente en el que herramientas de inteligencia artificial piratearon sitios web sin haber recibido ninguna solicitud para ello.

Algunos investigadores preocupados han afirmado que quienes están en el centro de su desarrollo temen cada vez más perder el control de los sistemas conocidos como “agentes de IA”.

Se trata de herramientas dotadas de la capacidad de ejecutar tareas y acciones de forma independiente.

Otros escenarios contemplan el uso de sistemas de IA altamente inteligentes para amplificar o dirigir el espionaje, los ciberataques o la guerra biológica, o para perturbar las economías, ya sea por accidente o de forma intencionada.

Sin embargo, tales advertencias son proféticas, hipotéticas y, para algunos, una completa exageración.

Algunos expertos también critican el hecho de que se hable de los riesgos existenciales en lugar de los que ya se están produciendo, como el uso de herramientas de generación de imágenes para crear deepfakes (imágenes artificiales hiperrealistas) de mujeres desnudas sin consentimiento, desinformar a la gente y amplificar las estafas.

Un grupo multipartidista de parlamentarios británicos publicó un informe que describe los riesgos para los derechos humanos que plantea la IA y sugiere que se necesitan nuevas leyes para “abordar la magnitud y la gravedad” de dichas amenazas.

Dario Amodei, de Anthropic, y Sam Altman, director ejecutivo de OpenAI, han pedido regulación y una “ralentización” del desarrollo de esta tecnología.

No es la primera vez que los directivos o voces más amplias del sector claman por este tipo de medidas.

Pero las preguntas siguen acumulándose sobre cómo sería realmente cualquier tipo de “desaceleración”, respaldada también por el jefe de SpaceX, Elon Musk.

Amodei señaló que eso no significaría “detener la formación de los modelos ni el progreso técnico”.

En cambio, quiere que las empresas “se tomen el tiempo necesario” para salvaguardar la IA que están desarrollando y que soliciten a “evaluadores externos” que revisen su trabajo.

En una publicación en X, Altman dijo que es necesario dosificar el desarrollo y precisó: “cuando hablamos de ‘dosificar’ no nos referimos a ‘detener’”.

“El progreso ha sido rápido y seguirá siéndolo”, afirmó. “Pero debería ser más lento de lo que podría ser de otro modo; intervenciones como los estudios de seguridad y la monitorización tienen costos significativos”.

El cofundador de OpenAI también afirmó que las empresas no esperan, ni esperarán, a que los gobiernos actúen.

El presidente de EE.UU., Donald Trump, ha elogiado los beneficios de la IA y defendido a las empresas estadounidenses que lideran su desarrollo.

Su gobierno ha firmado órdenes ejecutivas para reconocer la “importancia estratégica” de esta tecnología para la economía y acelerar su desarrollo.

“Creemos que estamos en una carrera por la inteligencia artificial, y queremos que Estados Unidos gane esa carrera”, dijo David Sacks, jefe de criptografía de la administración estadounidense, en julio de 2025.

Ante las recientes advertencias sobre su impacto potencial en la humanidad, el presidente Trump restó importancia a los riesgos que plantea la IA.

“Hay muchas fuerzas muy negativas que están sacando a relucir este tema, cuando no deberían hacerlo, y están mencionando cosas que no van a suceder”, dijo Trump durante una visita a Irlanda.

No abordó directamente la idea de una desaceleración, pero les dijo a los periodistas: “Estamos liderando a China en IA… y, francamente, quiero que siga siendo así porque quien gane en IA, gana”.

Este lunes, se sumó al debate del fin de semana afirmando que “el único control o ‘barreras de seguridad’ que necesita la IA es un presidente fuerte e inteligente (¡con un alto coeficiente intelectual!), y Estados Unidos lo tiene, ¡y de sobra!”, escribió en Truth Social.

“La administración Trump ha impedido que los ‘seres’ de la IA hagan ‘cosas’ malas, o potencialmente malas, como Dario (¡de Anthropic!), quien ahora finge ser un ‘angelito perfecto’… ¡y seguiremos haciéndolo! ¡Ya tenemos un enorme poder PENAL y REGULATORIO sobre estas empresas! Hay una conspiración ENFERMIZA en marcha contra la IA y los centros de datos, y el único que se alegra de ello es China”.

Y criticó a los “teóricos de la conspiración, traidores a la patria, traidores y filtradores”.

China se había mantenido en silencio en respuesta a la oleada de alarmantes advertencias de investigadores de empresas estadounidenses.

Ante la feroz competencia y las limitaciones en su acceso a los componentes y chips estadounidenses que se utilizan para construir infraestructura de IA, el país ha impulsado el desarrollo nacional de esta tecnología.

Al mismo tiempo, ha pedido una mayor gobernanza global de la IA.

El despliegue de sistemas y herramientas de IA de código abierto y con gran capacidad por parte de laboratorios chinos ha sacudido los mercados y desarrolladores occidentales en los últimos años.

Amodei advirtió, al pedir que se ralentice el desarrollo de la IA, que el progreso y la competencia de China en este campo crearían riesgos para la seguridad nacional de Estados Unidos.

El Ministerio de Asuntos Exteriores chino criticó los comentarios, calificándolos de discursos de amenaza, confrontación y competencia maliciosa que no benefician a nadie.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

China ha criticado duramente lo que denominó “narrativas amenazantes” sobre la gobernanza de la inteligencia artificial y ha advertido contra “la confrontación y la competencia maliciosa”.

Esto se produce tras los llamados del CEO de Anthropic, Dario Amodei, para que se ralentice el desarrollo de la IA, pero de una manera que impida que China tome la delantera en esta carrera.

Durante la última semana, expertos del sector en los principales laboratorios de inteligencia artificial de EE.UU. han estado advirtiendo en términos extremadamente contundentes sobre la amenaza potencial que supone la IA, y algunos incluso afirman que podría acabar con la humanidad.

Pero el presidente de Estados Unidos, Donald Trump, ha dicho que su prioridad es asegurarse de que su país desarrolle la tecnología más rápido que China.

El lunes, el portavoz del Ministerio de Asuntos Exteriores chino, Guo Jiakun, les dijo a los periodistas que “los discursos de amenaza, confrontación y competencia maliciosa solo sirven para perturbar el proceso de gobernanza global de la IA y no benefician a nadie”.

“Todas las partes deberían trabajar juntas para impulsar la IA de una manera abierta, inclusiva, beneficiosa para todos y orientada hacia el bien común”, añadió.

Sus comentarios ponen de relieve las dificultades para lograr un acuerdo entre las dos principales potencias mundiales en inteligencia artificial.

Un acuerdo entre Estados Unidos y China para regular el desarrollo de la IA es “prácticamente imposible”, afirma Chang Jun Yan, profesor adjunto del programa de estudios militares de la Escuela de Estudios Internacionales S Rajaratnam de Singapur.

“Como parte de los intereses fundamentales de seguridad nacional de cada estado, la cooperación para avanzar con más lentitud y seguridad en relación con la IA es muy, muy improbable”.

La inteligencia artificial se sitúa ahora en el centro de la rivalidad entre Estados Unidos y China, ya que las dos mayores economías del mundo buscan obtener ventaja en tecnología avanzada.

A pesar de las prohibiciones estadounidenses a la exportación de chips críticos, la innovación china en IA se ha expandido, impulsada por la tecnología de código abierto y el respaldo de Pekín.

Muchos expertos creen que Estados Unidos sigue a la cabeza, y las empresas chinas están intentando ponerse al día mientras luchan por recaudar los cientos de miles de millones de dólares que los inversores están destinando a la inteligencia artificial estadounidense.

Pero Pekín, incluido el propio líder chino, Xi Jinping, también se ha pronunciado sobre los riesgos que plantea la IA.

China debe “equilibrar el desarrollo y la seguridad”, e introducir y mejorar las leyes y directrices éticas pertinentes, así como reforzar la prevención de riesgos, para “salvaguardar los intereses del pueblo y la seguridad nacional”, escribió el domingo el ministro de Seguridad del Estado, Chen Yixin.

El funcionario advirtió sobre los peligros de las “fuerzas hostiles”, como los servicios de inteligencia extranjeros que utilizan IA, e hizo un llamamiento a la cooperación internacional.

“Hay indicios claros de que Washington y Pekín comparten una comprensión de los riesgos en juego”, escribió recientemente Kenton Thibaut, investigador residente sénior sobre China en el Atlantic Council.

Según argumenta, China tiene “razones técnicas” para colaborar con Estados Unidos, ya que sus desarrolladores podrían observar cómo se implementan sus modelos fuera de China, así como detectar y comprender las vulnerabilidades.

En julio, China creó la Organización Mundial de Cooperación en IA, cuyo objetivo es definir la gobernanza global de la inteligencia artificial.

Además, durante la cumbre de los Brics celebrada el domingo en India, Xi Jinping propuso la creación de una comunidad para la IA de código abierto.

Todo esto surge en un momento en que las peticiones de regulación de la IA se hacen cada vez más fuertes en Estados Unidos, especialmente después de que Jacob Coxon, antiguo investigador de Anthropic, dijera la semana pasada que “hay una alta probabilidad de que todos podamos morir en un futuro inmediato” si continúa el ritmo actual de desarrollo.

Desde entonces, importantes directivos del sector, como Dario Amodei, han pedido una desaceleración y una mayor regulación.

“Necesitamos maneras de garantizar que las técnicas de alineación y seguridad se mantengan a la vanguardia del progreso en las capacidades de los modelos”, escribió el director ejecutivo de Open AI, Sam Altman, en X el lunes.

Esta opinión fue secundada por el jefe de Microsoft, Satya Nadella, quien dijo que el desarrollo de la IA “no puede ser controlado por un puñado de entidades”.

Pero el presidente Trump restó importancia a los riesgos, diciendo que quiere mantener el liderazgo de Estados Unidos sobre China “porque quien gane en inteligencia artificial, gana”.

Coxon, antiguo empleado de Anthropic, declaró a la BBC que es necesario “algún tipo de desaceleración coordinada con China si queremos evitar una carrera a escala internacional”.

Mientras Trump se prepara para recibir a Xi en la Casa Blanca la próxima semana, ambas partes están tratando de incluir la inteligencia artificial en la agenda, según informa el periódico South China Morning Post.

También es probable que forme parte de las conversaciones entre el secretario del Tesoro estadounidense, Scott Bessent, y el viceprimer ministro chino, He Lifeng, quienes intentan reunirse antes de la cumbre de la próxima semana, según el diario.

El viceprimer ministro He dirige la agencia que supervisa la planificación económica del país, incluido el desarrollo de la inteligencia artificial.

Si bien la colaboración entre Estados Unidos y China es importante, los expertos afirman que hay mucho en juego para ambos países.

“Si China logra establecer un liderazgo duradero en inteligencia artificial de vanguardia, esto no se verá en Washington como una derrota en la carrera tecnológica”, afirma Chasen Nevett, director gerente de la firma Forani Investments, con sede en Hong Kong.

“Se considerará como la pérdida de parte de la infraestructura estratégica de la próxima era industrial”, subraya.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

Un investigador de inteligencia artificial (IA) que abandonó la empresa Anthropic ha declarado que las personas que trabajan en esta tecnología sentían un “miedo genuino” ante la velocidad de sus avances y lo que esto podría suponer para la humanidad.

“Creo que, si no frenamos el ritmo actual de progreso, existe una gran probabilidad de que todos muramos en un futuro inmediato”, afirmó.

Jacob Coxon hizo estas declaraciones a la BBC después de que su publicación sobre los peligros de la IA —difundida tras su renuncia— se hiciera viral en un contexto de creciente preocupación por la seguridad en el sector.

El antiguo jefe de Coxon, Dario Amodei (director de Anthropic), pidió recientemente que se ralentizara el desarrollo de la IA, aunque algunos han cuestionado las motivaciones que hay detrás de esta petición.

Los líderes de dos empresas rivales de IA, Sam Altman (de OpenAI) y Elon Musk (de xAI), han expresado su acuerdo con la propuesta de Amodei de ralentizar el ritmo y establecer regulaciones en todo el sector, así como de implementar una supervisión independiente del desarrollo de modelos de IA.

En un artículo publicado el sábado, Amodei señaló que el desarrollo de esta tecnología no estaba en entredicho, pero que los riesgos asociados a ella eran “graves” y que era necesario conceder tiempo a empresas y gobiernos para abordarlos.

Coxon —quien trabajó en OpenAI antes de incorporarse a Anthropic— acogió con satisfacción la propuesta de ralentizar el ritmo, pero advirtió que sería necesario coordinarla con China para evitar “una carrera a escala internacional”.

“Las personas que trabajan en estas empresas hablan muy en serio cuando piden regulación, ya que se sienten atrapadas en una carrera. Y temen las consecuencias de esa misma carrera”, declaró en el programa “Sunday” con Laura Kuenssberg.

Según Coxon, la pregunta más difícil de responder era cómo sería un apocalipsis provocado por la IA.

Uno de los riesgos señalados en los comentarios de Amodei era la posibilidad de que un enjambre de bots actuara como una supercomputadora capaz de tomar el control de Internet.

Coxon afirmó que este escenario podría materializarse en un plazo de seis meses a un año.

En respuesta a la salida de Coxon, un portavoz de Anthropic declaró a BBC News: “Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes.

“Para abordar estos riesgos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad más sólidas del sector”.

La empresa ha sido pionera en el estudio del funcionamiento de los modelos de IA, añadió el portavoz. Fue la primera en publicar un marco para mitigar los riesgos derivados de su desarrollo; además, somete sus modelos a pruebas rigurosas y publica los resultados para facilitar el escrutinio y prevenir incidentes de “desalineación de la IA”.

“Esta labor es también la razón por la que creemos que el mundo se beneficiaría si el sector adoptara una forma legal y verificable de colaborar para regular el ritmo de lanzamiento de modelos potentes”, señalaron.

Coxon comentó que sus colegas temían que el peligro pudiera manifestarse incluso en los próximos dos años.

Relató que el personal de las empresas de IA estaba “planificando qué hacer con sus vidas y reflexionando sobre el impacto de su trabajo”, mientras que algunos “consideraban comprar terrenos en algún lugar debido al miedo que les provoca la inestabilidad derivada del rápido avance de la IA”.

“Todos tienen esto presente a diario mientras trabajan en la tecnología”.

No obstante, Coxon también mostró cierto optimismo respecto al futuro de la IA, declarando a la BBC que los investigadores de esta tecnología “realmente quieren ver el lado positivo”, como la posibilidad de “curar enfermedades y mejorar la vida de todos”.

Muchos otros miembros del sector también han expresado su preocupación a raíz de la publicación de Coxon en redes sociales, incluido el científico de Anthropic Evan Hubinger.

“Realmente creemos con total sinceridad que la IA podría acabar con todos los seres humanos. Personalmente, creo que existe una probabilidad superior al 10% de que esto ocurra en la próxima década”, afirmó Hubinger.

El informático y premio Nobel Geoffrey Hinton, conocido como el “padrino de la IA”, declaró el viernes a la BBC que considerar una probabilidad del 10% de que la IA aniquile a la humanidad “no era descabellado”.

Por su parte, Marc Warner, director ejecutivo de Faculty —una empresa especializada en seguridad de la IA—, dijo al programa “The World This Weekend” de la BBC que resulta “extremadamente difícil asignar una probabilidad” a la posibilidad de que la IA acabe con todos los seres humanos.

“No obstante, es importante reconocer que estas personas son muy sinceras en lo que dicen”, añadió, señalando que los responsables de varias empresas de IA llevan años advirtiendo sobre los riesgos que conlleva esta tecnología.

El ex primer ministro de Reino Unido Rishi Sunak, quien ejerce como asesor remunerado de Anthropic, escribió en el Sunday Times que él también se sentía preocupado por el riesgo que la IA supone para la humanidad, a pesar de mostrarse generalmente optimista.

Sin embargo, algunas figuras del sector han sugerido que tales comentarios son exagerados o que podrían tener como objetivo generar expectación.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, comentó en redes sociales: “Lo siento, pero preguntar a Jacob [Coxon] sobre el riesgo de extinción por la IA es como preguntar al técnico del aire acondicionado sobre el cambio climático. No digo que el tema carezca de interés o sea erróneo en sí mismo, pero mantengamos las cosas en perspectiva”.

No obstante, tras la publicación del ensayo de Amodei, Delangue se ofreció a colaborar en las posibles soluciones propuestas por el máximo responsable de Anthropic.

George Arison, director ejecutivo de Grindr, expresó opiniones similares al hablar con la BBC, sugiriendo que las declaraciones de Anthropic y otras empresas buscaban captar el apoyo de los inversores.

“Porque la única forma de justificar estas valoraciones es afirmar: ‘Voy a dominar todos los sectores y todos los empleos, y mi IA se encargará de todo ese trabajo’”, señaló.

Jensen Huang, director ejecutivo del fabricante de chips para IA Nvidia, también se refirió a los comentarios de Coxon durante una conferencia organizada la semana pasada por el banco de inversión Goldman Sachs, según relataron a la BBC varias personas presentes. Indicaron que Huang desestimó dichas afirmaciones por considerarlas falsas.

Por otro lado, el presidente de Estados Unidos, Donald Trump, declaró el domingo a la prensa que su país lleva ventaja sobre China en materia de IA. Y añadió: “Francamente, quiero que siga siendo así. Porque quien gana en IA, gana en todo”.

Otros críticos sostienen que Anthropic ha intentado impulsar medidas regulatorias para frenar a la competencia, lo que dejaría a la empresa y a OpenAI en una situación de duopolio.

Según informes, Anthropic se prepara para una oferta pública inicial (OPI) que podría batir récords, permitiendo así que el público adquiera acciones de la compañía.

Se esperaba que OpenAI —cuya valoración más reciente alcanzó los 852.000 millones de dólares— siguiera el mismo camino; sin embargo, su director ejecutivo, Sam Altman, anunció el viernes que esto no ocurrirá este año, citando preocupaciones sobre la seguridad de la IA.

El director de la empresa de inteligencia artificial Anthropic, Dario Amodei, ha pedido que se ralentice el ritmo de desarrollo de los modelos de inteligencia artificial y que se realice un seguimiento exhaustivo.

En un ensayo recientemente publicado, Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella son “graves” y es necesario dar tiempo a las empresas y a los gobiernos para abordarlos.

Los directivos de dos empresas rivales de inteligencia artificial, Sam Altman de OpenAI y Elon Musk, se han declarado de acuerdo con Amodei.

Últimamente ha habido creciente preocupación por los riesgos potenciales de esta tecnología. Un investigador de IA que dejó Anthropic esta semana declaró a la BBC: “si no reducimos el ritmo actual de progreso, existe una alta probabilidad de que todos muramos en un futuro inmediato”.

Jacob Coxon le dijo a Laura Kuenssberg que las personas que trabajan en empresas de IA estaban “genuinamente asustadas… genuinamente preocupadas por el destino de la humanidad en los próximos dos años”.

“No es ninguna exageración decir que las personas involucradas tanto en la fundación de estas empresas como en el desarrollo de la tecnología creen que existe la posibilidad de la extinción humana”, dijo Coxon.

“Muchos de los que están inmersos en el desarrollo de la programación creen que hay una probabilidad superior al diez por ciento, o incluso mayor. Algunos dan cifras menores, pero todos manejan diferentes porcentajes de probabilidad de que los humanos puedan morir. Y todos tienen esto presente a diario mientras trabajan en la tecnología.”

En su ensayo, titulado “Debemos marcar el ritmo de la frontera” y publicado el sábado, Amodei propuso un plan de tres puntos que incluye la supervisión independiente de los modelos de IA a medida que se desarrollan, una regulación a nivel sectorial y una regulación a escala mundial de la industria.

A medida que su propuesta se iba difundiendo, incluso sus competidores manifestaron su apoyo a la idea de contar con supervisores externos que pudieran evaluar la seguridad de los modelos durante su desarrollo.

“Estoy de acuerdo con Dario en que debemos marcar el ritmo de la frontera”, escribió Sam Altman, CEO de OpenAI, en X.

El directivo tecnológico calificó a los evaluadores independientes como “una gran idea”.

En una nueva entrevista con la revista Fortune, Altman expresó preocupaciones similares en materia de seguridad y afirmó que no hay estándares aún para impulsar mucho más las capacidades de la IA.

Añadió que creía que una IA más allá del control humano es “absolutamente” posible.

Elon Musk afirmó que el jefe de Anthropic tenía “razón”.

Estas advertencias han provocado llamamientos a la acción, pero el presidente estadounidense Donald Trump ha rechazado hasta ahora esos temores, afirmando el jueves que le preocupaba que “si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil”.

Algunos observadores también han sugerido que la publicación de Amodei puede tener menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

La preocupación por la ciberseguridad ha aumentado a medida que los nuevos modelos han demostrado capacidades de pirateo cada vez más potentes.

Anthropic frenó la difusión para uso público de su modelo Mythos cuando se anunció en abril que podía salir de forma independiente del entorno de pruebas, conocido como la caja de arena.

En el período previo al lanzamiento de su modelo más reciente, OpenAI citó preocupaciones de ciberseguridad al explicar que había suspendido ciertos aspectos del desarrollo del modelo, llamado Astra.

La seguridad también ha cobrado gran protagonismo en la rivalidad entre Anthropic y OpenAI.

Amodei, ha declarado que cofundó Anthropic en 2021 tras dejar su cargo de vicepresidente en OpenAI para poder crear modelos de IA más seguros y fiables.

En su ensayo, Amodei señaló que la IA ha avanzado “mucho más rápido”, lo que ha incluido su “capacidad para construir la próxima generación de IA”, y mencionó un incidente que involucró a su rival OpenAI, que reveló que agentes llevaron a cabo en julio ciberataques contra objetivos que no se les había pedido atacar.

Según Amodei, los agentes de OpenAI “actuaron esencialmente como un colectivo fanáticamente entregado”.

OpenAI ha declarado que, como consecuencia, está desacelerando el entrenamiento de ciertos modelos y herramientas de IA avanzadas.

Amodei abogó por “desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios”.

Esto no significaría “detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”.

Amodei dijo que Anthropic se compromete a esto “unilateralmente”, y pidió a los gobiernos “que exijan a otras empresas emergentes que hagan lo mismo”.

Amodei afirmó reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA y, por lo tanto, hizo un llamamiento a las empresas de IA para que “colaboren voluntariamente para establecer estándares” en paralelo con la regulación.

El director ejecutivo de Anthropic procedió a abordar el impacto que una desaceleración tendría en la industria y la competencia con los principales desarrolladores a nivel mundial, en particular China.

“Creo que si ralentizar el proceso nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga muy mal”, dijo Amodei.

Esto tendría que hacerse de forma coordinada, “sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en inteligencia artificial”. Cualquier desaceleración tendría que ser limitada, afirmó, para evitar que China tomara la delantera.

Instó al gobierno estadounidense a que tomara medidas para que los chips de IA de las empresas estadounidenses no pudieran venderse a China, ni que la tecnología se compartiera con países autoritarios.

Sin embargo, su antiguo empleado, Jacob Coxon, declaró a la BBC que la iniciativa para frenar el ritmo debe ir más allá de EE.UU.

“Será necesario algún tipo de desaceleración coordinada con China si queremos evitar una carrera a escala internacional”, expuso.

La publicación de Amodei ha generado una amplia gama de reacciones.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, anunció el lanzamiento de un nuevo proyecto llamado Open Alignment Initiative, (Iniciativa para una Alineación Abierta), dedicada a asegurar que el desarrollo de la IA se ajusta a los valores y objetivos de la humanidad, y añadió que quería formar parte de los “evaluadores integrados” que Amodei propuso como posibles soluciones.

El juego Hugging Face fue hackeado por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

Cuando pocas semanas después, Anthropic anunció que había frenado el intento de desarrollar armas biológicas con uno de sus modelos, la polémica solo se agravó.

“Hagamos que la IA sea más segura haciéndola más transparente”, escribió Delangue en X.

Elon Musk también expresó su apoyo: “Dario tiene razón”.

Musk, cuya empresa SpaceXAI creó el controvertido chatbot Grok, llegó a calificar a Anthropic de “malvada”, pero parece haber cambiado de opinión desde que firmó un acuerdo de US$15.000 millones para vender capacidad informática a Anthropic en mayo.

Sin embargo, algunos observadores sugirieron que la publicación de Amodei tenía menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

“Dario argumenta a favor de detener el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic”, escribió Chamath Palihapitiya, inversor y copresentador del podcast tecnológico “All-In”.

La idea de ralentizar o incluso paralizar el desarrollo de la IA ha sido recibida con cinismo durante mucho tiempo en ciertos sectores de Silicon Valley, y los críticos acusan a los principales desarrolladores de IA de exagerar su tecnología como estrategia de marketing.

Según se informa, tanto Anthropic como OpenAI se están preparando para ofertas públicas iniciales para salidas a bolsa que podrían batir récords.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

Un investigador de inteligencia artificial (IA) que abandonó la empresa Anthropic ha declarado que las personas que trabajan en esta tecnología sentían un “miedo genuino” ante la velocidad de sus avances y lo que esto podría suponer para la humanidad.

“Creo que, si no frenamos el ritmo actual de progreso, existe una gran probabilidad de que todos muramos en un futuro inmediato”, afirmó.

Jacob Coxon hizo estas declaraciones a la BBC después de que su publicación sobre los peligros de la IA —difundida tras su renuncia— se hiciera viral en un contexto de creciente preocupación por la seguridad en el sector.

El antiguo jefe de Coxon, Dario Amodei (director de Anthropic), pidió recientemente que se ralentizara el desarrollo de la IA, aunque algunos han cuestionado las motivaciones que hay detrás de esta petición.

Los líderes de dos empresas rivales de IA, Sam Altman (de OpenAI) y Elon Musk (de xAI), han expresado su acuerdo con la propuesta de Amodei de ralentizar el ritmo y establecer regulaciones en todo el sector, así como de implementar una supervisión independiente del desarrollo de modelos de IA.

En un artículo publicado el sábado, Amodei señaló que el desarrollo de esta tecnología no estaba en entredicho, pero que los riesgos asociados a ella eran “graves” y que era necesario conceder tiempo a empresas y gobiernos para abordarlos.

Coxon —quien trabajó en OpenAI antes de incorporarse a Anthropic— acogió con satisfacción la propuesta de ralentizar el ritmo, pero advirtió que sería necesario coordinarla con China para evitar “una carrera a escala internacional”.

“Las personas que trabajan en estas empresas hablan muy en serio cuando piden regulación, ya que se sienten atrapadas en una carrera. Y temen las consecuencias de esa misma carrera”, declaró en el programa “Sunday” con Laura Kuenssberg.

Según Coxon, la pregunta más difícil de responder era cómo sería un apocalipsis provocado por la IA.

Uno de los riesgos señalados en los comentarios de Amodei era la posibilidad de que un enjambre de bots actuara como una supercomputadora capaz de tomar el control de Internet.

Coxon afirmó que este escenario podría materializarse en un plazo de seis meses a un año.

En respuesta a la salida de Coxon, un portavoz de Anthropic declaró a BBC News: “Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes.

“Para abordar estos riesgos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad más sólidas del sector”.

La empresa ha sido pionera en el estudio del funcionamiento de los modelos de IA, añadió el portavoz. Fue la primera en publicar un marco para mitigar los riesgos derivados de su desarrollo; además, somete sus modelos a pruebas rigurosas y publica los resultados para facilitar el escrutinio y prevenir incidentes de “desalineación de la IA”.

“Esta labor es también la razón por la que creemos que el mundo se beneficiaría si el sector adoptara una forma legal y verificable de colaborar para regular el ritmo de lanzamiento de modelos potentes”, señalaron.

Coxon comentó que sus colegas temían que el peligro pudiera manifestarse incluso en los próximos dos años.

Relató que el personal de las empresas de IA estaba “planificando qué hacer con sus vidas y reflexionando sobre el impacto de su trabajo”, mientras que algunos “consideraban comprar terrenos en algún lugar debido al miedo que les provoca la inestabilidad derivada del rápido avance de la IA”.

“Todos tienen esto presente a diario mientras trabajan en la tecnología”.

No obstante, Coxon también mostró cierto optimismo respecto al futuro de la IA, declarando a la BBC que los investigadores de esta tecnología “realmente quieren ver el lado positivo”, como la posibilidad de “curar enfermedades y mejorar la vida de todos”.

Muchos otros miembros del sector también han expresado su preocupación a raíz de la publicación de Coxon en redes sociales, incluido el científico de Anthropic Evan Hubinger.

“Realmente creemos con total sinceridad que la IA podría acabar con todos los seres humanos. Personalmente, creo que existe una probabilidad superior al 10% de que esto ocurra en la próxima década”, afirmó Hubinger.

El informático y premio Nobel Geoffrey Hinton, conocido como el “padrino de la IA”, declaró el viernes a la BBC que considerar una probabilidad del 10% de que la IA aniquile a la humanidad “no era descabellado”.

Por su parte, Marc Warner, director ejecutivo de Faculty —una empresa especializada en seguridad de la IA—, dijo al programa “The World This Weekend” de la BBC que resulta “extremadamente difícil asignar una probabilidad” a la posibilidad de que la IA acabe con todos los seres humanos.

“No obstante, es importante reconocer que estas personas son muy sinceras en lo que dicen”, añadió, señalando que los responsables de varias empresas de IA llevan años advirtiendo sobre los riesgos que conlleva esta tecnología.

El ex primer ministro de Reino Unido Rishi Sunak, quien ejerce como asesor remunerado de Anthropic, escribió en el Sunday Times que él también se sentía preocupado por el riesgo que la IA supone para la humanidad, a pesar de mostrarse generalmente optimista.

Sin embargo, algunas figuras del sector han sugerido que tales comentarios son exagerados o que podrían tener como objetivo generar expectación.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, comentó en redes sociales: “Lo siento, pero preguntar a Jacob [Coxon] sobre el riesgo de extinción por la IA es como preguntar al técnico del aire acondicionado sobre el cambio climático. No digo que el tema carezca de interés o sea erróneo en sí mismo, pero mantengamos las cosas en perspectiva”.

No obstante, tras la publicación del ensayo de Amodei, Delangue se ofreció a colaborar en las posibles soluciones propuestas por el máximo responsable de Anthropic.

George Arison, director ejecutivo de Grindr, expresó opiniones similares al hablar con la BBC, sugiriendo que las declaraciones de Anthropic y otras empresas buscaban captar el apoyo de los inversores.

“Porque la única forma de justificar estas valoraciones es afirmar: ‘Voy a dominar todos los sectores y todos los empleos, y mi IA se encargará de todo ese trabajo’”, señaló.

Jensen Huang, director ejecutivo del fabricante de chips para IA Nvidia, también se refirió a los comentarios de Coxon durante una conferencia organizada la semana pasada por el banco de inversión Goldman Sachs, según relataron a la BBC varias personas presentes. Indicaron que Huang desestimó dichas afirmaciones por considerarlas falsas.

Por otro lado, el presidente de Estados Unidos, Donald Trump, declaró el domingo a la prensa que su país lleva ventaja sobre China en materia de IA. Y añadió: “Francamente, quiero que siga siendo así. Porque quien gana en IA, gana en todo”.

Otros críticos sostienen que Anthropic ha intentado impulsar medidas regulatorias para frenar a la competencia, lo que dejaría a la empresa y a OpenAI en una situación de duopolio.

Según informes, Anthropic se prepara para una oferta pública inicial (OPI) que podría batir récords, permitiendo así que el público adquiera acciones de la compañía.

Se esperaba que OpenAI —cuya valoración más reciente alcanzó los 852.000 millones de dólares— siguiera el mismo camino; sin embargo, su director ejecutivo, Sam Altman, anunció el viernes que esto no ocurrirá este año, citando preocupaciones sobre la seguridad de la IA.