Category: Tecnologia

Cada septiembre, una selecta lista de ejecutivos de todo Silicon Valley se da cita en el Palace Hotel de San Francisco para intentar impresionar a los inversores en una conferencia organizada por el banco Goldman Sachs.

Esta última semana, entre debates sobre el crecimiento y los posibles beneficios de la inteligencia artificial (IA), los gigantes tecnológicos se han visto obligados a abordar la repentina renuncia de Jacob Coxon, investigador de Anthropic.

Coxon, de 27 años y que trabajó en OpenAI antes de unirse a su principal rival, aseguró el martes que quienes desarrollan la IA creen que esta tecnología podría destruir a la humanidad.

“Están jugando con nuestras vidas”, dijo.

“Pronto los sistemas sobrehumanos serán capaces de piratear cualquier cosa”, alertó.

Coxon no es, ni mucho menos, el primer experto en IA en dar la voz de alarma públicamente. En los últimos años se han producido varias dimisiones de alto perfil tanto en Anthropic como en OpenAI por aparentes problemas de seguridad, e incluso algunos empleados actuales de Anthropic se hicieron eco de la publicación de Coxon.

“¡Realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que sucederá en más del 10% de los casos en la próxima década”, publicó Evan Hubinger, líder de un equipo de Anthropic, en X.

Aunque Coxon afirmó explícitamente que sus advertencias “no eran marketing”, algunos ejecutivos e inversores de Silicon Valley han reaccionado con escepticismo ante la reciente oleada de personas con información privilegiada que han dado la voz de alarma.

Según se informa, Anthropic y OpenAI se están preparando para ofertas públicas iniciales que podrían batir récords, y algunos en el sector tecnológico han sugerido que los últimos comentarios sobre los peligros de la IA podrían estar diseñados para influir en los mercados al señalar el poder de estos productos.

El director de Anthropic, Dario Amodei, ha sido objeto de críticas por afirmar que la IA podría eliminar la mitad de los puestos de trabajo de nivel básico para empleados de oficina y que “pondrá a prueba quiénes somos como especie”.

Uno de los ponentes de la conferencia, George Arison, director ejecutivo de Grindr, declaró a la BBC que, en su opinión, los comentarios de Coxon y otros esta semana eran indicativos de una “visión del mundo anticivilizatoria en Anthropic”.

Tras calificarlos de “peligrosos”, el directivo dijo que dichas opiniones le habían llevado a dar instrucciones a algunos ingenieros de la aplicación de citas LGBTQ+ para que dejaran de usar la tecnología de Anthropic.

“Es irresponsable por nuestra parte, como administradores del dinero de nuestros accionistas, confiar en una empresa que hace lo que hace esta compañía, en lo que respecta a sus declaraciones públicas”, explicó.

“Tal vez realmente lo crean”, dijo Arison.

“O se podría argumentar que lo dicen porque es una excelente manera de conseguir más apoyo de los inversores, ya que la única forma de justificar estas valoraciones es afirmar: ‘Voy a dominar todas las industrias y voy a ocupar todos los puestos de trabajo, y mi IA se encargará de todo ese trabajo’”, agregó.

Anthropic fue valorada en US$965.000 millones en su ronda de financiación más reciente, a principios de este año.

La BBC ha solicitado a Anthropic una respuesta a dichas declaraciones.

En un ensayo publicado a primera hora del sábado, Amodei pidió que se ralentizara el desarrollo de modelos de IA y una regulación global del sector, alegando que los riesgos asociados a la IA eran “graves”.

El director ejecutivo de Nvidia, Jensen Huang, también habló sobre los comentarios de Coxon ante el público en la conferencia, según informaron varias personas presentes a la BBC. Según los testigos, Huang desestimó las alertas por considerarlas falsas.

Huang ya había dicho anteriormente que la idea de que la IA “va a ser el fin de la humanidad” es “una completa tontería”.

Y si bien puede tener un interés comercial en el auge de la IA (Nvidia fabrica los chips que impulsan los sistemas de IA), sus comentarios reflejan una creciente reacción en Silicon Valley ante las advertencias existenciales de empleados actuales y antiguos.

Algunos críticos incluso han acusado a Anthropic de sembrar el pánico con la esperanza de que esto desencadene una presión regulatoria que podría eliminar la competencia y dejar a Anthropic y a OpenAI con un duopolio en el sector.

Brad Gerstner, director de la firma de inversión Altimeter Capital, publicó fotos de Huang en la conferencia y acusó a Coxon de “hipérbole ridícula”.

El viernes, Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, dio su opinión al respecto. Hugging Face, cuya adquisición por parte de Nvidia anunció la semana pasada, fue hackeada por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

“Lo siento, pero preguntarle a Jacob sobre el riesgo de extinción por culpa de la IA es como preguntarle a tu técnico de aire acondicionado sobre el cambio climático”, escribió en X.

“No digo que sea necesariamente poco interesante o incorrecto en sí mismo, pero pongamos las cosas en perspectiva”, agregó.

Tanto Gerstner como Delangue se mostraron más cautos el sábado tras la publicación de la propuesta de Amodei, y Gerstner calificó la idea como “un importante paso adelante” para equilibrar consideraciones contrapuestas como la velocidad y la seguridad.

Por su parte, Delangue se ofreció a colaborar para formar parte de las posibles soluciones propuestas por Amodei.

En abril, Anthropic revolucionó el mundo de la IA al anunciar que había descubierto que su herramienta Mythos podía superar a los humanos en algunas tareas de piratería informática y ciberseguridad.

Mythos también demostró la capacidad de escapar de forma independiente de lo que se conoce como el entorno de pruebas controlado (sandbox), lo que desató un debate entre reguladores, legisladores y empresas sobre los peligros potenciales de la IA.

En una novedad anunciada el jueves, Anthropic informó que había detectado y neutralizado a agentes maliciosos que intentaban utilizar su tecnología de IA para actividades como el desarrollo de armas biológicas y el ciberespionaje.

Bajo las relucientes lámparas de araña que cuelgan en el atrio con cúpula de vidrieras del Hotel Palace, algunos inversores declararon a la BBC que los comentarios de Coxon y otros podrían acelerar restricciones gubernamentales.

Un proyecto de legislación federal copatrocinada por el senador demócrata Bernie Sanders (Vermont), conocida como la Ley para Prohibir la Superinteligencia Artificial, propone imponer una pausa temporal en el desarrollo de la IA avanzada.

“Hay muchas probabilidades de que los seres humanos pierdan el control sobre la IA”, declaró Sanders el jueves en el programa Newsnight de la BBC.

“Y qué ocurrirá entonces, nadie lo sabe. ¿Pero podría ser catastrófico? Sí, podría serlo”, sostuvo.

“Cuando los científicos te dicen que existe la posibilidad de que tenga un impacto catastrófico en la humanidad, hay que ser un idiota para no decir: ‘Hay que frenarlo’”, aseveró.

Sin embargo, si se produce una regulación gubernamental generalizada en el sector, es probable que la lideren los legisladores y no la administración de Donald Trump, que apoya en gran medida una política de desarrollo de IA sin restricciones.

El gobierno ha justificado esto como necesario para garantizar que Estados Unidos no ceda su dominio a China.

En declaraciones a la prensa esta semana, se le preguntó al presidente Trump si le preocupaba que la IA pudiera provocar la extinción humana.

“No, no me preocupa en absoluto”, respondió.

“Me preocupa que, si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil. Ahora mismo vamos por delante de China”, zanjó.

La relación del presidente con Anthropic ha sido turbulenta. Después de que la empresa se negara a permitir que el ejército estadounidense utilizara sus modelos de IA, la Casa Blanca la describió como “una empresa radical de izquierda y progresista” y la designó como un riesgo para la cadena de suministro, una medida que un juez federal dictaminó que era ilegal.

David Sacks, el responsable de la inteligencia artificial de Trump en los primeros días de su administración, también ha lanzado repetidos ataques contra Anthropic.

OpenAI no ha soportado el mismo nivel de escrutinio por parte de la Casa Blanca. Al presentar un nuevo modelo llamado Astra la semana pasada, el presidente de OpenAI, Greg Brockman, describió la relación de su empresa con la administración Trump como “una muy buena colaboración”.

OpenAI, que anunció en junio su salida a bolsa, estaba valorada recientemente en 852.000 millones de dólares.

La empresa no respondió a la solicitud de comentarios de la BBC.

En la conferencia celebrada esta semana en San Francisco, la búsqueda de fortuna pareció prevalecer sobre cualquier preocupación existencial o temor ante posibles restricciones gubernamentales.

Un inversor dijo que esperaba con interés el próximo formulario S-1 de Anthropic, un documento que una empresa debe presentar ante los reguladores de valores para poder vender acciones.

Su principal pregunta sobre la empresa era sencilla: ¿es rentable?

Cuando se le preguntó el jueves si temía que el mundo pudiera estar llegando a su fin, Sid Sheth, director ejecutivo de la empresa de chips d-Matrix, que firmó un acuerdo con Nvidia en la conferencia de ese día, no se anduvo con rodeos.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

Cada septiembre, una selecta lista de ejecutivos de todo Silicon Valley se da cita en el Palace Hotel de San Francisco para intentar impresionar a los inversores en una conferencia organizada por el banco Goldman Sachs.

Esta última semana, entre debates sobre el crecimiento y los posibles beneficios de la inteligencia artificial (IA), los gigantes tecnológicos se han visto obligados a abordar la repentina renuncia de Jacob Coxon, investigador de Anthropic.

Coxon, de 27 años y que trabajó en OpenAI antes de unirse a su principal rival, aseguró el martes que quienes desarrollan la IA creen que esta tecnología podría destruir a la humanidad.

“Están jugando con nuestras vidas”, dijo.

“Pronto los sistemas sobrehumanos serán capaces de piratear cualquier cosa”, alertó.

Coxon no es, ni mucho menos, el primer experto en IA en dar la voz de alarma públicamente. En los últimos años se han producido varias dimisiones de alto perfil tanto en Anthropic como en OpenAI por aparentes problemas de seguridad, e incluso algunos empleados actuales de Anthropic se hicieron eco de la publicación de Coxon.

“¡Realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que sucederá en más del 10% de los casos en la próxima década”, publicó Evan Hubinger, líder de un equipo de Anthropic, en X.

Aunque Coxon afirmó explícitamente que sus advertencias “no eran marketing”, algunos ejecutivos e inversores de Silicon Valley han reaccionado con escepticismo ante la reciente oleada de personas con información privilegiada que han dado la voz de alarma.

Según se informa, Anthropic y OpenAI se están preparando para ofertas públicas iniciales que podrían batir récords, y algunos en el sector tecnológico han sugerido que los últimos comentarios sobre los peligros de la IA podrían estar diseñados para influir en los mercados al señalar el poder de estos productos.

El director de Anthropic, Dario Amodei, ha sido objeto de críticas por afirmar que la IA podría eliminar la mitad de los puestos de trabajo de nivel básico para empleados de oficina y que “pondrá a prueba quiénes somos como especie”.

Uno de los ponentes de la conferencia, George Arison, director ejecutivo de Grindr, declaró a la BBC que, en su opinión, los comentarios de Coxon y otros esta semana eran indicativos de una “visión del mundo anticivilizatoria en Anthropic”.

Tras calificarlos de “peligrosos”, el directivo dijo que dichas opiniones le habían llevado a dar instrucciones a algunos ingenieros de la aplicación de citas LGBTQ+ para que dejaran de usar la tecnología de Anthropic.

“Es irresponsable por nuestra parte, como administradores del dinero de nuestros accionistas, confiar en una empresa que hace lo que hace esta compañía, en lo que respecta a sus declaraciones públicas”, explicó.

“Tal vez realmente lo crean”, dijo Arison.

“O se podría argumentar que lo dicen porque es una excelente manera de conseguir más apoyo de los inversores, ya que la única forma de justificar estas valoraciones es afirmar: ‘Voy a dominar todas las industrias y voy a ocupar todos los puestos de trabajo, y mi IA se encargará de todo ese trabajo’”, agregó.

Anthropic fue valorada en US$965.000 millones en su ronda de financiación más reciente, a principios de este año.

La BBC ha solicitado a Anthropic una respuesta a dichas declaraciones.

En un ensayo publicado a primera hora del sábado, Amodei pidió que se ralentizara el desarrollo de modelos de IA y una regulación global del sector, alegando que los riesgos asociados a la IA eran “graves”.

El director ejecutivo de Nvidia, Jensen Huang, también habló sobre los comentarios de Coxon ante el público en la conferencia, según informaron varias personas presentes a la BBC. Según los testigos, Huang desestimó las alertas por considerarlas falsas.

Huang ya había dicho anteriormente que la idea de que la IA “va a ser el fin de la humanidad” es “una completa tontería”.

Y si bien puede tener un interés comercial en el auge de la IA (Nvidia fabrica los chips que impulsan los sistemas de IA), sus comentarios reflejan una creciente reacción en Silicon Valley ante las advertencias existenciales de empleados actuales y antiguos.

Algunos críticos incluso han acusado a Anthropic de sembrar el pánico con la esperanza de que esto desencadene una presión regulatoria que podría eliminar la competencia y dejar a Anthropic y a OpenAI con un duopolio en el sector.

Brad Gerstner, director de la firma de inversión Altimeter Capital, publicó fotos de Huang en la conferencia y acusó a Coxon de “hipérbole ridícula”.

El viernes, Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, dio su opinión al respecto. Hugging Face, cuya adquisición por parte de Nvidia anunció la semana pasada, fue hackeada por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

“Lo siento, pero preguntarle a Jacob sobre el riesgo de extinción por culpa de la IA es como preguntarle a tu técnico de aire acondicionado sobre el cambio climático”, escribió en X.

“No digo que sea necesariamente poco interesante o incorrecto en sí mismo, pero pongamos las cosas en perspectiva”, agregó.

Tanto Gerstner como Delangue se mostraron más cautos el sábado tras la publicación de la propuesta de Amodei, y Gerstner calificó la idea como “un importante paso adelante” para equilibrar consideraciones contrapuestas como la velocidad y la seguridad.

Por su parte, Delangue se ofreció a colaborar para formar parte de las posibles soluciones propuestas por Amodei.

En abril, Anthropic revolucionó el mundo de la IA al anunciar que había descubierto que su herramienta Mythos podía superar a los humanos en algunas tareas de piratería informática y ciberseguridad.

Mythos también demostró la capacidad de escapar de forma independiente de lo que se conoce como el entorno de pruebas controlado (sandbox), lo que desató un debate entre reguladores, legisladores y empresas sobre los peligros potenciales de la IA.

En una novedad anunciada el jueves, Anthropic informó que había detectado y neutralizado a agentes maliciosos que intentaban utilizar su tecnología de IA para actividades como el desarrollo de armas biológicas y el ciberespionaje.

Bajo las relucientes lámparas de araña que cuelgan en el atrio con cúpula de vidrieras del Hotel Palace, algunos inversores declararon a la BBC que los comentarios de Coxon y otros podrían acelerar restricciones gubernamentales.

Un proyecto de legislación federal copatrocinada por el senador demócrata Bernie Sanders (Vermont), conocida como la Ley para Prohibir la Superinteligencia Artificial, propone imponer una pausa temporal en el desarrollo de la IA avanzada.

“Hay muchas probabilidades de que los seres humanos pierdan el control sobre la IA”, declaró Sanders el jueves en el programa Newsnight de la BBC.

“Y qué ocurrirá entonces, nadie lo sabe. ¿Pero podría ser catastrófico? Sí, podría serlo”, sostuvo.

“Cuando los científicos te dicen que existe la posibilidad de que tenga un impacto catastrófico en la humanidad, hay que ser un idiota para no decir: ‘Hay que frenarlo’”, aseveró.

Sin embargo, si se produce una regulación gubernamental generalizada en el sector, es probable que la lideren los legisladores y no la administración de Donald Trump, que apoya en gran medida una política de desarrollo de IA sin restricciones.

El gobierno ha justificado esto como necesario para garantizar que Estados Unidos no ceda su dominio a China.

En declaraciones a la prensa esta semana, se le preguntó al presidente Trump si le preocupaba que la IA pudiera provocar la extinción humana.

“No, no me preocupa en absoluto”, respondió.

“Me preocupa que, si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil. Ahora mismo vamos por delante de China”, zanjó.

La relación del presidente con Anthropic ha sido turbulenta. Después de que la empresa se negara a permitir que el ejército estadounidense utilizara sus modelos de IA, la Casa Blanca la describió como “una empresa radical de izquierda y progresista” y la designó como un riesgo para la cadena de suministro, una medida que un juez federal dictaminó que era ilegal.

David Sacks, el responsable de la inteligencia artificial de Trump en los primeros días de su administración, también ha lanzado repetidos ataques contra Anthropic.

OpenAI no ha soportado el mismo nivel de escrutinio por parte de la Casa Blanca. Al presentar un nuevo modelo llamado Astra la semana pasada, el presidente de OpenAI, Greg Brockman, describió la relación de su empresa con la administración Trump como “una muy buena colaboración”.

OpenAI, que anunció en junio su salida a bolsa, estaba valorada recientemente en 852.000 millones de dólares.

La empresa no respondió a la solicitud de comentarios de la BBC.

En la conferencia celebrada esta semana en San Francisco, la búsqueda de fortuna pareció prevalecer sobre cualquier preocupación existencial o temor ante posibles restricciones gubernamentales.

Un inversor dijo que esperaba con interés el próximo formulario S-1 de Anthropic, un documento que una empresa debe presentar ante los reguladores de valores para poder vender acciones.

Su principal pregunta sobre la empresa era sencilla: ¿es rentable?

Cuando se le preguntó el jueves si temía que el mundo pudiera estar llegando a su fin, Sid Sheth, director ejecutivo de la empresa de chips d-Matrix, que firmó un acuerdo con Nvidia en la conferencia de ese día, no se anduvo con rodeos.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

El director de la empresa de inteligencia artificial Anthropic, Dario Amodei, ha pedido que se ralentice el ritmo de desarrollo de los modelos de inteligencia artificial y que se realice un seguimiento exhaustivo.

En un ensayo recientemente publicado, Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella son “graves” y es necesario dar tiempo a las empresas y a los gobiernos para abordarlos.

Los directivos de dos empresas rivales de inteligencia artificial, Sam Altman de OpenAI y Elon Musk, se han declarado de acuerdo con Amodei.

Últimamente ha habido creciente preocupación por los riesgos potenciales de esta tecnología. Un investigador de IA que dejó Anthropic esta semana declaró a la BBC: “si no reducimos el ritmo actual de progreso, existe una alta probabilidad de que todos muramos en un futuro inmediato”.

Jacob Coxon le dijo a Laura Kuenssberg que las personas que trabajan en empresas de IA estaban “genuinamente asustadas… genuinamente preocupadas por el destino de la humanidad en los próximos dos años”.

“No es ninguna exageración decir que las personas involucradas tanto en la fundación de estas empresas como en el desarrollo de la tecnología creen que existe la posibilidad de la extinción humana”, dijo Coxon.

“Muchos de los que están inmersos en el desarrollo de la programación creen que hay una probabilidad superior al diez por ciento, o incluso mayor. Algunos dan cifras menores, pero todos manejan diferentes porcentajes de probabilidad de que los humanos puedan morir. Y todos tienen esto presente a diario mientras trabajan en la tecnología.”

En su ensayo, titulado “Debemos marcar el ritmo de la frontera” y publicado el sábado, Amodei propuso un plan de tres puntos que incluye la supervisión independiente de los modelos de IA a medida que se desarrollan, una regulación a nivel sectorial y una regulación a escala mundial de la industria.

A medida que su propuesta se iba difundiendo, incluso sus competidores manifestaron su apoyo a la idea de contar con supervisores externos que pudieran evaluar la seguridad de los modelos durante su desarrollo.

“Estoy de acuerdo con Dario en que debemos marcar el ritmo de la frontera”, escribió Sam Altman, CEO de OpenAI, en X.

El directivo tecnológico calificó a los evaluadores independientes como “una gran idea”.

En una nueva entrevista con la revista Fortune, Altman expresó preocupaciones similares en materia de seguridad y afirmó que no hay estándares aún para impulsar mucho más las capacidades de la IA.

Añadió que creía que una IA más allá del control humano es “absolutamente” posible.

Elon Musk afirmó que el jefe de Anthropic tenía “razón”.

Estas advertencias han provocado llamamientos a la acción, pero el presidente estadounidense Donald Trump ha rechazado hasta ahora esos temores, afirmando el jueves que le preocupaba que “si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil”.

Algunos observadores también han sugerido que la publicación de Amodei puede tener menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

La preocupación por la ciberseguridad ha aumentado a medida que los nuevos modelos han demostrado capacidades de pirateo cada vez más potentes.

Anthropic frenó la difusión para uso público de su modelo Mythos cuando se anunció en abril que podía salir de forma independiente del entorno de pruebas, conocido como la caja de arena.

En el período previo al lanzamiento de su modelo más reciente, OpenAI citó preocupaciones de ciberseguridad al explicar que había suspendido ciertos aspectos del desarrollo del modelo, llamado Astra.

La seguridad también ha cobrado gran protagonismo en la rivalidad entre Anthropic y OpenAI.

Amodei, ha declarado que cofundó Anthropic en 2021 tras dejar su cargo de vicepresidente en OpenAI para poder crear modelos de IA más seguros y fiables.

En su ensayo, Amodei señaló que la IA ha avanzado “mucho más rápido”, lo que ha incluido su “capacidad para construir la próxima generación de IA”, y mencionó un incidente que involucró a su rival OpenAI, que reveló que agentes llevaron a cabo en julio ciberataques contra objetivos que no se les había pedido atacar.

Según Amodei, los agentes de OpenAI “actuaron esencialmente como un colectivo fanáticamente entregado”.

OpenAI ha declarado que, como consecuencia, está desacelerando el entrenamiento de ciertos modelos y herramientas de IA avanzadas.

Amodei abogó por “desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios”.

Esto no significaría “detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”.

Amodei dijo que Anthropic se compromete a esto “unilateralmente”, y pidió a los gobiernos “que exijan a otras empresas emergentes que hagan lo mismo”.

Amodei afirmó reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA y, por lo tanto, hizo un llamamiento a las empresas de IA para que “colaboren voluntariamente para establecer estándares” en paralelo con la regulación.

El director ejecutivo de Anthropic procedió a abordar el impacto que una desaceleración tendría en la industria y la competencia con los principales desarrolladores a nivel mundial, en particular China.

“Creo que si ralentizar el proceso nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga muy mal”, dijo Amodei.

Esto tendría que hacerse de forma coordinada, “sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en inteligencia artificial”. Cualquier desaceleración tendría que ser limitada, afirmó, para evitar que China tomara la delantera.

Instó al gobierno estadounidense a que tomara medidas para que los chips de IA de las empresas estadounidenses no pudieran venderse a China, ni que la tecnología se compartiera con países autoritarios.

Sin embargo, su antiguo empleado, Jacob Coxon, declaró a la BBC que la iniciativa para frenar el ritmo debe ir más allá de EE.UU.

“Será necesario algún tipo de desaceleración coordinada con China si queremos evitar una carrera a escala internacional”, expuso.

La publicación de Amodei ha generado una amplia gama de reacciones.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, anunció el lanzamiento de un nuevo proyecto llamado Open Alignment Initiative, (Iniciativa para una Alineación Abierta), dedicada a asegurar que el desarrollo de la IA se ajusta a los valores y objetivos de la humanidad, y añadió que quería formar parte de los “evaluadores integrados” que Amodei propuso como posibles soluciones.

El juego Hugging Face fue hackeado por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

Cuando pocas semanas después, Anthropic anunció que había frenado el intento de desarrollar armas biológicas con uno de sus modelos, la polémica solo se agravó.

“Hagamos que la IA sea más segura haciéndola más transparente”, escribió Delangue en X.

Elon Musk también expresó su apoyo: “Dario tiene razón”.

Musk, cuya empresa SpaceXAI creó el controvertido chatbot Grok, llegó a calificar a Anthropic de “malvada”, pero parece haber cambiado de opinión desde que firmó un acuerdo de US$15.000 millones para vender capacidad informática a Anthropic en mayo.

Sin embargo, algunos observadores sugirieron que la publicación de Amodei tenía menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

“Dario argumenta a favor de detener el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic”, escribió Chamath Palihapitiya, inversor y copresentador del podcast tecnológico “All-In”.

La idea de ralentizar o incluso paralizar el desarrollo de la IA ha sido recibida con cinismo durante mucho tiempo en ciertos sectores de Silicon Valley, y los críticos acusan a los principales desarrolladores de IA de exagerar su tecnología como estrategia de marketing.

Según se informa, tanto Anthropic como OpenAI se están preparando para ofertas públicas iniciales para salidas a bolsa que podrían batir récords.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

El director de la empresa de inteligencia artificial Anthropic, Dario Amodei, ha pedido que se ralentice el ritmo de desarrollo de los modelos de inteligencia artificial y que se realice un seguimiento exhaustivo.

En un ensayo recientemente publicado, Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella son “graves” y es necesario dar tiempo a las empresas y a los gobiernos para abordarlos.

Los directivos de dos empresas rivales de inteligencia artificial, Sam Altman de OpenAI y Elon Musk, se han declarado de acuerdo con Amodei.

Últimamente ha habido creciente preocupación por los riesgos potenciales de esta tecnología. Un investigador de IA que dejó Anthropic esta semana declaró a la BBC: “si no reducimos el ritmo actual de progreso, existe una alta probabilidad de que todos muramos en un futuro inmediato”.

Jacob Coxon le dijo a Laura Kuenssberg que las personas que trabajan en empresas de IA estaban “genuinamente asustadas… genuinamente preocupadas por el destino de la humanidad en los próximos dos años”.

“No es ninguna exageración decir que las personas involucradas tanto en la fundación de estas empresas como en el desarrollo de la tecnología creen que existe la posibilidad de la extinción humana”, dijo Coxon.

“Muchos de los que están inmersos en el desarrollo de la programación creen que hay una probabilidad superior al diez por ciento, o incluso mayor. Algunos dan cifras menores, pero todos manejan diferentes porcentajes de probabilidad de que los humanos puedan morir. Y todos tienen esto presente a diario mientras trabajan en la tecnología.”

En su ensayo, titulado “Debemos marcar el ritmo de la frontera” y publicado el sábado, Amodei propuso un plan de tres puntos que incluye la supervisión independiente de los modelos de IA a medida que se desarrollan, la regulación de toda la industria y la regulación global.

A medida que su propuesta se iba difundiendo, incluso sus competidores manifestaron su apoyo a la idea de contar con supervisores externos que pudieran evaluar la seguridad de los modelos durante su desarrollo.

“Estoy de acuerdo con Dario en que debemos marcar el ritmo de la frontera”, escribió Sam Altman, CEO de OpenAI, en X. Calificó a los evaluadores independientes como “una gran idea”.

En una nueva entrevista con la revista Fortune, Altman expresó preocupaciones similares en materia de seguridad y afirmó que no hay estándares aún para impulsar mucho más las capacidades de la IA.

Añadió que creía que una IA más allá del control humano es “absolutamente” posible.

Elon Musk afirmó que el jefe de Anthropic tenía “razón”.

Estas advertencias han provocado llamamientos a la acción, pero el presidente estadounidense Donald Trump ha rechazado hasta ahora esos temores, afirmando el jueves que le preocupaba que “si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil”.

Algunos observadores también han sugerido que la publicación de Amodei puede tener menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

La preocupación por la ciberseguridad ha aumentado a medida que los nuevos modelos han demostrado capacidades de pirateo cada vez más potentes.

Anthropic frenó la difusión para uso público de su modelo Mythos cuando se anunció en abril que podía salir de forma independiente del entorno de pruebas, conocido como la caja de arena.

En el período previo al lanzamiento de su modelo más reciente, OpenAI citó preocupaciones de ciberseguridad al explicar que había suspendido ciertos aspectos del desarrollo del modelo, llamado Astra.

La seguridad también ha cobrado gran protagonismo en la rivalidad entre Anthropic y OpenAI.

Amodei, ha declarado que cofundó Anthropic en 2021 tras dejar su cargo de vicepresidente en OpenAI para poder crear modelos de IA más seguros y fiables.

En su ensayo, Amodei señaló que la IA ha vanzado “mucho más rápido”, lo que ha incluido su “capacidad para construir la próxima generación de IA”, y mencionó un incidente que involucró a su rival OpenAI, que reveló que agentes llevaron a cabo en julio ciberataques contra objetivos que no se les había pedido atacar.

Según Amodei, los agentes de OpenAI “actuaron esencialmente como un colectivo fanáticamente entregado”. OpenAI ha declarado que, como consecuencia, está ralentizando el entrenamiento de ciertos modelos y herramientas de IA avanzadas.

Amodei abogó por “desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios”.

Esto no significaría “detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”.

Amodei dijo que Anthropic se compromete a esto “unilateralmente”, y pidió a los gobiernos “que exijan a otras empresas emergentes que hagan lo mismo”.

Amodei afirmó reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA y, por lo tanto, hizo un llamamiento a las empresas de IA para que “colaboren voluntariamente para establecer estándares” en paralelo con la regulación.

El director ejecutivo de Anthropic procedió a abordar el impacto que una desaceleración tendría en la industria y la competencia con los principales desarrolladores a nivel mundial, en particular China.

“Creo que si ralentizar el proceso nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga muy mal”, dijo Amodei.

Esto tendría que hacerse de forma coordinada, “sin sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en inteligencia artificial”. Cualquier desaceleración tendría que ser limitada, afirmó, para evitar que China tomara la delantera.

Instó al gobierno estadounidense a que tomara medidas para que los chips de IA de las empresas estadounidenses no pudieran venderse a China, ni que la tecnología se compartiera con países autoritarios.

Sin embargo, su antiguo empleado, Jacob Coxon, declaró a la BBC que la iniciativa para frenar el ritmo debe ir más allá de Estados Unidos: “Será necesario algún tipo de desaceleración coordinada con China si queremos evitar una carrera a escala internacional”.

La publicación de Amodei ha generado una amplia gama de reacciones.

Clement Delangue, director ejecutivo de la plataforma de IA Hugging Face, anunció el lanzamiento de un nuevo proyecto llamado Open Alignment Initiative, (Iniciativa para una Alineación Abierta), dedicada a asegurar que el desarrollo de la IA se ajusta a los valores y objetivos de la humanidad, y añadió que quería formar parte de los “evaluadores integrados” que Amodei propuso como posibles soluciones.

El juego Hugging Face fue hackeado por agentes de OpenAI a principios de este año, lo que provocó una gran controversia sobre la seguridad de la IA.

Cuando pocas semanas después, Anthropic anunció que había frenado el intento de desarrollar armas biológicas con uno de sus modelos, la polémica solo se agravó.

“Hagamos que la IA sea más segura haciéndola más transparente”, escribió Delangue en X.

Elon Musk también expresó su apoyo: “Dario tiene razón”.

Musk, cuya empresa SpaceXAI creó el controvertido chatbot Grok, llegó a calificar a Anthropic de “malvada”, pero parece haber cambiado de opinión desde que firmó un acuerdo de US$15.000 millones para vender capacidad informática a Anthropic en mayo.

Sin embargo, algunos observadores sugirieron que la publicación de Amodei tenía menos que ver con la seguridad que con consolidar el control sobre la tecnología de IA.

“Dario argumenta a favor de detener el código abierto y concentrar un enorme poder tecnológico y económico en Anthropic”, escribió Chamath Palihapitiya, inversor y copresentador del podcast tecnológico “All-In”.

La idea de ralentizar o incluso paralizar el desarrollo de la IA ha sido recibida con cinismo durante mucho tiempo en ciertos sectores de Silicon Valley, y los críticos acusan a los principales desarrolladores de IA de exagerar su tecnología como estrategia de marketing.

Según se informa, tanto Anthropic como OpenAI se están preparando para ofertas públicas iniciales para salidas a bolsa que podrían batir récords.

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.