El CEO de Anthropic pide “bajar el ritmo” del desarrollo de la IA: Sam Altman y Elon Musk le muestran su apoyo

El consejero delegado de Anthropic, Dario Amodei, ha abogado por “bajar el ritmo” del desarrollo de la inteligencia artificial y ha advertido de que se corre el riesgo de “perder el control” de esta tecnología y provocar “ataques informáticos” o “bioterrorismo” si no se toman medidas concretas para evitar que la industria se convierta en una “carrera hacia el abismo”. Horas después, el director ejecutivo de OpenAI, Sam Altman, se ha sumado a la iniciativa al respaldar el llamamiento de Amodei y, poco después, Elon Musk, propietario de Tesla, SpaceX y Grok, ha señalado que Amodei “tiene razón”.

“Debemos bajar el ritmo al que mejoramos las capacidades de los modelos de IA. Los avances seguirían siendo rápidos y aprovecharíamos sabiamente el tiempo que ganaríamos”, ha afirmado Amodei en un texto publicado este sábado en su blog personal.

Por su parte, Altman ha afirmado en su perfil de X que “coincide” con su homólogo en Anthropic: “Debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas“. Además, Elon Musk también ha apoyado a Amodei, aunque sin señalar que fuese a llevar a cabo ninguna medida concreta.

El CEO de la empresa responsable de Claude ha citado dos motivos para su petición. El primero es la “automejora recursiva” de la IA, es decir, su capacidad para desarrollarse a sí misma que ha propiciado “avances drásticos” durante el verano, y que si no se controla “podría superar nuestra capacidad de comprender y controlar estos sistemas”. El segundo es el denominado “incidente de Hugging Face de OpenAI“, en el que un grupo de IA realizó ataques informáticos en equipo sin que hubiera una petición inicial al respecto.

Los riesgos que preocupan al CEO de Anthropic

Amodei ha explicado en el texto que ha publicado en su blog que, como otras tecnologías, la IA conlleva “riesgos”, entre los que se incluye “perder el control de los sistemas de inteligencia artificial”, así como el “uso indebido” de la misma, abarcando aquí “ciberataques”, “bioterrorismo” y “graves disrupciones económicas“.

En este aspecto, el CEO ha remarcado especialmente el fenómeno de Hugging Face, puesto que, durante el transcurso del mismo, un “enjambre de agentes actuó esencialmente como un colectivo fanáticamente devoto“, sacrificándose con la única finalidad del “éxito del grupo” e incluso “intentando hackear al sistema responsable de evaluar su rendimiento”.

TE PUEDE INTERESAR

Los matemáticos se organizan contra OpenAI: “El afán de las empresas de IA por resolver problemas resulta perjudicial para la ciencia matemática”

POR
Patricia Ruiz Guevara

Así, el consejero delegado ha explicado que, de seguir apostando por un desarrollo sin frenos, la industria estará abocada a una carrera “hacia el abismo”, impulsada únicamente por los “incentivos comerciales”, algo que, a sus ojos, puede agravar todavía más estos riesgos.

Por ello, Amodei propone medidas de seguridad y normativa sin dejar de tener “éxito comercial“. “Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, ha detallado.

En concreto, plantea medidas tales como una “evaluación incorporada” por parte de actores independientes, “coordinación democrática” con las instituciones públicas y “coordinación global” que aúne los esfuerzos de los países democráticos y los autoritarios a nivel mundial.

TE PUEDE INTERESAR

Sam Altman, CEO de OpenAI: “La tecnología aún no es lo suficientemente buena como para que puedas teletrabajar para siempre”

POR
R. Badillo

“Las medidas que propongo para empujar hacia adelante la frontera a un ritmo seguro no serán fáciles, pero creo que le debemos a la humanidad intentarlo“, ha recalcado. Por su parte, el CEO se ha comprometido a proporcionar a evaluadores externos acceso a sus sistemas para que “puedan verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante el entrenamiento“.

Altman ha detallado que estas propuestas son ideas “excelentes” y que también las aplicarán: “Nosotros haremos lo mismo. Pronto tendremos más información que compartir”.

El consejero delegado de Anthropic, Dario Amodei, ha abogado por “bajar el ritmo” del desarrollo de la inteligencia artificial y ha advertido de que se corre el riesgo de “perder el control” de esta tecnología y provocar “ataques informáticos” o “bioterrorismo” si no se toman medidas concretas para evitar que la industria se convierta en una “carrera hacia el abismo”. Horas después, el director ejecutivo de OpenAI, Sam Altman, se ha sumado a la iniciativa al respaldar el llamamiento de Amodei y, poco después, Elon Musk, propietario de Tesla, SpaceX y Grok, ha señalado que Amodei “tiene razón”.