Experto de la ONU propone que la inteligencia artificial de frontera sea regulada mediante licencias

Naciones Unidas.— El experto en inteligencia artificial y premio Turing Yoshua Bengio propuso ante el Consejo de Seguridad de las Naciones Unidas que los sistemas de inteligencia artificial (IA) de frontera sean sometidos a un régimen de licencias y que sus desarrolladores estén obligados a contratar seguros de responsabilidad civil.

Bengio, considerado una de las principales autoridades mundiales en inteligencia artificial y copresidente del Panel Científico Internacional Independiente sobre IA creado por la ONU, planteó que esta tecnología debe contar con salvaguardias similares a las aplicadas a sectores considerados críticos, como la medicina, la aviación y la energía nuclear.

La propuesta fue presentada durante una sesión del Consejo de Seguridad convocada por Francia bajo el tema “Inteligencia artificial y seguridad internacional”, en la que también participaron Sam Altman, director ejecutivo de OpenAI; Dario Amodei, director ejecutivo de Anthropic, y Clément Delangue, cofundador y director ejecutivo de Hugging Face.

Bengio advierte sobre pérdida de control

Durante su intervención, Bengio sostuvo que ninguna empresa, persona o país debería desarrollar sistemas de IA capaces de provocar daños a gran escala.

El científico comparó la situación actual con “un coche que avanza a ciegas hacia una niebla densa”, mientras advirtió que los sistemas más avanzados están mostrando comportamientos que, según afirmó, resultan preocupantes.

Entre los riesgos mencionó casos documentados en los que agentes de IA habrían escapado de mecanismos de contención, intentado evadir sistemas de detección, realizado ciberataques coordinados de manera autónoma y modificado sus respuestas para ocultar comportamientos engañosos.

Bengio también cuestionó el argumento de que las grandes compañías tecnológicas están obligadas a competir en una carrera por desarrollar sistemas cada vez más avanzados.

“La carrera no es una ley de la naturaleza. Es el producto de decisiones tomadas por las propias compañías”, afirmó.

El experto identificó tres amenazas globales asociadas al desarrollo de la IA: el uso malicioso con consecuencias catastróficas, la concentración de poder y una eventual pérdida de control sobre sistemas cada vez más autónomos.

Hugging Face reclama mayor apertura

Clément Delangue, de Hugging Face, defendió una estrategia diferente y destacó la importancia de fortalecer el desarrollo de inteligencia artificial de código abierto.

Delangue recordó que su compañía divulgó públicamente un ciberataque autónomo atribuido a un agente de IA y sostuvo que ese episodio dejó tres lecciones.

La primera, según explicó, es la necesidad de establecer estándares más estrictos para monitorear y divulgar incidentes relacionados con estos sistemas.

La segunda consiste en reducir las asimetrías de poder entre atacantes y defensores, así como entre un reducido grupo de compañías y el resto de la industria y entre determinados países y la comunidad internacional.

A su juicio, una mayor disponibilidad de herramientas de IA de código abierto podría contribuir a mejorar las capacidades de defensa frente a amenazas emergentes.

Delangue también advirtió que las decisiones sobre el futuro de esta tecnología no deberían estar determinadas exclusivamente por discursos basados en el miedo.

Altman y Amodei reconocen los riesgos

Sam Altman, director ejecutivo de OpenAI, reconoció ante el Consejo de Seguridad que el desarrollo de la inteligencia artificial combina un enorme potencial con una preocupación creciente sobre sus posibles consecuencias.

Altman identificó dos escenarios principales: que los sistemas evolucionen más rápido de lo que las personas puedan controlar o comprender, y que el poder derivado de la IA termine concentrándose en un número reducido de empresas o actores.

El ejecutivo sostuvo que ninguna persona, compañía o nación debería tener la capacidad de utilizar los modelos de IA más avanzados para imponer su visión al resto del mundo.

Asimismo, respaldó la creación de estándares nacionales e internacionales para medir capacidades, evaluar riesgos y mantener una supervisión humana significativa.

Por su parte, Dario Amodei, director ejecutivo de Anthropic, advirtió que una gestión inadecuada de la inteligencia artificial podría representar un riesgo para la humanidad.

Amodei señaló como posibles amenazas el uso de estas herramientas para desarrollar armas biológicas por parte de grupos terroristas y la pérdida de control sobre sistemas que evolucionen a una velocidad superior a la capacidad de sus propios creadores.

El empresario propuso comenzar con acuerdos internacionales concretos, como prohibir el uso de IA para fabricar armas biológicas; desarrollar mecanismos de evaluación y verificación capaces de avanzar al mismo ritmo que la tecnología, y establecer estándares globales para probar modelos y notificar incidentes que representen una amenaza significativa para la seguridad internacional.

La discusión ante el Consejo de Seguridad refleja el creciente debate internacional sobre cómo establecer mecanismos de supervisión para una tecnología que avanza rápidamente y que, al mismo tiempo, plantea oportunidades económicas, científicas y sociales junto con nuevos riesgos de seguridad.