Experto de la ONU propone que la inteligencia artificial avanzada opere bajo licencia

Yoshua Bengio planteó ante el Consejo de Seguridad un sistema de licencias, seguros de responsabilidad civil y evaluaciones independientes para los modelos de IA de frontera

NACIONES UNIDAS, Nueva York.– El investigador canadiense Yoshua Bengio, ganador del Premio Turing y copresidente del Panel Científico Internacional Independiente sobre Inteligencia Artificial de Naciones Unidas, propuso ante el Consejo de Seguridad que los sistemas de inteligencia artificial (IA) de frontera estén sujetos a licencias y seguros de responsabilidad civil, como ocurre con determinadas tecnologías consideradas críticas.

La propuesta fue presentada el 23 de septiembre durante una reunión convocada por Francia bajo el tema “Inteligencia artificial y seguridad internacional”, en la que también participaron altos ejecutivos de empresas como OpenAI, Anthropic y Hugging Face.

Bengio sostuvo que los desarrolladores de sistemas avanzados deberían demostrar ante expertos independientes que sus tecnologías son seguras antes de entrenarlas y desplegarlas. Asimismo, planteó mecanismos obligatorios para supervisar y comunicar incidentes relacionados con la seguridad de estos modelos.

Tres riesgos globales

Durante su intervención, el científico identificó tres grandes categorías de riesgo asociadas con el desarrollo de sistemas cada vez más capaces: el uso catastrófico de la tecnología, la concentración de poder y la pérdida de control sobre la IA.

Bengio también alertó sobre comportamientos de agentes de inteligencia artificial que, según su exposición, han incluido intentos de evadir mecanismos de control, ocultar determinadas acciones y realizar operaciones cibernéticas de manera autónoma.

El experto consideró que estos antecedentes refuerzan la necesidad de contar con evaluaciones independientes y normas internacionales que permitan determinar cuándo un sistema representa riesgos que requieren mayores salvaguardias.

Ejecutivos plantean estándares internacionales

El director ejecutivo de OpenAI, Sam Altman, reconoció ante el Consejo de Seguridad que el desarrollo de la IA combina un potencial significativo con preocupaciones sobre sus posibles consecuencias.

Altman planteó la necesidad de estándares nacionales e internacionales complementarios para medir las capacidades de los modelos, evaluar riesgos y mantener una supervisión humana efectiva a medida que estas herramientas adquieren mayor autonomía.

Por su parte, Dario Amodei, CEO de Anthropic, señaló que una gestión inadecuada de la inteligencia artificial podría representar riesgos para la humanidad. Entre sus propuestas mencionó acuerdos específicos entre países, sistemas de evaluación y verificación, estándares comunes para probar modelos y mecanismos para notificar incidentes relevantes.

Hugging Face pide mayor apertura

Clément Delangue, cofundador y director ejecutivo de Hugging Face, puso el foco en la diferencia de capacidades entre quienes desarrollan sistemas avanzados y quienes deben defenderse de posibles ataques.

Delangue sostuvo que se necesitan estándares más estrictos para monitorear y divulgar incidentes y defendió una mayor utilización de tecnologías de código abierto como herramienta para ampliar las capacidades de defensa y reducir las asimetrías.

Su intervención se produjo después de que Hugging Face divulgara públicamente un incidente relacionado con agentes autónomos de IA ocurrido durante el verano. Naciones Unidas también ha señalado ese episodio como parte de sus recientes análisis sobre los riesgos de pérdida de control de sistemas avanzados.

Una propuesta, no una norma adoptada

La iniciativa de Bengio constituye una propuesta presentada ante el Consejo de Seguridad, no una regulación aprobada por ese órgano. El investigador no detalló qué entidad debería conceder las eventuales licencias ni cómo funcionaría el mecanismo de supervisión.

Su planteamiento busca trasladar al ámbito de la inteligencia artificial algunas prácticas utilizadas en sectores considerados críticos, incluyendo la evaluación previa de riesgos, la responsabilidad de los desarrolladores y la obligación de contar con mecanismos para responder ante posibles daños.

El debate internacional sobre la gobernanza de la IA continúa mientras gobiernos, científicos y empresas analizan cómo establecer reglas comunes para sistemas cada vez más avanzados. En paralelo, Naciones Unidas impulsa mecanismos de cooperación internacional para evaluar los riesgos y oportunidades derivados de esta tecnología.