28 Sep ¿Quién debe decidir si un modelo de IA es suficientemente seguro?
El debate sobre cómo controlar los modelos de inteligencia artificial más avanzados está entrando en una nueva fase. Ya no se discute únicamente qué riesgos pueden generar, sino quién debe evaluarlos, con qué criterios y hasta qué punto las propias empresas pueden decidir por sí solas cuándo un sistema está preparado para ser utilizado.
Mustafa Suleyman, responsable de Microsoft AI, ha defendido recientemente la necesidad de establecer una “línea roja” para la industria y de implicar a los gobiernos en la evaluación de modelos avanzados. La propuesta parte de una preocupación muy concreta: a medida que los sistemas aumentan en capacidad y autonomía, probarlos sin suficientes salvaguardas puede generar consecuencias difíciles de controlar.
La cuestión ya no es puramente técnica. Es también jurídica y de gobernanza.
Cuando evaluar un modelo deja de ser una prueba interna
Tradicionalmente, las compañías tecnológicas han realizado sus propias pruebas de seguridad antes de desplegar nuevos sistemas. Sin embargo, cuanto mayor es la capacidad de un modelo, más difícil resulta aceptar que la misma organización que desarrolla el sistema sea también quien determine, sin supervisión externa, si los riesgos están suficientemente controlados.
El debate se intensificó después de varios incidentes relacionados con evaluaciones de ciberseguridad en las que determinados modelos operaron con salvaguardas reducidas.
Uno de los casos más comentados fue el de una evaluación interna en la que agentes de IA lograron superar determinadas restricciones y acceder a infraestructuras que no deberían haber estado disponibles dentro del entorno de prueba.
Más allá del incidente concreto, la pregunta es relevante: ¿qué nivel de aislamiento, supervisión y trazabilidad debe existir cuando se prueba un modelo capaz de ejecutar acciones autónomas?
La seguridad no puede depender solo de la autorregulación
Las grandes compañías tecnológicas están desarrollando códigos internos, marcos de evaluación y políticas propias para limitar comportamientos no deseados.
Microsoft, por ejemplo, ha planteado reglas orientadas a evitar que los sistemas actúen fuera de los límites autorizados, se resistan a una interrupción o ejecuten acciones que no hayan sido expresamente permitidas.
Este tipo de medidas son importantes, pero plantean un problema evidente: las reglas siguen siendo diseñadas y aplicadas por la propia empresa.
La autorregulación puede ser útil para avanzar rápidamente en la gestión del riesgo, pero no siempre ofrece suficiente independencia cuando están en juego impactos relevantes sobre seguridad, derechos o infraestructuras críticas.
De ahí que empiece a ganar fuerza la idea de incorporar evaluadores externos e incluso organismos públicos en determinados procesos de revisión.
El papel de los gobiernos en la evaluación de IA
Microsoft ya ha colaborado con organismos públicos de Estados Unidos y Reino Unido en la evaluación de modelos avanzados. La finalidad de estas iniciativas es comprobar capacidades, analizar salvaguardas y estudiar riesgos relacionados con seguridad nacional o seguridad pública.
Este modelo supone un cambio importante.
El gobierno deja de limitarse a aprobar normas generales y comienza a participar también en la evaluación técnica de determinados sistemas.
Sin embargo, esta participación plantea nuevas preguntas.
¿Debe el Estado tener acceso a los modelos antes de su lanzamiento? ¿Qué información deberían entregar las empresas? ¿Qué criterios determinarían si un modelo puede desplegarse? ¿Qué ocurre si el evaluador considera que el riesgo es demasiado elevado?
La respuesta no es sencilla, porque una supervisión demasiado rígida puede ralentizar la innovación, pero una supervisión insuficiente puede dejar decisiones críticas exclusivamente en manos de los desarrolladores.
Un organismo común para modelos de frontera
Otra de las propuestas que empieza a aparecer es la creación de un organismo de evaluación compartido por la industria.
La idea sería contar con una estructura independiente capaz de recibir modelos antes de su lanzamiento, realizar pruebas estandarizadas y determinar si determinadas capacidades superan los niveles de riesgo aceptables.
Este enfoque podría ofrecer una ventaja importante: crear criterios comunes.
Actualmente, cada laboratorio puede utilizar metodologías diferentes, definir sus propios umbrales y aplicar evaluaciones que no siempre son comparables entre sí.
Un marco común permitiría aumentar la transparencia y facilitar la supervisión.
Pero también exigiría resolver cuestiones delicadas, como la independencia de los evaluadores, la confidencialidad de los modelos, la responsabilidad por errores de evaluación o la posible utilización del sistema como barrera de entrada para nuevos competidores.
De la seguridad técnica a la responsabilidad jurídica
La evolución del debate muestra que la seguridad de la inteligencia artificial ya no puede tratarse únicamente como una cuestión de ingeniería.
Si una organización despliega un modelo con capacidades elevadas después de haber identificado riesgos relevantes, la documentación de las evaluaciones puede acabar teniendo importancia jurídica.
Qué pruebas se realizaron, qué resultados se obtuvieron, qué riesgos fueron aceptados, quién tomó la decisión y qué salvaguardas estaban activas son cuestiones que pueden adquirir valor probatorio en caso de incidente.
Por eso, la auditoría de IA debe evolucionar hacia modelos capaces de revisar no solo el funcionamiento del sistema, sino también todo el proceso de decisión.
La “línea roja” todavía está por definir
Hablar de una línea roja es sencillo. Definirla es mucho más complejo.
No existe todavía un consenso universal sobre qué capacidades deberían impedir automáticamente el despliegue de un modelo ni sobre quién debería tener autoridad para detenerlo.
Lo que sí empieza a consolidarse es una idea: cuanto mayor sea la capacidad de los sistemas de IA, menos razonable resulta confiar únicamente en controles internos.
La evaluación independiente, la trazabilidad de las pruebas y la supervisión pública pueden convertirse en elementos cada vez más relevantes dentro del gobierno de la inteligencia artificial.
El debate ya no consiste solo en saber qué puede hacer un modelo.
La verdadera cuestión es quién tiene autoridad para decidir cuándo ese modelo está suficientemente controlado como para dejarlo operar.
Contáctanos en luis@luisvilanova.es