El próximo apagón no empezará en una central eléctrica, sino en un algoritmo. Puede que empiece con una predicción errónea de la demanda, un modelo mal entrenado, una alerta descartada por un sistema automático o una cadena de decisiones invisibles que nadie alcance a detener a tiempo.
El problema no es que dependamos de la inteligencia artificial porque sea demasiado inteligente y nosotros cada vez más torpes. El problema es que dependamos de ella porque esté metida en demasiados sitios a la vez, provocando una cadena de sistemas de IA que se hablen unos con otros sin control humano. Esto ya empieza a ocurrir en la red eléctrica, desde luego, pero también en los sistemas de predicción de consumo, la gestión del tráfico, la priorización de incidencias, el mantenimiento predictivo, el suministro de agua, la logística, los hospitales, la atención ciudadana y la ciberdefensa. La propia Unión Europea considera de alto riesgo determinados sistemas de IA utilizados como componentes de seguridad en infraestructuras críticas, incluidos ámbitos como el tráfico por carretera y el suministro de agua, gas, calefacción y electricidad.
Siendo rigurosos, y contradiciendo a algunos "gurús" de los negocios que se hacen pasar por técnicos en la materia, sin más cualificación que un buen puñado de acciones y un cargo en una empresa tecnológica del momento, el riesgo no es que una IA se rebele. Esa fantasía pertenece más al cine que a la realidad. El riesgo real es más prosaico y, por eso mismo, más inquietante: que miles de sistemas automáticos tomen decisiones equivocadas en cadena y que nadie sepa dónde cortar. Una mala predicción, datos contaminados o un modelo opaco pueden propagarse entre servicios conectados como una avería silenciosa. Cuando un sistema clásico falla, al menos se puede seguir el rastro. Cuando falla una capa algorítmica compleja, a veces ni siquiera se sabe por qué decidió lo que decidió.
Sí, hay reglas en marcha, pero se enfocan en los sistemas, no en cadenas de sistemas de IA interconectados. El Reglamento Europeo de Inteligencia Artificial exige a los sistemas de alto riesgo requisitos de gestión de riesgos, calidad de los datos, documentación, trazabilidad, supervisión humana, precisión, robustez y ciberseguridad. Pero una cosa es tener un reglamento y otra muy distinta tener control real sobre lo que ya se está desplegando.
La verdadera amenaza no es una IA todopoderosa; es una IA mediocre instalada en lugares donde no debería fallar jamás. Sistemas que funcionan lo bastante bien como para que se les confíe una tarea, pero no lo bastante bien como para que se les entregue una infraestructura crítica. Modelos útiles, sí; infalibles, no. Y, sin embargo, se avanza como si la auditoría, la trazabilidad y la desconexión manual fueran detalles administrativos.
El próximo apagón no llegará porque la máquina nos odie. Llegará porque hemos empezado a delegar demasiado en sistemas que no comprendemos del todo, no auditamos lo suficiente y quizá no sepamos desconectar a tiempo. ¡Vaya cuestión que se abre aquí! ¿Quién estará autorizado, preparado y dispuesto a detener la IA cuando falle? Quizás la famosa frase de "si quieren ayuda, que la pidan" nos lleve al exterminio total esta vez.