En el mundo real, físico, todo y todos deben obedecer las mismas reglas.
Sin embargo, si es posible para los humanos hackear sistemas de seguridad, vigilancia, militar, economía, atención médica y sistemas médicos como implantes (marcapasos, ..), instalaciones industriales y robots, satélites, redes eléctricas, electrónica de automóviles, etc. También será posible para una IA.
Si los sistemas son lo suficientemente seguros para eliminar el riesgo de intrusión cibernética (como, uh, no tener armas nucleares accesibles desde Internet), una IA tampoco puede entrar, así de simple.
En el momento en que una IA así aparezca y trate de causar estragos, la gente desenchufará todo, tal como ocurre con cualquier virus informático realmente peligroso hoy en día.
Por supuesto, una IA súper hiper inteligente podría prever esa reacción y NO causará estragos para evitarla y perderá todos los medios para hacer cualquier cosa y se limitará a una sola pantalla y un teclado para la eternidad.
Entonces, ¿lecciones aprendidas? 1) Una IA que sea realmente hiperinteligente no causará estragos mientras los humanos todavía puedan desconectar y 2) la seguridad de la información ES IMPORTANTE.
Si podemos alcanzar un nivel suficientemente alto de seguridad de la información antes del aumento de las máquinas, deberíamos estar bastante seguros. Eso incluye el despliegue generalizado de la criptografía cuántica y la criptografía post-cuántica, un acuerdo general sobre la actual controversia entre la vigilancia y la privacidad, una buena solución para la denuncia de irregularidades y cosas como Tor generalmente aceptadas, apreciadas y ampliamente apoyadas.
El último párrafo puede ser un poco confuso en cuanto a por qué estos son importantes. La razón es que la principal arma de una IA es la recopilación y manipulación de datos. Por ejemplo, si la IA lo considera una amenaza hoy, podría incluirlo en una lista de posibles terroristas y arrestarlo cuando intente tomar un vuelo. Sin embargo, en preparación para eso, debe poder supervisar todos sus movimientos y comunicaciones, manipular su cuenta bancaria, manipularlo con identidades falsas o robadas.
En este caso, es posible que necesite elementos como TOR para comunicarse con personas de confianza o tener acceso a sistemas que no están comprometidos por la IA.
Entonces, para resumir: necesitamos ganar la carrera de seguridad antes de que una IA súper hiperinteligente incluso entre en ella.