¿Qué podría salir realmente mal con la singularidad?

A mi modo de ver, hay tres escenarios del “peor caso” que son plausibles.

Lo siguiente podría ocurrir, ya sea de forma maliciosa o accidental:

1: La nanotecnología autorreplicante podría liberarse en la naturaleza antes de que la nanotecnología destinada a protegerse contra ella sea.

2: Se podría crear una IA fuerte, con suficientes enlaces en red para influir en el mundo físico, y resulta hostil para la humanidad.

3: Las fuerzas políticas reaccionarias podrían ralentizar el desarrollo de la Singularidad en naciones con una fuerte supervisión, llevando ese progreso a la clandestinidad o al reino de los regímenes totalitarios que lo utilizan para obtener el dominio mundial.

Por supuesto, más especulativamente, nos metemos en cosas como “los extraterrestres que nos observan deciden cauterizar la Tierra antes de que nos pongamos demasiado avanzados”, y “el simulador en el que todos estamos de agentes se apaga porque el simulador del jugador recibe el mensaje ‘juego terminado – usted ganó’ “🙂

Al escuchar a Robin Hanson, es probable que exista una alta tasa de desempleo junto con una prosperidad increíble, pero que se convierta en la principal fuente de actividad económica en la tierra y el capital.

Subes tu cerebro a la computadora. Lo encuentras * eres * tú. Tiene todos tus recuerdos, habilidades, creatividad. Se siente como tu lo haces. Incluso tiene tu contraseña de Facebook y pasa el rato con tus amigos.

Y sin embargo … y sin embargo … tu * perspectiva *. Tu “vista desde algún lugar”. La unidad que te hace, tú, todavía está atrapada en tu cuerpo existente, ahora redundante, aún mortal y que pronto morirá.

Apuesto a que va a apestar.