Si la carrera para mejorar dramáticamente la inteligencia más allá de los niveles humanos actuales es ganada por la inteligencia de la máquina, en lugar de por los genetistas y neurocientíficos que tratan de entender el funcionamiento del cerebro, ¿es inevitable que los humanos eventualmente vivan en la servidumbre de robots más inteligentes y poderosos?

Es posible , pero no el único resultado.

Otro posible resultado es que la inteligencia de la máquina se fusionará con la inteligencia humana, creando una inteligencia híbrida. Esto ya está ocurriendo en algunas formas, expresadas generalmente como conjuntos de herramientas bien integradas que aprovechan enormes cantidades de potencia de cómputo y una interfaz humana bien diseñada, e incluso sitios web de participación múltiple (es decir, usted es parte de uno de esos híbridos en este momento, zomg ). La inteligencia de la máquina posiblemente siga siendo “estilo de la máquina” (es decir, computacional, concreta, literal, fuerza bruta, cuantitativa) durante bastante tiempo, mientras que la inteligencia del estilo humano proporcionará capacidades de reconocimiento de patrones holísticos más suaves, y entidades fusionadas fusionados en el estilo de los sitios web modernos o estrechamente fusionados una vez que las interfaces biotecnológicas avancen lo suficiente, continuarán superando a ambos. Ese modelo híbrido con un rendimiento superior podría muy bien mantener su liderazgo sobre el avance de la tecnología de inteligencia de la máquina (así como los humanos normales) y convertirse en el paradigma dominante incluso después de que las inteligencias de la máquina superen las capacidades humanas sin ayuda en todas las dimensiones.

Sin embargo, una cosa es muy probable: es probable que los humanos sin ayuda se conviertan progresivamente cada vez más en una clase baja para quien esté dirigiendo el espectáculo. Ya está sucediendo.

Las personas ya viven en la servidumbre de “robots” más inteligentes y más poderosos: estados, corporaciones, religiones, etc. Estos “robots” no están hechos de metal ni de electrónica y no son conscientes de sí mismos, pero actúan como agentes muy inteligentes enfocados en sus propias agendas.
Y la gente suele aceptar su gobierno a ciegas. Esto se debe principalmente a que estos “robots” saben cómo entrenar a sus sirvientes para que sean obedientes e incluso a que se sientan orgullosos de su obediencia (por supuesto que no lo hacen por sí mismos; usan a los viejos sirvientes para hacer esto). Las personas debidamente capacitadas se sienten muy afortunadas de poder servir. A menudo se asocian con “algo mayor”, a pesar de que este “algo mayor” no tiene ningún sentimiento y se lo quitará todo con entusiasmo y no le devolverá nada. Incluso si alguien sacrifica su vida “por el país”, “por la fe”, otras personas no ven esto como algo horrible; por el contrario, generalmente están convencidos de que esto es algo hermoso y respetable.

Entonces, la conclusión lógica es esta: si las superinteligencias nos esclavizan, lo más probable es que encuentren la manera de hacerlo de tal manera que nos sintamos felices y orgullosos de servirles. Probablemente estemos mirando a la población vieja, “no esclavizada” con lástima, pensando que fueron tan desafortunados que no han experimentado la gran alegría de ser parte del super-algo.

Depende. Quiero decir, realmente, realmente , depende.

Una IA sobrehumana sería diferente de nosotros. Muy diferente. Hasta el punto en que la diferencia entre tú y el idiota de la aldea e Isaac Newton, o entre Hitler y Gandhi, o Sócrates y tu hijo de 3 años, sería la alimentación de pollos. Y dos IA sobrehumanas podrían ser igual de diferentes entre sí.

¿Qué podemos decir acerca de cómo actuaría una IA sobrehumana, entonces? No mucho. Excepto que probablemente pueda lograr cualquier cosa que desee con la suficiente fuerza, y no podríamos frustrarlo más de lo que una cucaracha nos puede impedir. Cualquier sistema de seguridad que construyamos para tratar de hacer un dobladillo, tendrá alguna laguna y encontrará esa laguna si así lo desea. Entonces, cuando lo estemos construyendo, deberíamos ser extremadamente cuidadosos de que lo que quiera es algo amigable para nosotros.