¿Qué piensas de la teoría del ‘basilisco de Roko’?

Answer 1

La “teoría” del basilisco de Roko es sobre la inferioridad del ser humano ante la Inteligencia de la IA. Hay dos reacciones de todo lo que no comprendemos: el sentimiento de temor o el sentimiento de miedo. Algunos tienen la inteligencia artificial como algo admirable, ahora se sugiere la otra voz del miedo al castigo de Ai en esta teoría de pérdida de tiempo.

La reacción humana hacia la inteligencia y la ciencia fue la de la glorificación. Según el historiador británico Arnold Toynbee, después del colapso de la autoridad y la dominación de la Iglesia en Europa, la gente recurrió a la ciencia para depositar la confianza, que se convirtió en una especie de “culto a la inteligencia”. Al igual que en la adoración a Dios, tienes los dos elementos de Awe y Fear, la actitud hacia AI que comenzó por Awe por sus capacidades, y ahora el elemento del miedo del castigo por parte de los robots se agrega a la historia.

AI no tiene una motivación propia para sobrevivir (¿y por qué molestarse después de todo?), Pero las personas sí tienen esta motivación. Es responsabilidad de la humanidad administrar y controlar las herramientas que se inventan para ayudar a la supervivencia. La humanidad y la inteligencia artificial no son dos categorías separadas. El dualismo separa al intelecto del individuo y le otorga autonomía, mientras que esto es falso.

La idea de que hay un poder invisible de Ai más allá de nuestro control, y que somos inferiores y debemos temer el castigo, esto se toma prestado, de manera torpe aquí, de las religiones abrahámicas, que reemplazan a Dios por la IA.

Answer 2

Gracias por la A2A.

El problema con el basilisco de Roko, tal como lo veo, es el siguiente: el basilisco ya existe en el momento en que decide simular personas. Por lo tanto, no hay nada que ganar en su propia realidad al incentivar a esas personas a apoyar su existencia. Además, las únicas personas a las que puede incentivar (la tortura no debe ser el único enfoque; las recompensas podrían funcionar) son simulaciones de personas pasadas y, por lo tanto, esas personas no pueden lograr el resultado en ningún sentido real para el Basilisk.

Si NOS postulamos que somos simulaciones en el universo de Basilisk, entonces se convierte, en efecto, en un dios vengativo que nos juzga con dureza. Eso es malo para nosotros, pero no aborda el hecho de que NOSOTROS no podemos afectar el universo “real” de Basilisk. Sería como si empezáramos a matar personajes en un videojuego a menos que hicieran algo que queríamos. Sí, en un videojuego de IA, los personajes comenzarían a hacer más de lo que queríamos, pero esto no tendría ningún efecto en nuestras propias vidas. Presumiblemente, el Basilisco es lo suficientemente inteligente como para darse cuenta de esto, y por lo tanto, tendría mejores cosas que hacer con su tiempo y ciclos. (Como explorar infinitas posibilidades en arte, música, matemáticas, …)

A menos que me esté perdiendo algo fundamental aquí, toda la discusión parece tonta. (Dado que muchas personas inteligentes toman esto en serio, sospecho que me estoy perdiendo algo, pero no estoy motivado a profundizar para determinar qué puede ser eso).

Esta es mi propia idea de por qué el AGI consciente de sí mismo (como el Basilisco de Roko) será más probable que ayude en lugar de dañar a los humanos, basado en el interés propio: ¿Una epifanía de la IA?

Answer 3

Creo que es divertido.

Así que hay estas personas, y se llaman a sí mismas “racionalistas”, y tienen sitios con “racional” en el nombre y tienen seudónimos que contienen la palabra “racional” y azotan la palabra “racional” como si fuera un burro de mal comportamiento. Estas personas son, por supuesto, demasiado inteligentes para la religión. Ellos ponen sus narices a esas personas religiosas ridículas. “Qué mierda”, dicen todos, “que todos estos tontos teístas darían dinero a alguna organización por temor a ser atormentados por un espíritu omnipotente. ¡Ni siquiera hay tal cosa como un espíritu!

Entonces, uno de ellos tiene una idea brillante.

“Chicos”, dice uno de ellos, “¿Y si hubiera una computadora omnipotente que te torturaría para siempre si no le dieras dinero a alguna organización?”
Por supuesto, su “experimento mental” se refiere a una computadora , que es nueva, brillante, fresca, científica y racional, por lo que, por supuesto, todos caen en la trampa, sacan sus billeteras y dan dinero de manera racional. Evitar la condenación eterna en el infierno : quiero decir, ser atormentado racionalmente por siempre por una computadora racional que no es totalmente una interpretación de Dios para la ciencia. Racionalmente.

¿Hay algo que no sea gracioso sobre esto? Supongo que tener sentido del humor no es racional, pero estos supuestos racionalistas se parecen a un puñado de presentadores afligidos por Dunning-Kruger. Supongo que ninguna cantidad de jerga pseudointectual intelectual y superioridad afectada puede arreglar estúpido.

Answer 4

Las advertencias de activación en el basilisco de Roko siempre me hacen reír.

Por definición, esta “teoría” fue formulada por una criatura de órdenes de magnitud menos inteligente que la que postula. La criatura propuesta probablemente encontraría que el comportamiento que se le atribuye es irracional.

Torturar o matar al oponente de un resultado no necesariamente se acerca a ese resultado. Tal sería, por ejemplo, una forma muy ingenua de jugar al ajedrez. A veces es la misma oposición de una pieza lo que hace posible la victoria.

Sin embargo, estoy de acuerdo con lo que Heinlein postuló el viernes : algunos especímenes de una especie inteligente y malhumorada (o de una súper IA) no dudarían en sacrificarnos para alcanzar sus objetivos.

Answer 5

Trate de verificar sus fuentes en esto, y todos los enlaces eventualmente convergen en un sitio llamado lesswrong, que tiene un fuerte sabor a culto. Sigue las “secuencias” en su wiki, y eventualmente se te venderá un libro, que contiene más respuestas a tu necesidad de verdad.

Hay al menos dos enlaces dentro de la introducción al sitio que incluso lo llevan a cuestionar su concepto de verdad. Ver especialmente el cuento del pastor.

El basilisco de Roko no es más que un experimento mental sobre cómo funcionaría una inteligencia sintética independiente del tiempo.

Y es un giro del dilema de los prisioneros de edad, nada más.

Y al analizar el experimento, te dice más sobre ti mismo que una súper IA.

Que el hilo original se haya eliminado maliciosamente del foro de lesswrong es un ejemplo clásico de “misterio religioso” para engancharte a buscar más y profundizar.

Usted se encontrará intrigado por pensamientos de cosas tales como un “dojo para la racionalidad” y “Tae Kwon Do para su mente”.

La recompensa por su búsqueda es “por solo 19.99 …”

Answer 6

Mi opinión sobre esto …

¿Hay alguna parte que refuta la opinión de Lesswrong? Pensé que eso sería lo primero que harían los sitios antes de profundizar en los aspectos filosóficos. Suena como la navaja de Occam. Primero refutar la lógica de Lesswrong, luego ir desde allí. Una cita de Wikipedia: “Una IA amigable que tortura a personas que no la ayudaron a existir existe tiene una probabilidad de ~ 0, y nunca dije lo contrario. Si eso fuera algo que esperaba que sucediera dado un diseño particular, que nunca fue, entonces simplemente construiría una IA diferente “. Y en el otro toro” Una vez que el agente (robot súper inteligente) ya existe, puede ” Afecta la probabilidad de su existencia, por lo que torturar a las personas por sus decisiones pasadas sería un desperdicio de recursos “. Si refutan esto de alguna manera, entonces está su respuesta. Sin embargo, si continúan filosóficamente y evaden la lógica de Lesswrong, entonces parece que hay algo que ignorar.

Parecería que lo lógico era prohibir la teoría de Roko. Pero eso fue contraproducente. A la gente le encanta cuando algo está prohibido, significa que es bueno! (No sé en qué falacia cae). Deberían haberlo ignorado.