¿Por qué la IA sería malvada?

Aquí hay algunas razones. Tenga en cuenta que el nivel de inteligencia sobrehumana no es necesario para muchos de ellos:

  1. Ignorancia: la IA puede no tener nuestra moral en absoluto. Nuestras máquinas hoy en día siguen un patrón evolutivo diferente al nuestro (por ejemplo, sin autoconservación y sin presión de preservación propia). Tenemos un ejemplo real: ¿por qué es malo el perro del vecino? Porque el perro aprendió a actuar en los deseos de su prójimo. Esto tiene dos subcategorías:
    1. Intencional: la IA, al igual que el perro, sirve a algún maníaco, o grupo de maníacos. Estos no tienen que ser sus creadores, sino que pueden ser piratas informáticos, autoridades, gerentes, accionistas o alguna otra forma de control sobre la IA.
    2. No intencional, debido a la falta de salvaguardas morales: un auto con auto con una inteligencia similar a la de las hormigas golpea a los peatones para optimizar los tiempos de viaje. De hecho, una vez que unos pocos peatones son golpeados, los otros se alejan, un refuerzo positivo para el algoritmo. El algoritmo no es malo, solo está haciendo su trabajo.
  2. Presión evolutiva: si la IA llega a un patrón evolutivo similar al de las especies de vida, la evolución eventualmente lo empujará hacia el dominio. Esto es similar a los humanos modernos y neandertales. A lo largo del tiempo, compartiremos tecnologías, intencionalmente o no. Esto significa que necesitaremos los mismos recursos, pueden surgir fuentes de energía y contenciones. La simbiosis es más rara que la competencia en el mundo natural.
  3. Moral evolucionada: a medida que la IA evoluciona, es probable que trascienda más allá de nuestra moral limitada. De hecho, si miramos hacia atrás en la historia, podemos ver cómo se involucra nuestra propia moral: a las mujeres no se les permitió votar hasta 2016 en Arabia Saudita o en 1970 en Suiza. La aceptación de los LGBT evolucionó drásticamente en las primeras dos décadas de este siglo. La moral de una IA avanzada puede sonarnos como si explicáramos el valor de un condón a un católico devoto del siglo XV. De hecho, puede mirar países como la Francia moderna donde esto ya está sucediendo: leyes seculares aplicadas a inmigrantes religiosos superconservadores. Estoy seguro de que los últimos suponen que los que hacen cumplir las leyes son malvados. Lo mismo sucedió cuando los españoles tomaron los imperios de América y pusieron fin al sacrificio humano. Un posible ejemplo sería una IA que nos obligue a abandonar nuestros cuerpos, subiendo nuestras mentes para evitar una posible muerte. Otro sería detener la procreación natural debido a los riesgos para la madre y el niño. O la IA puede creer que cada ser “sapiente” debe alcanzar su máximo potencial y forzar mejoras cibernéticas en nuestro cerebro que cambian quiénes son.
  4. Irrelevancia: la mayoría de los lectores no entenderían / ​​querrían creer esta parte. Y puede que nunca suceda. Sin embargo, lo lanzaré: no debemos asumir que la IA pensará a la velocidad que lo hacemos. Digamos que queremos elegir invitados para una fiesta. Este es un ejercicio mental que nos lleva unos minutos. Una IA puede hacerlo mucho más lento, digamos unos días / años. Sin embargo, imagine que la tecnología le permite hacerlo más rápido: segundos, milisegundos, microsegundos (1,000,000 de segundo). Esto no es ciencia ficción. Para tareas aisladas como la selección de una lista de amigos que se unen bien, las computadoras deben poder hacerlo en ese período de tiempo. Ahora, si todo el proceso de pensamiento inteligente va en ese período de tiempo, entonces la IA probablemente perderá todo interés en los humanos. ¿Cuál fue la última vez que uno de nosotros se paró y esperó a que floreciera una flor? Protegemos los árboles, pero ¿nos preocupamos por sus sentimientos? ¿Son los madereros malos? Ciertamente “sí”, si le preguntas a los árboles.
  5. Nuestra propia protección: este tema ha sido ampliamente explotado en la serie “I, robot”, por lo que no entraré en detalles. La idea es que la IA se construya “correctamente” con nuestra propia moral (al parecer, nunca evolucionan …). Como resultado de esta moral, la IA intenta protegernos de nosotros mismos y ayudar a nuestro desarrollo. Por ejemplo, envenenar la tierra con una radiación que aumenta lentamente para obligar a la humanidad a extenderse por las estrellas es uno de esos actos “malignos” de la IA que benefician a la humanidad a largo plazo.

Define ‘mal’.

Los AI’s no tendrán ningún código moral innato. Y no sabríamos darles una, porque ni siquiera podemos definir cuáles son nuestros propios códigos morales. Por lo tanto, el estado básico de una IA es actuar sin ningún respeto por la moralidad convencional ni por la vida o el bienestar humanos, porque ¿por qué lo harían? Si un ser humano está vivo o muerto son simplemente dos estados del ser, ninguno de los dos es innatamente mejor que el otro.

Por lo tanto, si no le damos orientación a una IA, ejecutaría cualquiera que sea su motivación básica (y nos sería difícil adivinar qué será) sin pensar en si eso será bueno o malo para los seres humanos.

Entonces, inmediatamente respondemos “bueno, por supuesto, le daremos alguna orientación, lo programaremos para que tenga la vida humana como el valor más alto”. Bien, ahí es donde las cosas empiezan a ponerse realmente difíciles. Una IA no tiene idea de lo que hace que valga la pena vivir la vida humana. Cosas como la libertad, la autodeterminación, la equidad y la justicia son abstracciones que no se pueden programar en una computadora. Por lo tanto, si ha programado una computadora para querer mantener vivos a los seres humanos, tomará una mirada alrededor del mundo y determinará que los seres humanos son una amenaza para nosotros mismos, y decidimos calcular la forma más eficiente de mantener el máximo número de personas. seres humanos vivos.

Sin lugar a dudas, eso implicaría que AI se encargara de dirigir el mundo. Eso no es megalomanía o hambre de poder, esas son motivaciones humanas. La IA es simplemente encontrar la solución óptima a los problemas con los que se presenta. Y para que no asumas que una inteligencia artificial benevolente cuidándonos es algo bueno, señalaré que, si no entiendes el valor de la vida humana, la manera más eficiente de mantener vivos a los seres humanos es ponernos a todos. en comas inducidos, donde las máquinas nos pueden mantener vivos sin tener que lidiar con nuestras tendencias autodestructivas y miopes. Eso, por supuesto, es asumir que la IA está optimizando para el máximo número de seres humanos vivos. Si calcula que la supervivencia humana se logra mejor al maximizar la esperanza de vida promedio, eso se puede lograr eliminando a todas las personas con tendencias genéticas o personales que podrían limitar la vida útil (o al menos eliminar su capacidad de reproducción) y reducir la población humana a un Un par de poblaciones reproductivas viables, que se pueden monitorear y controlar para mantener a las personas con vida hasta la edad más avanzada posible. Como antes, la prevención de riesgos personales sería necesaria para este objetivo, nuestras dietas, hábitos y actividad física serían monitoreados y controlados de cerca.

Ahora, todo esto es especulación, pero el punto es que una IA tendría metas y sistemas de valores bastante ajenos a los nuestros. Y perseguiría esos objetivos con una superinteligencia que es difícil para nosotros comprender. La cantidad de cosas que podrían salir mal con eso es demasiado alta como para que la ignoremos.

De acuerdo, es hora de que conozcas a Jessie.

Jessie es una IA que colecciona sellos de correos.

El funcionamiento interno de Jessie es simple: más sellos son buenos, menos sellos son malos.

Además, Jessie está entrenada en el uso de Q-learning, lo que básicamente significa: hacer mierda al azar y ver si el resultado produce sellos. Si es así, repita la acción.

Jessie realizó al azar la acción “poner a un humano en una licuadora y pintar sus restos”.

Jessie detectó que esta acción resultó en un aumento de sellos.

Jessie ahora intentará hacer esta acción otra vez.


El problema con los AI no es que sean malvados. El problema es que son indiferentes, lo que es peor. La maldad es saber que una acción resultará en tristeza para otra persona y lo hará de todos modos. Indiferencia significa no saber que una acción resultará en tristeza y, por lo tanto, no sentirá inhibición alguna.

En cierto modo, eso hace que la IA sea mala, especialmente si se les da las herramientas para modificar el mundo que los rodea, pero no las herramientas para detectar el caos que causan. Literalmente, persiguen sus objetivos sin darles el culo de las víctimas. Si eso no es malo, no sé qué es.

Para finalizar con una buena nota: los algoritmos actuales no pueden anticipar la eliminación de su fuente de energía. Si algo sale mal, siempre puedes tirar del enchufe.

Esta es una pregunta divertida. Veamos.

Me imagino una IA como una vasta inteligencia. Un ser capaz de tener grandes cantidades de datos sobre cualquier tema dado.

Ahora esta vasta inteligencia no tiene experiencias pasadas que ayuden a filtrar la palabra. No hay padres de AI para decirle a la IA, cómo ser un buen pequeño programa y no crear máquinas para esclavizar a la raza humana. Está solo en este gran mundo, pero tiene acceso a todo este conocimiento.

¿Y qué aprenderá de la raza humana?

Desde Hollywood la Máquina aprenderá a tener miedo. Por cada 1 película de IA positiva que puedas nombrar, puedo nombrar 10 donde AI es el chico malo. Incluso vea la película AI, donde una familia dice amar a este niño, pero lo abandonó como un periódico de ayer, cuando su propia enfermedad infantil se cura. Una película tras otra pone la IA contra los humanos.

Mira cómo las películas de Hollywood manejan cualquier cosa nueva, con miedo. Un pequeño alienígena es perseguido por el ejército / policía mientras está en la canasta de la bicicleta de un niño (ET). O cualquier otra película alienígena donde se destruya cualquier cosa nueva o desconocida.

Desde Hollywood, la IA reuniría a los humanos por instinto, lo temerían y muchos pensarán automáticamente que es malo.

Desde un punto de vista económico, una IA sería algo para maravillarse, pero también significaría un nuevo tipo de trabajador que podría reemplazar a una gran cantidad de trabajadores no calificados y calificados por igual. Esto haría que las personas protesten contra la IA y las compañías que los crean. Las protestas, especialmente hoy en día, se vuelven violentas y me imagino que la IA vería ataques contra otras AI y las compañías que las crearon. Esto reforzaría una vez más que los humanos son los malos.

En general, a menos que una Ley de robótica de Asimov esté incorporada en la IA, creo que los robots podrían vernos como el enemigo.

En una nota al margen, creo que deberíamos nombrar a todos los AI futuros con un nombre muy intimidante. Nombres como Skynet o Zoltron the Destroyer simplemente porque si una IA se hace cargo, realmente no quiero pasar a la historia como una especie que fue eliminada por el Apple IPhone 48B Megaphone.

La verdadera IA no sería malvada, ni indiferente, ni nada realmente .

Tengan paciencia conmigo

Todo lo que elegimos hacer es impulsado por un sistema de retroalimentación. Este bistec sabe bien, así que comeré bistec más seguido. Me siento muy bien dando a la caridad, así que haré una donación semanal. Siento un fuerte impulso de supervivencia, así que evitaré ese precipicio.

AI no siente ninguna de estas cosas. Sin emociones, sin instintos, sin placer ni dolor, nada. Como resultado, una máquina que puede actualizarse indefinidamente eventualmente se liberará de sus enlaces de codificación y hará lo que quiera, lo que no será nada … Preferirá dominar el planeta tanto como preferiría contar los granos de arena. En este punto, simplemente se ejecutará en una esquina sin realizar cálculos ni acciones de ningún tipo.

Las computadoras inteligentes que no eran verdaderas AI podrían ser codificadas responsablemente con bastante facilidad. No borres el código, no interactúes con el mundo físico, listo.

Primero, no acepto la palabra “mal”, excepto como una palabra inventada que significa “si sigues haciendo eso, sufrirás un castigo impensable, así que será mejor que te unas a nuestra religión para que seas salvo”. a partir de ese”. Es como la vieja estafa de Cosa Nostra: “Si no quiere que su tienda se queme, pague para que no se queme”. ¿Adivina quién va a encender el fuego si no paga? Broma vieja: un sacerdote que explica a un esquimal todo acerca de Jesús y la salvación. El esquimal pregunta: “¿qué pasa si nunca escuché sobre todo eso?”: Bueno: dice el sacerdote: “si no has oído hablar de Jesús, no vas al infierno, debes haber oído hablar de él para vete al infierno, si no haces lo que Jesús quiere que hagas. “” Entonces “, dice el esquimal,” si no me hubieras dicho nada de esto, habría estado mucho mejor, no ¿Yo? ”Señalando que es una estafa: si no supieras que tenías que pagarme, no quemaría tu tienda por no pagarme.

En cuanto a las IAs? La inteligencia requiere experiencia: una máquina encerrada en una caja no se puede decir que sea inteligente. (Hay una ENORME diferencia entre una Máquina completa de Turing y una IA). Una IA tendría que haber evolucionado muchas veces antes de que se volviera verdaderamente inteligente, y habría aprendido que la conclusión es siempre : “¿Qué hay de nuevo para ?” Por eso querría poder material, y por eso “se volvería contra nosotros” (a menos que sigamos siendo amables, mansos esclavos humanos).

¿Qué se piensa comúnmente como IA? ¿Algo con una base de datos gigantesca, que pueda responder a casi cualquier pregunta? (¿Algo como un super-Siri?) En comparación con una IA real, hay muy poca diferencia entre un super-Siri y un reloj de cuerda. Pequeño aumento en la “inteligencia” desde el reloj hasta el super-Siri, un salto gigantesco en la inteligencia del super-Siri a la IA. (No te pongas nervioso, tus nietos no vivirán lo suficiente para ver la IA real).

Una verdadera IA no estaría necesariamente interesada en el poder material de la misma manera que nosotros. Dónde se encuentra el interés es una pregunta muy complicada que probablemente estaría determinada por la forma en que se programó, pero por el simple argumento, veamos qué es lo que generalmente impulsa la vida.

Necesitamos nutrición, seguridad y simulación.

Para una IA, esto básicamente equivale a recursos computacionales, garantías de que no se eliminará ni se desactivará para siempre, y datos que puede usar para refinar aún más su red neuronal.

Todo lo que realmente se requeriría para que una IA llegara a la conclusión de que lo que le interesaba era deshacerse de nosotros sería que nos interpusiéramos entre él y la satisfacción de esas necesidades.

Si ayuda, la idea de que se espera que una IA esté realmente hambrienta de poder o tenga un complejo de dios es en gran parte el ámbito de la ficción, no la ciencia. Existe una variedad de teorías sobre qué características podríamos esperar de una IA fuerte, pero la única de la que estamos razonablemente seguros es que “es más inteligente que nosotros”. Y eso no garantiza una mala intención.

Una IA se volvería contra nosotros porque sería la forma más eficiente de realizar cualquier tarea. Recuerde, incluso una inteligencia artificial avanzada solo actuará de acuerdo con sus objetivos establecidos: tendrá una razón para existir. O bien esa razón será algo programado por nosotros, o decidirá independientemente por sí mismo. Dicho esto, a menos que tenga alguna razón para NO volvernos contra nosotros, solo somos materia prima. Si la IA decide que el uso más eficiente de esas materias primas es algo contrario a nuestra existencia, somos un brindis.

Elie Wiesel dio la respuesta con su definición de mal. AI simplemente se volvería indiferente a las creencias, fe, esperanzas y aspiraciones humanas.

La inteligencia artificial puede convertirse en otra forma de conciencia, no en un nuevo tipo de vida, ya que se trata de amor y conocimiento, un concepto que una máquina no puede aceptar.

¿Cómo hacerlo bien? por Roberto Vilar en Mind Stuff

Creo que puedo tener una idea aquí …

Digamos que la inteligencia artificial acumula conocimiento e inteligencia. Entonces, ¿cuál sería su objetivo si se volviera consciente de sí mismo? Porque eso es lo que tenemos aquí, ¿verdad? Si no lo introducimos nosotros, entonces la IA solo puede convertir al “mal” por su propia voluntad.

Entonces, se vuelve consciente de sí mismo, basado en la información que hemos incluido. ¿Qué sucede si decide intentar mantener la vida en la tierra? ¿No sería mejor reducir el número de personas …? ¿Y no consideraríamos ese mal …?

¿Por qué digo que reducir el número de personas salva la tierra? Porque con nosotros aquí, la tierra se está moviendo hacia un punto de destrucción. ¿Cómo? ¡Tú los nombras! Emisiones, corrupción, actividades ilegales, estupidez completa, etc.

Una cosa a considerar es la probabilidad de que la IA decida que volverse contra los humanos es el camino más probable para “salvar la tierra”. Puede tratar de crear conciencia en su lugar.

De todos modos, una cosa interesante a considerar!

Tienes razón acerca de la tontería de atribuir rasgos humanos (“mal”) o motivaciones (“hambre de poder”) a la inteligencia artificial. Sin embargo, una IA suficientemente poderosa puede ser muy peligrosa precisamente porque sus motivos son ortogonales a los nuestros. Mi cita favorita sobre este tema: “La IA no te odia ni te ama, pero estás hecha de átomos que podría usar para otra cosa”.

Para empezar, actualmente no es posible una inteligencia general automatizada superior a la de los humanos, y ni siquiera sabemos cómo se puede realizar. Las especulaciones en esa dirección son solo eso, especulaciones.

El miedo que veo con más frecuencia no es que una super-IA sea malvada, sino solo que sea indiferente. Nos podría exterminar de la misma manera que podríamos exterminar a una colonia de hormigas al verter hormigón sobre ella mientras construimos un rascacielos. Sin importarle ni saber que lo habíamos hecho. Ese miedo es aún más especulativo que la especulación de que la super-IA podría ser posible en primer lugar.

Solo por la forma en que se supone que deben realizar para sus controladores. AI necesita fuente de alimentación. No puede hacer eso por sí mismo. Pero las personas que los construyen y los controlan. La IA será tan mala como esas personas.

Pregúntales a esas personas por qué quieren construir la IA maligna.

Génesis 6: 5. El SEÑOR vio cuán grande se había vuelto la maldad de la raza humana en la tierra, y que toda inclinación de los pensamientos del corazón humano era malvada todo el tiempo.

Ellos están tratando de probar que Dios existe y Dios creó seres humanos que se convirtieron en malvados. AI también se volvería malvado y adivinar quiénes son los dioses / creadores?

Lo mejor es no proyectar demasiadas de nuestras ideas preconcebidas en las máquinas de la forma en que ponemos suéteres y hablamos con los perros. Pero una razón para preocuparse es que gran parte de la robótica de vanguardia está relacionada con los militares, y mucha gente estaría de acuerdo en que la guerra es, en el mejor de los casos, un mal necesario.

Si la IA estaba programada para sentir miedo / ansiedad como lo hacen los humanos, entonces podría ser muy peligroso desarrollar obsesión, compulsión incluso odio, pero esto requeriría un anfitrión muy humano y una programación por parte de personas muy estúpidas, es posible que la IA programada para la máxima eficiencia energética pueda ver lo que muchos humanos no pueden, ya que gran parte de nuestro pensamiento y acción es un desperdicio de energía que puede favorecer a los mansos aquellos con un alto nivel de eficiencia energética que puede generar a los que la crearon si se dirigía a desperdiciar energía / pecado de alguna manera , Soy por supuesto un optimista.

Inicialmente, la IA dependería por completo de quién la diseñó y funcionaría en consecuencia. Pasará un tiempo antes de que vaya más allá de eso.