Seguro que todos lo hemos escuchado alguna que otra vez. ¿Qué debe hacer un coche autónomo si se encuentra en la situación de escoger entre colisionar contra un grupo de escolares o una anciana que atraviesa la calle? Los detalles de la fatalidad pueden variar, pero en alguna u otra versión este es posiblemente el tipo de problema que nos viene a la cabeza cuando pensamos en la ética de la tecnología, en lo que se ha dado en llamar la tecnoética. Y lo es en parte por la cantidad de artículos que se han escrito y de charlas que se han pronunciado a partir de ese ejemplo.
Una situación como la que imaginamos para el malhadado vehículo es lo que en filosofía se llama dilema trágico. Dilema, porque hay que escoger entre dos opciones excluyentes. O hago a o hago b; tertium non datur. Trágico porque, cualquiera que sea la opción escogida, el resultado es indeseable, siguiendo el uso del término que heredamos del teatro griego: haga lo que haga el protagonista de la tragedia su destino está predeterminado, y es malo.
Lo que me planteo en este artículo es: ¿se trata este de un buen ejemplo de problema tecnoético? ¿Dilucidar si el coche autónomo debe atropellar a los niños o a la anciana (o si nos sentimos más reconfortados expresándolo así, debe evitar atropellar a los niños o a la anciana) es la mejor manera de pensar la ética aplicada a la tecnología? Aunque ya adelanto que lo mío no va a ir más allá de una opinión profana, lo cierto es que lo dudo mucho, partiendo de que el escenario en cuestión me suscita un par de comentarios críticos.
Primero, no está nada claro que los dilemas trágicos sean la mejor manera de entender la ética. Clarifico: todos los que nos dedicamos a la enseñanza o la divulgación de la ética sabemos de la eficacia de este tipo de supuestos. Un escenario en el que hay que escoger entre dos (o más) salidas, excluyentes y con resultados que van desde lo malo a lo peor, suele despertar la imaginación ética del auditorio. Nos ponemos con facilidad en la piel de alguien que se encuentra en una situación difícil y nos gusta entrenarnos en buscar soluciones. Los dilemas resultan motivadores, interesantes y efectivos como puerta de entrada para transmitir después los conceptos básicos de una teoría. Esto ha sido explotado en los últimos años como un verdadero filón, que se ha utilizado entre otras cosas precisamente para plantearse cómo deben actuar las máquinas con inteligencia artificial¹.
Sin embargo, contra esta forma de pensar la ética se han formulado críticas que creo que merecen consideración. Quizás la mejor manera de vernos a los humanos como seres éticos, y de educarnos en la ética, no sea planteando dilemas trágicos, sino adoptando una visión menos dualista, más holística, y que conciba la ética como una manera de vivir bien, más interesada en la prevención de escenarios problemáticos que en la solución de problemas terribles cuando estos se vuelven inevitables. De hecho, una de las respuestas que se han dado al dilema del coche autónomo es la introducción en la programación de la máquina de la incertidumbre, simulando el azar. Lo cual no deja de ser una manera de evitar el dilema, pero no por desidia, sino por considerar que evitarlo es lo más correcto, lo que más se acerca a la tremenda falibilidad humana a la hora de tomar decisiones en situaciones de presión, y que en una perspectiva amplia resulta más eficiente concentrar nuestros esfuerzos en evitar las condiciones que llevan a los dilemas trágicos que en resolverlos.
Esta es la primera consideración crítica, de tipo metodológico. La segunda que me suscita el dilema planteado es más de fondo, aunque no menos obvia. El sujeto protagonista del dilema es (por definición) una máquina. Y el sujeto protagonista de un dilema ético no puede (por definición) ser una máquina. El “por definición” es importante. Todos los conceptos son creación humana (el lenguaje lo es) y por tanto responden a criterios convencionales que han prevalecido en unas circunstancias históricas y culturales, lo cual es doblemente cierto cuando se trata de conceptos que forman parte del ámbito social o humanístico. Así, por ejemplo, la ética.
En el tránsito de los últimos veinticinco siglos (por circunscribirnos a la civilización occidental) se habla de ética en referencia a un campo de estudio, reflexión y actuación que tiene que ver con la corrección e incorrección de los comportamientos de los seres humanos conforme a criterios morales. Y de los seres humanos no por casualidad, sino porque solo de los seres humanos se ha predicado la libertad en la decisión y en la actuación, el libre albedrío, si se quiere decir así, cualidad que no atribuimos a ninguna otra criatura. Nadie dice que es moralmente reprobable el comportamiento del león cuando caza a la gacela, ni por supuesto que se enfrenta a un dilema ético cuando tiene que escoger cuál de entre dos individuos va a constituir su alimento. Plantearlo así sería absurdo. Y contradeciría por cierto la absoluta normalidad con la que el resto de gacelas actúan cuando el depredador ha consumado su acto. En la naturaleza no hay reproche, ni rencor, ni castigo.
Y el coche autónomo: ¿se parece más al león o al ser humano? Podríamos decir que al león en cuanto a que está programado, no tiene sentimientos, ni conciencia, ni espacio para la libertad. Pero sin embargo la gran capacidad computacional que maneja la máquina nos supera tanto que la concebimos como una suerte de libertad. Le atribuimos una voluntad, como a los humanos. Lo hacemos constantemente, incluso cuando hablamos de la simple tecnología de estar por casa que utilizamos a diario. Decimos: “el ordenador no me deja hacer tal cosa”, que es una expresión bien curiosa. ¿No es como si el ordenador tuviera un poco de conciencia? Sabemos que no, que son solo maneras de hablar, pero en el coche autónomo las maneras de hablar cobran otra dimensión (“autónomo” quiere decir literalmente “que se da normas a sí mismo”), y más aún en el caso del robot que, nos aseguran, será nuestro profesor, nuestro juez o nuestro soldado en el futuro cercano.
Y si el robot tiene algo parecido a una conciencia, ¿no puede ser que tenga algo parecido a sentimientos? Stanley Kubrick y Arthur C. Clarke nos lo sugirieron con el personaje (la palabra ya es significativa) de Hal 9000, e iban todavía más allá los cuentos de Isaac Asimov, que con títulos como “Sueños de robot” respondían de manera rotundamente afirmativa a la pregunta. Y si seguimos por ese camino, ¿no puede ser que los animales tengan sentimientos? Aquí de nuevo, las magnitudes y las apariencias nos confunden. Decimos que no rápidamente, y ponemos como ejemplo al león en la sabana y a las gacelas que pacen tranquilamente mientras aquel devora a su compañera, pero nos cuesta más responder si pensamos en el gato doméstico que comparte nuestro hogar, sobre todo después de leer los poemas del Old Possum’s Book of Practical Cats, de TS Eliot². Y en cuanto al libre albedrío de los humanos, parecería que la moderna investigación neurocientífica va descartándolo como un mito filosófico, y que hay más interés en investigar condicionantes y predeterminaciones (“estamos programados para”, es una expresión muy de moda) que en celebrar la esencia de nuestra libertad, cada vez más arrinconada y esquiva, a pesar de ser el fundamento político y jurídico de las sociedades democráticas.
Cuando las respuestas que creíamos objetivas y bien sabidas nos fallan, recurrimos a la literatura, donde las cosas se dicen indirectamente. Y a la filosofía, que es una forma de literatura en la que cuentan sobre todo las preguntas. Así que lo dicho indirectamente y lo que las preguntas anteriores puedan sugerir es más importante que lo que viene ahora, que es mi conclusión, provisional y sin duda discutible. Y mi conclusión es que el dilema del atropellamiento alternativo no es un buen paradigma ético por las dos razones que he desarrollado más arriba. Primera, porque es más provechoso ver la ética en términos de vivir bien, lo que implica entre otras cosas prevenir situaciones trágicas. Y segundo, porque en la medida en que le queramos dar valor a las palabras y a lo que las palabras significan y traen consigo, el coche autónomo no puede tener problemas éticos, a salvo de que prefiramos dar la palabra ética por finiquitada y sustituirla por un término nuevo que denote un significado nuevo. Algo que por supuesto podría pasar.
Entre tanto, lo que me parece más valioso de todo esto es que pensar la tecnoética nos lleva a plantearnos la esencia misma de la naturaleza del ser humano, como ser ético, como ser lingüístico y como ser a secas. Y poder plantearnos eso es, a día de hoy, lo que nos distingue y caracteriza como especie.
¹Michael Sandel, uno de los filósofos contemporáneos de referencia, popularizó el método en los vídeos de su curso Justice, libremente accesibles en internet. Pero el origen del fenómeno se remonta como mínimo a mediados del siglo XX, cuando se popularizó en la literatura filosófica el trolley car problem, que seguramente muchos lectores conocerán. Un tranvía circula fuera de control por unos raíles al final de los cuales hay un grupo de cinco personas atadas, pero a medio camino se encuentra una palanca que, de accionarse, desviaría al tranvía por unos raíles alternativos al final de los cuales se encuentra atada una sola persona. ¿Accionamos o no accionamos la palanca? La cantidad de literatura que, en sus múltiples variaciones, ha generado este dilema ha llevado incluso a acuñar, de una manera un tanto irónica, el campo de la trolleylogy o “tranviología”. En la década que ahora cerramos un equipo de profesores del MIT realizó un experimento planetario basado en los presupuestos de este dilema con vistas a determinar cómo deben actuar los coches autónomos y otras máquinas similares.
² “But I tell you, a cat needs a name that’s particular / A name that’s peculiar, and more dignified, / Else how can he keep up his tail perpendicular, / or spread out his whiskers, or cherish his pride?”, en su poema The naming of Cats.
César Arjona
Profesor titular ESADE Law School
