Sociedad de la automatización: ¿quién queremos que decida por nosotros?

Vivimos en una época marcada por un dilema silencioso, donde la automatización de decisiones moldea no solo nuestras economías, sino también nuestras democracias, nuestras leyes y, en última instancia, nuestra humanidad. Como diagnostica el filósofo Daniel Innerarity¹, «los algoritmos predictivos formulan continuamente la hipótesis de que nuestro futuro será una reproducción de nuestro pasado». Este conservadurismo algorítmico no solo refuerza las desigualdades y patrones existentes, sino que ignora nuestra capacidad más profundamente humana: imaginar y crear lo inesperado.

La automatización de decisiones no es neutral

Los juristas Matsumi y Solove advierten sobre el “problema de la profecía autocumplida”²: cuando los sistemas predictivos no solo anticipan el futuro, sino que lo configuran al convertirlo en un reflejo inmutable del pasado. Estas decisiones, automatizadas o parcialmente automatizadas, son rápidas, eficientes y necesarias en un mercado saturado de datos. Pero, como recuerda el economista Daron Acemoglu, el ser humano no es simplemente un consumidor; lo que más anhela es participar³. La participación no es un privilegio concedido, sino una condición existencial: nuestra propia existencia se define por nuestra capacidad de decidir y actuar autónomamente, de interrumpir las dinámicas lesivas, de transformar el statu quo para mejorar nuestras condiciones. La tecnología debería amplificar esta potencialidad, no restringirla.

No hablamos de una entelequia, los últimos acontecimientos en tierras estadounidenses ilustran los riesgos de delegar decisiones críticas, en este caso laborales, a sistemas automatizados. El Departamento de Eficiencia Gubernamental (DOGE, por sus siglas en inglés), liderado por Elon Musk, ha implementado un software llamado AutoRIF (Reducción Automática de Personal) para automatizar el despido de empleados federales en Estados Unidos⁴. Originalmente desarrollado por el Departamento de Defensa hace dos décadas, AutoRIF ha sido actualizado para evaluar el rendimiento de los empleados y determinar, basándose en métricas específicas, quiénes deben ser despedidos⁵. Esta herramienta ha generado preocupación debido a la posibilidad de que, con una evaluación negativa y un simple clic, un empleado pueda perder su trabajo de la noche a la mañana, sin una evaluación humana adecuada del contexto o las circunstancias individuales.

El desafío legal: supervisión humana y riesgos persistentes

En el ámbito legal, los desafíos que plantea la automatización de decisiones son profundos y estructurales. El Reglamento General de Protección de Datos (RGPD)⁶, por ejemplo, interpreta que los problemas relacionados con el perfilado y las decisiones automatizadas pueden ser mitigados al incluir supervisión humana en los procesos de toma de decisiones. Sin embargo, esta visión simplista ha sido ampliamente criticada. Como argumentan los profesores Crootof, Kaminski y Price II, incorporar el “human in the loop” (humano en el bucle) no garantiza mejores decisiones, ni necesariamente higieniza las decisiones problemáticas⁷. Los riesgos persisten incluso cuando el ser humano entra en la ecuación, porque esta intervención puede consolidar sesgos, reforzar decisiones automatizadas o diluir la responsabilidad efectiva.

La evidencia indica que la intervención humana no garantiza mejores decisiones, aunque resulta esencial para reducir la arbitrariedad o injusticia algorítmica. Si los sistemas de IA se desarrollan y utilizan como herramienta al servicio de las personas, orillar su participación, infravalorar su autonomía y eliminar todo control y vigilancia adecuada y experta resuena a tecnosolucionismo⁸. No hay decisiones humanas perfectas, tampoco algorítmicas. El art. 22 del RGPD diseñado por el legislador para regular estas cuestiones plantea más incógnitas que certezas. ¿Qué constituye una supervisión humana “sustancial o significativa”?⁹ ¿Cuándo podemos sostener con certeza que existe una evaluación crítica de una decisión automatizada? Como bien sabemos, en muchos casos, la intervención humana es meramente simbólica -aunque difícilmente demostrable-, sin el poder real para modificar los resultados generados por el algoritmo.

El caso Schufa (C-634/21)

En el caso Schufa (C-634/21)¹⁰, el Tribunal de Justicia de la Unión Europea (TJUE) interpretó que la generación automatizada, por una agencia de información comercial, de un valor de probabilidad sobre la capacidad de una persona para cumplir con compromisos de pago futuros constituye una “decisión individual automatizada” en el sentido del artículo 22.1 del RGPD, cuando dicho valor “influye de manera determinante” en que un tercero decida establecer, ejecutar o finalizar una relación contractual con esa persona.

La investigadora Palmiotto¹¹ enuncia que, con esta sentencia, el TJUE sugiere centrarse en la relación entre el humano y la máquina, analizando, por un lado, el margen de discrecionalidad que le queda al responsable de la toma de decisiones y, por otro, el papel concreto de los sistemas automatizados dentro ese proceso. A la luz de lo anterior, el verdadero desafío consiste en determinar dónde termina el control humano y dónde comienza la influencia del sistema automatizado.

El caso Dun & Bradstreet Austria (C-203/22)

Más recientemente, la STJUE en el caso Dun & Bradstreet Austria¹² (C-203/22) ha reforzado la exigencia de transparencia y explicación en la toma de decisiones automatizadas. En este caso, una empresa de telefonía móvil se negó a celebrar un contrato con un cliente basándose en una evaluación crediticia automatizada. El Tribunal determinó que el responsable del tratamiento debe describir «el procedimientos y principios concretamente aplicados, de tal manera que el interesado pueda comprender cuáles de sus datos personales se han utilizado y cómo se han utilizado en la adopción de la decisión automatizada en cuestión, sin que la complejidad de las operaciones que deban realizarse para la adopción de una decisión automatizada pueda exonerar al responsable del tratamiento de su deber de explicación».

Asimismo, el TJUE enfatizó que el RGPD no permite excluir el derecho de acceso del interesado bajo el argumento de proteger secretos comerciales o derechos de terceros sin una evaluación previa de los órganos de control. Esta sentencia refuerza el derecho a la explicabilidad, es decir, la necesidad de que las decisiones automatizadas sean suficientemente transparentes y comprensibles. Por ejemplo, informando al interesado de la medida en que una variación a nivel de los datos personales tenidos en cuenta habría conducido a un resultado diferente¹³. No obstante, es importante destacar que este fallo se refiere a un control ex post, es decir, a la fase posterior a la adopción de la decisión automatizada, cuando esta ya ha sido tomada y debe ser explicada al interesado.

El sesgo de automatización y la aversión al algoritmo: desafíos en la toma de decisiones

Sentado lo anterior, cabe recordar que este art. 22 resulta inaplicable cuando el perfilado o la decisión automatizada no tomen directamente la decisión final, sino que «tan solo» sirvan como soporte para una decisión humana. Esto nos enfrenta a dos riesgos clave: el sesgo de automatización y la aversión al algoritmo. Por un lado, confiamos ciegamente en las decisiones generadas por máquinas porque las percibimos como objetivas, olvidando lo que señala la matemática Cathy O’Neil¹⁴: «un algoritmo es una opinión incrustada en matemáticas». Esa confianza ciega se basa en una percepción errónea de objetividad que no solo oculta las suposiciones humanas subyacentes, sino que también perpetúa decisiones que reflejan valores e inequidades preexistentes.

Por otro, desconfiamos de los sistemas cuando sus resultados no coinciden con nuestras expectativas, lo que puede llevarnos a decisiones inconsistentes o ineficaces¹⁵. Este delicado equilibrio entre supervisión y automatización plantea preguntas urgentes sobre no solo el diseño de futuros marcos regulatorios, sino también la interpretación jurisprudencial de los litigios que se planteen¹⁶.

Y lo que resulta más preocupante: la legislación actual aún presenta limitaciones significativas para abordar adecuadamente las predicciones algorítmicas¹⁷. Los profesores Matsumi y Solove¹⁸ exponen brillantemente cuatro razones por las que las predicciones algorítmicas resultan problemáticas:

1. Problema de fosilización: refuerzan las pautas de los datos del pasado y pueden consolidar aún más los sesgos y la desigualdad pasada;
2. Problema de irrefutabilidad (unfalsifiability): implican una afirmación sobre acontecimientos futuros. Hasta que estos ocurran, las predicciones no son verificables, por lo que los individuos no pueden impugnarlas como falsas;
3. Problema de intervención preventiva: las decisiones o intervenciones realizadas de forma preventiva imposibilitan comprobar si las predicciones se habrían cumplido en caso de no haberse intervenido;
4. Problema de profecía autocumplida¹⁹: el propio uso de la predicción modela activamente el futuro que pretende anticipar.

Implicaciones democráticas y sociales

La automatización no es solo un desafío técnico o legal; plantea profundas implicaciones democráticas y sociales. Como señala Innerarity, «la política no aspira solo a reflejar lo que hay, sino a cambiar ciertas cosas de algún modo intencional». Sin embargo, cuando delegamos decisiones en sistemas que operan bajo la lógica de la continuidad, corremos el riesgo de transformar nuestras democracias deliberativas en democracias de agregación, donde los deseos del pasado son perpetuados sin reflexión crítica²⁰ . En muchos casos, el objetivo de la automatización es la eficiencia: ahorrar tiempo y dinero. ¿Debemos aceptar sin cuestionamiento esta narrativa?, ¿es la eficiencia el único objetivo perseguido, o también se busca instrumentalizar la tecnología para concentrar el poder? Un poder omnímodo camuflado en eficiencia, orden y objetividad.

Las decisiones automatizadas o parcialmente automatizadas son más rápidas, sí. ¿Pero cómo medimos su sabiduría? ¿Qué mecanismos se han establecido para supervisar sus inevitables excesos y deficiencias? En la sociedad algorítmica, las administraciones y grandes organizaciones ejecutan a diario un colosal volumen de decisiones que afectan a millones de personas. No resulta extraño que recurran, así, a la automatización. No obstante, para las personas afectadas por esas decisiones, estos objetivos de eficiencia no aportan, ni mucho menos, estos beneficios en la misma medida. Más bien, representan la otra cara de la moneda, dado que son estos individuos quienes sufren los costes, padecen los errores, soportan las injusticias y experimentan las alucinaciones de estos sistemas automatizados. La cuestión fundamental radica en la asimetría de poder: ¿Cómo puede un mero individuo escapar de una predicción, independientemente de si es exacta o inexacta?

Los humanos no somos solo la suma de nuestro pasado. Hemos de emanciparnos de una categorización estanca fundamentada en el inmenso conjunto de datos derivados de nuestros hábitos y patrones. El ser humano anida también en sus posibilidades futuras. Y, sobre todo, se realiza en el momento presente. Ese instante en el que despertamos y actuamos con valentía, contra todo pronóstico, forjando nuestro carácter al decidir ser, cada día.

La capacidad de decidir es intrínsecamente humana²¹. Sin embargo, como observa la científica de datos Chowdhury²², hemos delegado la responsabilidad moral en los algoritmos, perpetuando la falsa ilusión de su objetividad. «Nuestra IA es humana cuando queremos que lo sea, y simplemente una máquina cuando no», esgrime. ¿Qué impacto tiene esto en nuestras instituciones democráticas, donde la deliberación y la capacidad de cuestionar “reflexivamente” nuestras preferencias iniciales son esenciales?

Además, el enfoque en la eficiencia puede marginar aspiraciones humanas fundamentales. Como explica el filósofo Accoto²³, estamos diciendo adiós a una sociedad archivística, mientras una sociedad oracular toma forma. Apoyándonos en el oráculo algorítmico intentamos gestionar la incertidumbre futura mediante predicciones, pero en este intento hemos olvidado que la incertidumbre no es solo un obstáculo: es también un elemento fundamental de la condición humana²⁴, una poderosa fuente de creatividad y de progreso. Los sistemas automatizados ven lo imprevisible como ruido, pero ese ruido es, en muchos casos, lo que impulsa las transformaciones sociales y políticas.

La pregunta crucial

La automatización de decisiones plantea una pregunta que va más allá de la regulación o la tecnología: ¿qué tipo de sociedad queremos construir con estas herramientas? Si continuamos diseñando sistemas que perpetúan lo existente, ¿cómo protegemos nuestra capacidad de soñar con un futuro diferente? En un escenario en el que la legislación o la jurisprudencia jamás desafiasen lo establecido, estaríamos abocados a un estancamiento generalizado de nuestras sociedades, una evolución inexistente, o mejor dicho: una involución por repetición errorística²⁵.

En resumidas cuentas, la democracia, la justicia y la creatividad dependen de nuestra disposición a enjuiciar críticamente el statu quo, introduciendo elementos de imprevisibilidad, y crear espacios para la deliberación que desplacen nuestra carga de ideas y prejuicios hacia una posterior transformación. Como humanos, no solo replicamos nuestros hábitos una y otra vez, sino que también decidimos cambiar a través del diálogo, a través del encuentro con el otro, con su ejemplo, con su inspiración. Es precisamente en ese espacio entre lo previsible y lo posible donde reside nuestra esencia más auténtica²⁶.

La imprevisibilidad constituye, en muchos sentidos, una de las cualidades más humanas. Nuestra capacidad para imaginar, para crear lo inesperado, define nuestra historia. ¿Acaso algún sistema algorítmico, por sofisticado que fuera su diseño computacional, habría podido vislumbrar el alumbramiento de la revolución francesa de 1789, ese estallido de voluntades colectivas que derrumbó los cimientos de una monarquía?, ¿la inesperada victoria del Leicester de la premier League en el 2016, desafiando a todas las casas de apuestas?, o ¿el premio nobel de literatura a un artista como Bob Dylan, una decisión que rompió los moldes del galardón literario?

Sin embargo, los sistemas automatizados perciben con suspicacia esta cualidad. Por todo ello, necesitamos reflexionar seriamente sobre el tipo de sociedad que estamos configurando, sobre el equilibrio entre eficiencia y humanidad, sobre la eficacia de los instrumentos jurídicos de defensa, y sobre cómo asegurarnos de que las herramientas que diseñamos estén al servicio de nuestras aspiraciones como ciudadanos y no solo de nuestra comodidad como consumidores o empresarios. En definitiva, ¿cómo podemos, como sociedad, garantizar que estas tecnologías reflejen no solo nuestras limitaciones, sino también nuestras posibilidades?

---

Autor: Josu Andoni Eguíluz Castañeira
Legal Counsel en Adevinta. Profesor de Derecho Digital en grado, doble grado y máster en ESADE, Deusto, EBIS Business Techschool. Doctorando Industrial en Derechos fundamentales + IA en la Universitat Pompeu Fabra, Barcelona SuperComputing Center y Adevinta. Certificación CIPP/E de la IAPP en 2024. Redactor de artículos jurídicos en materia de Derecho Digital en LaLeyDigital, Aranzadi, Revista de Privacidad y Derecho Digital, y otros.

---

1. Innerarity, D. (2020). El impacto de la inteligencia artificial en la democracia. Revista de las Cortes Generales, 109 (Segundo semestre), p. 98. ↩︎
2. Matsumi, H. and Solove, D. J. (2024), The Prediction Society: AI and the Problems of Forecasting the Future. GWU Legal Studies Research Paper No. 2023-58, GWU Law School Public Law Research Paper No. 2023-58, 2025 Illinois Law Review 1 (2025). ↩︎
3. ​Padilla, M. (2024). Daron Acemoglu, el economista que dice que la innovación tecnológica no equivale a prosperidad. El País. ↩︎
4. Olmsted, E. (2025). What essential jobs will DOGE’s AI mass-firing tool accidentally cut? The New Republic. ↩︎
5. Wired. (2025). DOGE is working on software that automates the firing of government workers. ↩︎
6. Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos). ↩︎
7. Crootof, R., Kaminski, M. E. y Price II, W. N., Humans in the Loop (2022). 76 Vanderbilt Law Review 429 (2023), U of Colorado Law Legal Studies Research Paper No. 22-10, U of Michigan Public Law Research Paper No. 22-011. Véase también: Comisión Europea: Centro Común de Investigaciones, Gaudeul, A., Arrigoni, O., Charisi, V., Escobar Planas, M. et al., The impact of human oversight on discrimination in AI-supported decision-making – A large case study on human oversight of AI-based decision support systems in lending and hiring scenarios, Oficina de Publicaciones de la UE, 2024. ↩︎
8. La idea de que todos los problemas pueden resolverse mediante la tecnología, aunque la verdad puede ser más complicada. ↩︎
9. La Agencia Española de Protección de Datos (AEPD) nos concede algunas pistas para responder a esta pregunta; véase: AEPD. (2024, 4 de marzo). Evaluación de la intervención humana en las decisiones automatizadas. ↩︎
10. C-634/21, Schufa Holding. ECLI:EU:C:2023:957. ↩︎
11. Palmiotto, F. (2024). When is a decision automated? A taxonomy for a fundamental rights analysis. German Law Journal, p. 221. ↩︎
12. STJUE de 27 de febrero de 2025. C-203/22, Dun & Bradstreet Austria. ECLI:EU:C:2025:117. ↩︎
13. C-203/22, Dun & Bradstreet Austria. ECLI:EU:C:2025:117. (F.J. 62). ↩︎
14. O’Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown
    Publishing Group. ↩︎
15. Comisión Europea: Centro Común de Investigaciones, Gaudeul, A., Arrigoni, O., Charisi, V., Escobar Planas, M. et al., The impact of human oversight on discrimination in AI-supported decision-making, op. cit. ↩︎
16. También al amparo del art. 86, aún no directamente aplicable, del Reglamento de IA sobre el derecho a explicación de decisiones tomadas individualmente por ciertos sistemas de IA de alto riesgo. ↩︎
17. Especialmente debido a la ausencia de regulación específica sobre la dimensión temporal de las inferencias. El RGPD define el tratamiento automatizado y la elaboración de perfiles sin diferenciar entre inferencias sobre el pasado, el presente o el futuro, lo que afecta la aplicabilidad y efectividad de sus reglas en materia de toma de decisiones automatizadas. Matsumi, H. and Solove, D. J. (2024), The Prediction Society, op. cit., p. 37. Asimismo, estas limitaciones son aún más evidentes en aquellos casos en los que el RGPD no resulte aplicable, ya sea, entre otras razones, porque no se lleva a cabo un tratamiento de datos personales. O, incluso aun cuando el RGPD resulte aplicable, el art. 22 no sea de aplicación, cuando: (i) no se adopte una decisión basada únicamente en un tratamiento automatizado; o (ii) en caso de existir una decisión automatizada, esta no produzca efectos jurídicos sobre el interesado ni le afecte significativamente de modo similar. ↩︎
18. Matsumi, H. and Solove, D. J. (2024), The Prediction Society, op. cit. ↩︎
19. Concepto ya introducido al inicio de este trabajo. Para mayor información: King, O.C., Mertens, M. (2023). Self- fulfilling Prophecy in Practical and Automated Prediction. Ethic Theory Moral Practice, 26, 127–152. ↩︎
20. Innerarity, D. (2020). El impacto de la inteligencia artificial, op. cit., p. 51. «No es que las decisiones clave sean delegadas en máquinas en las que no hay ningún humano; se trata más bien de que somos presionados a tomar decisiones, de tal manera que no nos preguntamos quién es su verdadero autor. Los sistemas automatizados nos empujan a la irreflexividad en el sentido descrito por Hannah Arendt: la incapacidad de criticar las instrucciones, la falta de reflexión sobre las consecuencias, la disposición a creer que las órdenes son correctas (Arendt, 2006)». ↩︎
21. UNESCO (2021), «a largo plazo, los sistemas de IA podrían disputar al ser humano el sentido especial de la experiencia y la capacidad de actuar que le son propios». ↩︎
22. Chowdhury, R. (2017). Moral outsourcing: Finding the humanity in artificial intelligence. Forbes. ↩︎
23. Accoto, C. (2019). Il mondo ex machina. Cinque brevi lezioni di filosofia dell’automazione. Milán: Egea. ↩︎
24. «La decisión es una cualidad eminentemente humana que centraliza cualquier actuación, porque la persona no puede dejar de ser dueña de esa autonomía. Si la persona no puede dejar de ser dueña de sus decisiones, toda norma reguladora de la IA debe tener como centro de su objeto a la persona. Porque, en el momento en el que el ser humano deje libre el hueco central, algo lo ocupará. Y entonces veremos que la máquina sustituye a la persona». Gallego Arce, V. (2024). Derecho e inteligencia artificial en la Unión Europea. ¿Centralidad u obsolescencia del ser humano? Revista
    Española de Derecho Constitucional, 132, p. 193. ↩︎
25. «La historia no se repite pero a menudo rima», atribuida a Mark Twain. ↩︎
26. La profesora Adela Cortina explica que «la autonomía no consiste sólo en tomar decisiones y actuar con independencia respecto a otros, sino en la capacidad de autolegislarse y de autodeterminarse, es decir, en la capacidad de poder determinarse a sí mismo a seguir las leyes o eludirlas, la capacidad de darse metas y seguirlas, y de optar no solo por normas idiosincráticas, sino también por leyes universales». Cortina Orts, A. (2019). Ética de la inteligencia artificial. Anuario de Derecho, p. 388. ↩︎