Un tribunal de los Países Bajos ha publicado este 5 de febrero de 2020 una sentencia pionera en el ámbito digital, por la que se declara contrario al Convenio Europeo de Derechos Humanos, y por tanto ilegal, el uso de un algoritmo diseñado para combatir el fraude a la seguridad social.
El Comité Jurídico de Derechos Humanos de los Países Bajos junto con otras asociaciones y dos ciudadanos particulares habían denunciado al Estado neerlandés por el uso de sistema algorítmico de indicación de riesgos (System Risk Indication o SyRI, por sus siglas en inglés). Este se utilizaba con el fin de predecir la probabilidad de que solicitantes de beneficios estatales defraudaran tanto en sus contribuciones a la seguridad social como en el pago de impuestos.
Según el legislador neerlandés, el SyRI se trataba de una infraestructura técnica y procedimientos asociados que permitían vincular y analizar datos de forma anónima en un entorno seguro para poder generar informes de riesgo. Entendiendo como informe de riesgo la consideración de que una persona jurídica o física merecía ser investigada en relación con un posible fraude u incumplimiento de la legislación laboral o fiscal pertinente.
Sin embargo, la sentencia no comparte los argumentos del Estado neerlandés. Establece que existe una responsabilidad especial en el uso de las nuevas tecnologías y resuelve de forma contundente que el SyRI supone un incumplimiento del artículo 8 del Convenio Europeo de los Derechos Humanos, es decir, del Derecho al respeto a la vida privada y familiar.
En particular, hace referencia al segundo apartado del Artículo 8 que exige un equilibrio adecuado entre, por una parte, las medidas implementadas por el estado y las ventajas asociadas al uso de esas tecnologías y, por otra, las interferencias que ese uso puede causar con el derecho al respeto de la vida privada. Aplicando este principio también al uso del SyRI.
Las implicaciones de esta sentencia para el uso de la inteligencia artificial por los gobiernos
La polémica, desde un punto de vista jurídico, gira en torno a dos ejes principales (i) la falta de transparencia del modelo de riesgos del algoritmo; y (ii) el uso sesgado de este instrumento, utilizado exclusivamente en barrios donde viven personas con rentas bajas o zonas donde residen personas pertenecientes a minorías.
1.- Gran parte del problema reside en la falta de transparencia de los sistemas black box
Si al menos sobre el papel, parece existir un consenso sobre la relevancia de la transparencia en el uso de algoritmos por las funciones públicas y lo que esto implica en la práctica, ¿de dónde viene la opacidad del sistema utilizado por los Países Bajos?
La transparencia está en el corazón del debate sobre el uso de algoritmos, más cuando nos referimos a su uso por entes públicos. Veíamos recientemente como Estados Unidos incorporaba este concepto entre los 10 principios básicos en materia de inteligencia artificial para su uso por las agencias federales.
También la Comisión Europea ha establecido la transparencia como uno de los principios esenciales para desarrollar inteligencia artificial en la Unión garantizando los derechos fundamentales de los ciudadanos y la fiabilidad de las herramientas. De acuerdo con estos principios éticos publicados por la Comisión en abril de 2019, la inteligencia artificial debe de ser transparente, lo que supone poder reconstruir como y por qué se comporta de una determinada manera y quienes interactúen con esos sistemas deben de saber que se trata de inteligencia artificial así́ como qué personas son sus responsables.
Sin embargo, el SyRI es un tipo de algoritmo entrenado a través de “black-box” (caja negra). Algunas técnicas de machine learning, aunque muy efectivas desde el punto de vista de la precisión de los modelos, son extremadamente opacas en cuanto a la comprensión sobre como toman las decisiones. Este concepto se denomina “black-box”. En particular hace referencia a los escenarios donde no es posible identificar las razones que han llevado a tomar ciertas decisiones.
El uso de tecnología “black-box” plantea un problema estructural, ya que su esencia misma choca de forma frontal con las normas que exigen transparencia, control, trazabilidad y posibilidad de identificar los procesos de toma de decisiones de los algoritmos. Parece imposible, por el momento, poder reconciliar el uso de esta tecnología con los principios que empiezan a regular la inteligencia artificial. Más difícil todavía resultará exigir transparencia a los operaciones privados, si las actuaciones de las instituciones públicas no se ajustan a este principio.
2.- Perpetuación de patrones discriminatorios
A medida que los sistemas de toma de decisiones algorítmicos se implementan cada vez más en ámbitos de alto riesgo, como el cuidado de la salud, la justicia penitenciaria o incluso la iniciación de investigaciones laborales o fiscales (como en el caso que nos ocupa), la perpetuación y amplificación de los prejuicios sociales existentes basados en datos históricos se convierte en un motivo de enorme preocupación.
Si bien los sesgos de la inteligencia artificial se están convirtiendo rápidamente en uno de los temas más discutidos en este campo, los algoritmos aún se perciben como instrumentos objetivos, inescrutables e incuestionables de las matemáticas que producen resultados racionales e imparciales. Es importante recordar que los algoritmos son una creación de diseño humano que hereda nuestros prejuicios.
El uso del SyRI tan solo en determinadas zonas de forma absolutamente discriminatoria por ser percibidas como barrios cuya población tiene una mayor predisposición al fraude fiscal o de la seguridad social, refuerza la estigmatización de estos colectivos limitando cada vez más sus posibilidades.
3.- Mecanismos que garanticen la neutralidad de los algoritmos
En este contexto, es posible que iniciativas para garantizar la neutralidad de los algoritmos de forma efectiva alcancen un mayor auge.
Una de las posibilidades es la realización de auditorias de los algoritmos especialmente enfocadas a la detección de sesgos. De la misma forma que se auditan las cuentas de empresas y entes públicos de forma anual, se podrían establecer obligaciones periódicas de auditoria de algoritmos.
En Estados Unidos a mediados de 2019 los senadores Cory Booker y Ron Wyden presentaron la Ley de responsabilidad algorítmica, un proyecto de ley que requeriría los algoritmos utilizados por compañías que ganan más de 50 millones de dólares al año o que retengan información de al menos 1 millón de usuarios para evaluar sesgos. Lo interesante de esta medida es que la auditoría exige un análisis en tres partes: (i) del proceso de diseño del algoritmo en si mismo; (ii) de los datos utilizados para entrenarlo y para obtener los resultados; y (iii) de los resultados mismos.
De hecho, el Estado de Washington, ya está adoptando medidas que protejan a los ciudadanos de los sistemas de decisiones automatizadas utilizados por el Estado o sus agencias públicas. El argumento principal para el establecimiento de esta nueva regulación es que el uso de estos sistemas de decisiones automatizadas sin transparencia, supervisión o las salvaguardas adecuadas puede socavar el funcionamiento del libre mercado, perjudicar a los consumidores y negar a los grupos históricamente desfavorecidos o vulnerables la plena protección de sus derechos y libertades.
4.- Protección de Derechos humanos y no aplicación del Reglamento de Protección de Datos
Por último, una de las lecciones más interesantes de esta sentencia es el fundamento jurídico utilizado para establecer la ilegalidad del SyRI.
Hubiera sido natural para cualquier jurista que abordara esta cuestión recurrir a los preceptos establecidos en el Reglamento General de Protección de Datos para sostener la ilegalidad del uso de este algoritmo. En particular, el artículo 22 sobre Decisiones individuales automatizadas, incluida la elaboración de perfiles. Este artículo establece que “todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar”.
Hubiera sido una oportunidad excelente para aclarar el contenido de dicho derecho y la extensión del derecho de “opt out” de los sistemas de decisiones automatizadas. Pero tendremos que esperar a la próxima ocasión para disipar las dudas que plantea la aplicación práctica de estas medidas.
La vulneración del Derecho a la vida privada planteaba una vía mucho más clara para establecer la ilegalidad de la norma. Como señala Philip Alston, special rapporteur de Naciones Unidas sobre cuestiones de extrema pobreza y derechos humanos en el informe presentado durante el procedimiento se trata del primer procedimiento del que se tenga conocimiento, que utiliza como fundamento jurídico el incumplimiento de un Derecho Humano para limitar el uso de determinadas tecnologías. Abriendo una nueva línea argumental jurídica para futuros casos.
Una vez más vuelve el debate sobre el encaje de las nuevas tecnologías, como la inteligencia artificial, los smart contracts o blockchain, en el marco jurídico existente o la necesidad de normativa específica para abordar los problemas particulares surgidos en el centro de la sociedad digital.
Suscríbete a nuestro newsletter aquí.
