Inteligencia Artificial en la sala constitucional en Paraguay

Reflexiones iniciales sobre la futura implementación de la Inteligencia artificial en las decisiones de la sala constitucional del Poder Judicial en Paraguay

Introducción

En tiempos de digitalización de los servicios estatales, creación de la identidad digital y automatización de procesos burocráticos, aparece un gran interés en el uso de la Inteligencia artificial (AI – siglas en inglés) en la administración pública que buscan de forma legítima el fortalecimiento de los principios de eficiencia, flexibilidad en la gestión pública y la transparencia institucional.

En Paraguay, el Poder judicial implementará un software con Inteligencia Artificial en la Sala constitucional de la Corte Suprema de Justicia. En ese sentido, esta publicación busca analizar los desafíos de aplicación de los mecanismos internacionales de los derechos humanos en el uso de la AI en el Poder Judicial, su rol de la privacidad, la protección de datos y el impacto de los derechos en general.

Antecedentes

El término de Inteligencia Artificial fue acuñado formalmente en 1956 durante la conferencia de Dartmouth¹. Y ha tenido diferentes interpretaciones y avances desde entonces². La inteligencia artificial se sustenta en algoritmos inteligentes o en algoritmos de aprendizaje que, entre muchos otros fines, se utilizan para identificar tendencias económicas o recomendaciones personalizadas. (Harari, Yuval Noah, 2016). Por su parte la Comisión Europea lo define como una colección de tecnologías que combinan datos, algoritmos y potencia informática (European Commission, 2020).

Ante el avance de la AI, se han identificado algunos riesgos, en especial sobre la falta de entendimiento acerca de cómo arrojan los resultados. Es decir, se observa a los algoritmos como una “caja negra” , donde se conoce la entrada de los datos y las salidas de los mismos en forma de resultados pero se desconoce con exactitud qué pasa en el medio. Esto ha generado varias alertas con relación a la aplicación de los mecanismos de los Derechos Humanos en el uso de la AI.

La tendencia de muchas administraciones públicas es apostar por el desarrollo de algoritmos de AI, capaces de hacer inferencias, identificar patrones y tomar decisiones automatizadas “inteligentes”. Sin embargo, las autoridades no han puesto la atención en comprender y analizar las consecuencias de esta caja negra en el ejercicio de los derechos de las personas. Será clave avanzar sobre este punto para evitar impactos y consecuencias negativas en la vida de las personas.

La AI no piensa, se programa

El tecnosolucionismo es una respuesta rápida que no analiza de manera integral el impacto de la tecnología en la sociedad. Según expertos, se sugiere como primer paso ubicar a la AI como un algoritmo programado por un humano:

“Para entender que una computadora no hace, necesitamos empezar a comprender que hace la computadora bien y cómo funciona” (Meredith Broussard, 2018)

Las fases técnicas para una solución tecnológica son pura matemáticas pero no son pocos procesos, se deben seguir por lo menos algunos de los siguientes pasos tales como: obtener los datos, limpiar la base de datos, analizar si existen datos faltantes, integrarlos, homogeneizar los datos, reducir las variables de los datos, eliminar las posibles dimensiones de la base de datos, fusionar variables similares, seleccionar el algoritmo, determinar cual se ajusta al modelo y luego de utilizar los datos de entrenamiento, hay que probar con otros datos que validen la solución de este modelo. (Cathy O’Neil, 2016)

A esto se suma otra preocupación, la asimetría de información cuando la AI son propuestas por las Big Tech y empresas tecnológicas en crecimiento que ofrecen sus productos y servicios en la región de América Latina, sin análisis de contextos y problemas estructurales de cada país (Jamila Venturini, 2019). Los Estados latinoamericanos no cuentan con estructuras institucionales como marcos institucionales u organismos de supervisión con capacidad institucional para evaluar qué soluciones son realmente necesarias, para qué, y cuáles son los propósitos y objetivos de la implementación, además de supervisar esa implementación y brindar retroalimentación para las mejoras de la AI.

Otros de los problemas que se observan en la región son los datos que alimentan a estos sistemas de “inteligencia”. Existen problemas de acceso a conjuntos de datos precisos y de alta calidad. Esto conlleva serios problemas a la hora de generar políticas públicas sin evidencia de calidad y precisas. (BID, 2017).

Además estas preocupaciones se centran no sólo en los defectos del sistema de aprendizaje automatizado y los datos que alimentan a la AI, sino más bien en cómo este sistema de aprendizaje automatizado es capaz de amplificar los prejuicios y discriminaciones que ya existían en la implementación humana del sistema.

Y por último, un tema poco explorado en los debates sobre la implementación de la tecnología es la propiedad intelectual y los procesos de privatización de los servicios públicos, un tema central de cualquier democracia. Es posible que sea necesario contar con el apoyo del sector privado para proveer servicios de tecnología pero en un acto central como la emisión automatizada de una sentencia judicial deberá tomarse con pinzas porque se trata de una función elemental de la construcción de confianza en el sistema judicial. A esto se suman los problemas de derivaciones de la propiedad intelectual como la titularidad de las bases de datos de las empresas y su tensión con el interés público sobre información que se encuentra en el dominio público.

Combinando estas preocupaciones expuestas más arriba, la implementación de la AI en los entornos institucionales -en lugar de mejorar y abordar algunos de estos problemas estructurales- los profundiza y los agrava. Por tanto, las adquisiciones de la AI en las instituciones públicas están sesgadas en la compra de espejitos tecnosolucionistas sin contemplar estos elementos a considerar para evitar nocivas consecuencias no intencionales.

La Inteligencia Artificial y los derechos humanos

Cuando se habla sobre derechos humanos, se abarca no sólo los derechos civiles y políticos, sino también el ejercicio de los derechos sociales, económicos y culturales.

La implementación de este tipo de tecnologías como AI se está llevando a cabo sin marcos regulatorios adecuados que realmente equilibren los intereses de los diferentes actores, o que brinden una estructura adecuada para obtener el aspecto positivo de la inteligencia artificial y minimizar los riesgos.

“Las tecnologías de la IA pueden ser de gran utilidad para la humanidad, pero que también suscitan preocupaciones éticas fundamentales, por ejemplo, en relación con los sesgos que pueden incorporar y exacerbar, lo que puede llegar a provocar desigualdad y exclusión y suponer una amenaza para la diversidad cultural, social y ecológica, así como generar divisiones sociales o económicas” (UNESCO, 2020).

Será clave que las nuevas regulaciones en esta materia se basen en los estándares de los derechos humanos y no en principios éticos como es la tendencia actual. Las consideraciones éticas son valiosas pero no pueden ser la primera y única línea mínima para implementar este tipo de tecnología. Existe mucha experiencia desde las relatorías especiales de la ONU y OEA que han supervisado sólidamente a partir de la traducción del marco tradicional de derechos humanos en la aplicación de tales estructuras en inteligencia artificial (R3D, 2018). Las normas internacionales de derechos humanos son estructuras mínimas de protección en todo el mundo y es al menos susceptible de acción contra Estados que no están comprometidos con los estándares internacionales de derechos humanos.

Es importante resaltar que la AI no sólo tiene un impacto a la privacidad y la protección de los datos personales. Es decir, no es un problema que se revolverá con crear o mejorar las leyes de protección de datos personales para regular las decisiones algorítmicas o la inteligencia artificial. Sino también son temas relacionados a la inclusión y a la justicia social tales como la discriminación y a la afectación de las libertades de grupos vulnerables. Por tanto, se deberá analizar otros enfoques de regulación que brinden estructuras institucionales justas para la implementación de la AI y otras tecnologías.

La evaluación de impacto debe identificar los riesgos de efectos adversos sobre los derechos humanos, el medio ambiente y las implicaciones éticas y sociales en línea con los valores y principios establecidos en las normas y estándares de derechos humanos.

Es decir, deben estar basadas y centradas en la persona, no en el interés público, seguridad nacional o interés económico etc. Deben asegurar que las personas que puedan ser impactadas por las decisiones de la IA sean provistas de las herramientas necesarias para que puedan comprender y analizar críticamente esta tecnología a fin de determinar si su uso puede contribuir o perjudicar su situación de vida (TEDIC, 2019).

La siguiente tabla muestra cómo diseñar un espacio de gobernanza para tratar problemas emergentes de la AI y algoritmos con bases en los derechos humanos.

	Definiciones compartidas	Recursos estándar	Literatura
Accountability (anglicismo que incluye transparencia, rendición de cuenta y supervisión)	Movilizar comunidades temáticas de investigadores, activistas, funcionarios públicos, organizaciones privadas y otras partes interesadas para definir conceptos y métodos comunes.	Participación en debates de políticas públicas para incorporar la responsabilidad en las próximas regulaciones.	Crear contenido de aprendizaje y guías sobre formas legales y no legales para hacer cumplir la transparencia y la responsabilidad en torno al uso algorítmico y estándares de los DDHH.
Monitoreo	Mapeo del algoritmo y el uso de IA en todo el gobierno (y agencias delegadas).	Capacitación de periodistas en monitoreo de impacto de algoritmos.
Mejora	Capacitar a las organizaciones cívicas de vigilancia sobre los marcos legales y las mejores prácticas en DDHH	Capacitación de abogados gubernamentales sobre riesgo algorítmico.

* (Open Knowledge, AI and Algorithms, 2020)³

Caso de estudio: Sala constitucional del Poder Judicial en Paraguay

En el contexto paraguayo, desde el 2019 el Poder Judicial se encuentra en negociación para adquirir un software con Inteligencia Artificial (AI) y aplicarlo en la Sala constitucional de la Corte Suprema de Justicia. (Ever Benegas, 2020).⁴ Este software de AI denominado Prometea de origen argentino, sirve para preparar automáticamente dictámenes judiciales a través de la utilización de un sistema de inteligencia artificial y machine learning supervisado y pretende mitigar la morosidad y optimizar procesos burocráticos. (IDB, 2020)

Esta herramienta de origen argentino ya ha sido aplicada en diversos organismos internacionales como la Corte Interamericana de Derechos Humanos (CorteIDH), el Ministerio de Justicia y Seguridad de Buenos Aires, la Fiscalía General en lo Contencioso, Administrativo y Tributario de la Ciudad de Buenos Aires y la Corte Constitucional de Colombia. (Corvalán, Juan G, 2018).

“Prometea puede predecir la solución de un expediente a través de AI. Su insumo es la información de miles de expedientes anteriores. Al sistema ingresan todos esos documentos. Lo que hace el software es sugerir un dictamen en base a lo que se resolvió en casos análogos anteriores y reemplaza, así, la tarea que habitualmente realiza un humano de forma manual. Su rol más llamativo está en la predicción de soluciones⁵. También automatiza el control de los plazos procesales, es decir que advierte a la fiscalía cuando está por vencer el tiempo que tiene el Ministerio Público para dictaminar” (Tarricone, 2020).

Sin embargo, existe una importante preocupación a la hora de extrapolar una solución como Prometea, que se utiliza en una instancia administrativa de ejecución fiscal⁶ -que cuenta con limitadas posibilidades de desenlace porque el propio procedimiento legal es limitado- a una instancia y proceso legal muy distinto como es la sala constitucional de una Corte Suprema. Es decir, existe una gran diferencia internamente en el sistema de justicia: No es lo mismo un procedimiento administrativo, que una penal o civil, además de las diferencias en las instancias procesales de cada sistema. Por tanto, se debe ser tener mucho cuidado en tomar una solución tecnológica fuera de la naturaleza y dominio del que fue construida.

“Es como pensar en utilizar un secador de pelo para secar el piso de mi casa, porque en ambos escenarios se secan”⁷ Micaela Mantegna, abogada, investigadora experta en AI.

Además la experta recalca que para hacer más eficiente y evitar mora judicial no se necesita la AI sino se necesitan sistemas de reglas claras de cómo seguir en los diferentes escenarios. Es decir, un sistema de árbol de decisión básico, transparente y de fácil supervisión que evite la utilización de cajas negras.

Otro elemento a tener en cuenta para este caso de estudio, es la necesidad de notificación a las partes de que su caso está siendo sometido por AI. La tecnología no es infalible y puede tener rango de errores mínimos que no son perceptibles a primera vista y toman recién notoriedad cuando los casos de abusos son extremos.

“Lo peligroso aquí son esos mini errores, esas pequeñas falacias tapadas en el mar de los grises. Mi mayor miedo de la AI no son los robots asesinos, sino la AI que se equivoca y nadie se da cuenta”. Mantegna

Por último, Corvalan⁸ sugiere una serie de recomendaciones que se deben tener en cuenta al momento de establecer mecanismos de supervisión apropiados: auditabilidad, trazabilidad y explicabilidad que permitan la evaluación de algoritmos, datos y procesos de diseño, así como incluir una revisión externa de los sistemas de IA.

Conclusión

La administración pública busca cada vez más utilizar nuevas formas de análisis de datos tales como la inteligencia artificial, con el fin de proporcionar «mejores servicios públicos». Estas reformas han consistido en transformaciones de los servicios digitales que generalmente tienen como objetivo «mejorar la experiencia del ciudadano», «hacer que el gobierno sea más eficiente» y «impulsar las empresas y economía más amplia».

Siguiendo esta tendencia, la Corte Suprema de Justicia de Paraguay, a través de la sala constitucional, busca implementar AI enmarcando en la necesidad de eficiencia y mitigación de la mora judicial. Al momento de cerrar este artículo, la implementación de AI en la sala constitucional se encuentra suspendida. No obstante será de suma importancia que este tiempo se aproveche para analizar los riesgos y desafíos de la aplicación de AI en las decisiones judiciales de esta sala.

La mayoría de los autores reconocen que toda innovación tecnológica produce beneficios pero conllevan riesgos y daños. Entre algunas preocupaciones centrales que se expusieron en este artículo se encuentra la importante discusión sobre el tecnosolucionismo, los problemas que se pueden generar si se aplica como una solución parche y no se buscan soluciones integrales y estructurales. Las bases de datos que alimentan los AI tiene serios problemas de calidad y precisión. Como la privatización de los procesos de decisión públicas pueden traer inclusive problemas de índole de propiedad intelectual. Este conjunto de situaciones puede generar impactos nocivos al ejercicio pleno de los derechos de las personas.

A su vez se deberá tener mucho cuidado al momento de extrapolar el sistema Prometeo que fue diseñado para atender casos de índole administrativos (dictámenes) a un escenario distinto del que fue creado. Es decir, a un sistema judicial que realiza interpretaciones del análisis del lenguaje para emitir sentencias.

Por último, para que el Poder Judicial adquiera el sistema de AI, se recomienda adoptar un marco regulatorio previo que establezca los mecanismos de adquisición e implementación de la tecnología de AI. Además deberán asegurar la existencia de resultados medibles, sanciones y medios de reparación en caso de daños, así como los mecanismos de evaluación constante enfocado en los estándares de derechos humanos. Dicha evaluación también debe ser multidisciplinaria, de múltiples partes interesadas, multicultural, pluralista e inclusiva.

Referencias Bibliográficas

BID. (2017). El uso de datos masivos y sus técnicas analíticas para el diseño e implementación de políticas públicas en Latinoamérica y el Caribe | Publications. https://publications.iadb.org/publications/spanish/document/El-uso-de-datos-masivos-y-sus-t%C3%A9cnicas-anal%C3%ADticas-para-el-dise%C3%B1o-e-implementaci%C3%B3n-de-pol%C3%ADticas-p%C3%BAblicas-en-Latinoam%C3%A9rica-y-el-Caribe.pdf

Cathy O’Neil. (2016). Weapons of Math Destruction.

Corvalán, Juan G. (2018). Presentación prometea: inteligencia artificial al servicio de “más derechos para más gente”. Sr. Juan gustavo corvalán, fiscal general adjunto en lo contencioso administrativo y tributario, de la república argentina durante el consejo permanente de la organización de estados americanos. Miércoles 22 de agosto de 2018, Washington DC. Texto ampliado de la conferencia.

European Commission. (2020). White Paper. On Artificial Intelligence – A European approach to excellence and trust.

Ever Benegas. (2020, febrero 25). Inteligencia Artificial versus Mora Judicial. DataBootCamp. https://bootcamp.tedic.org/inteligencia-artificial-versus-mora-judicial/

Harari, Yuval Noah. (2016). Homo Deus. Debate.

IDB. (2020). PROMETEA: Transformando la administración de justicia con herramientas de inteligencia artificial | Publications. https://publications.iadb.org/publications/spanish/document/PROMETEA-Transformando-la-administracion-de-justicia-con-herramientas-de-inteligencia-artificial.pdf

Venturini Jamila. (2019, octubre 10). Vigilancia, control social e inequidad: la tecnología refuerza vulnerabilidades estructurales en América Latina | Derechos Digitales. https://www.derechosdigitales.org/13900/vigilancia-control-social-e-inequidad/

Broussard, Meredith. (2018). Artificial Unintelligence. How computers Misunderstand the World. The MIT Press.

R3D. (2018, octubre 20). La inteligencia artificial es un gran reto para los derechos humanos en el entorno digital: relator especial de la ONU. R3D: Red en Defensa de los Derechos Digitales. https://r3d.mx/2018/10/19/la-inteligencia-artificial-es-un-gran-reto-para-los-derechos-humanos-en-el-entorno-digital-relator-especial-de-la-onu/

Tarricone, M. (2020, septiembre 30). ¿Hasta qué punto pueden automatizarse las decisiones judiciales? Enterate cómo funciona el software que ya se usa en la Ciudad de Buenos Aires. Chequeado. https://chequeado.com/investigaciones/hasta-que-punto-pueden-automatizarse-las-decisiones-judiciales-enterate-como-funciona-el-software-que-ya-se-usa-en-la-ciudad-de-buenos-aires/

TEDIC. (2019, mayo 9). Ética y protección de datos en la inteligencia artificial. https://www.tedic.org/etica-y-proteccion-de-datos-en-la-inteligencia-artificial/

UNESCO. (2020). Anteproyecto de recomendación sobre la ética de la inteligencia artificial.

1Conferencia de Dartmouth: https://en.wikipedia.org/wiki/Dartmouth_workshop

2Linea del tiempo de la inteligencia artificial https://digitalintelligencetoday.com/wp-content/uploads/2017/08/Artificial-Intelligence-AI-Timeline-Infographic.jpeg

3La traducción es propia.

4Al momento de cerrar este artículo, la implementación de AI en la sala constitucional se encuentra suspendida.

5Sólo se aplica en el fuero Contencioso Administrativo y Tributario de la Fiscalía (Poder Ejecutivo).

6Esta iniciativa de AI nace en la Fiscalía General Adjunta en lo Contencioso Administrativo y Tributario de Argentina. (Poder Ejecutivo).

7Clase sobre AI para la clínica jurídica en la Universidad Nacional de Asunción, liderada por TEDIC. Realizada el 8 de diciembre de 2020. https://www.youtube.com/watch?v=gMtNRYn5ULE&feature=youtu.be

8Fiscal General adjunto en lo Contencioso administrativo y Tributario de Argentina. Responsable de la implementación de Prometea en el Fiscalía.