Inteligencia artificial y derechos humanos: nuestros aportes a la 192ª sesión de la CIDH

La Comisión Interamericana de Derechos Humanos (CIDH) realizó en su 192ª sesión una audiencia regional de oficio sobre «Inteligencia artificial y derechos humanos«. Este espacio nos abrió una oportunidad para discutir los impactos de la inteligencia artificial (IA) en los derechos fundamentales, destacando tanto sus riesgos como las medidas necesarias para garantizar un desarrollo responsable y alineado con principios democráticos.

Principales temas discutidos

Durante la sesión, comisionados de la CIDH —como Stuardo Ralón, Carlos Bernal, Gloria de Mees y el Relator de la RELE Pedro Vaca—, junto a personas expertas y organizaciones de la sociedad civil, entre ellas TEDIC como oyente, analizaron diversas problemáticas relacionadas con la inteligencia artificial y su regulación. Se destacaron las siguientes preocupaciones:

Opacidad algorítmica y sesgos discriminatorios: La falta de transparencia en los sistemas de IA puede generar decisiones injustas, afectando especialmente a poblaciones vulnerables.
Necesidad de marcos regulatorios y mecanismos de derechos humanos: Aunque no existe una normativa específica para la IA, las regulaciones existentes deben ser fortalecidas para proteger los derechos fundamentales. Ejemplos: Ley de protección integral de datos personales, ley de ciberseguridad, ley de transparencia, entre otros.
Transparencia y gobernanza: La discusión se centró en que no es necesario crear nuevas normas. Las normas éticas son necesarias pero no suficientes, las mismas no pueden reemplazar el orden jurídico y se necesitan mecanismos de derechos humanos para implementar y mejorar las garantías para el uso responsable de la IA.
Aplicación de estándares interamericanos: Se hizo un llamado a establecer mecanismos efectivos para hacer cumplir los derechos humanos en el contexto de la IA.

La incidencia de TEDIC en materia de inteligencia artificial

Desde 2019, TEDIC viene abordando el impacto de las tecnologías basadas en inteligencia artificial en ámbitos como las migraciones, el trabajo, la administración pública y la vigilancia, realizando un análisis con enfoque de género y derechos humanos. A través de sus reportes e investigaciones, la organización ha identificado una de las principales debilidades estructurales del país: la ausencia de una ley integral de protección de datos personales y la falta de recursos adecuados para garantizar la transparencia y el acceso a la información pública.

Además, los datos recolectados para la prestación de servicios públicos no cumplen con estándares de datos abiertos ni con criterios básicos de transparencia. Su mantenimiento deficiente dificulta la implementación efectiva y ética de sistemas de inteligencia artificial. Esta falta de regulación y control genera riesgos significativos para la privacidad y los derechos de la ciudadanía.

Falta de regulación de datos personales – AI Global Index

TEDIC colaboró en el capítulo paraguayo para el Global Index de AI responsable, manifestando la urgente necesidad de una gobernanza ética en el país. El análisis expuso la ausencia de una ley de protección de datos personales, así como la falta de recursos adecuados para garantizar la transparencia y el acceso a la información pública.

Automatización en políticas de empleo

Junto a la organización regional Derechos Digitales, TEDIC investigó el despliegue de la herramienta “EmpleaPY”, desarrollada por el Ministerio de Trabajo, Empleo y Seguridad Social de Paraguay con apoyo del Banco Interamericano de Desarrollo (BID). Esta plataforma busca facilitar el acceso a ofertas laborales a través de procesos automatizados, pero el estudio identificó graves problemas en términos de privacidad, ya que su implementación se realizó sin un análisis previo de protección de datos, en un país que aún carece de legislación específica en la materia.

La investigación abordó el funcionamiento de esta herramienta en el marco del proceso de digitalización del Estado paraguayo y alertó sobre el uso de sistemas automatizados para la toma de decisiones en el ámbito laboral, sin transparencia sobre los criterios algorítmicos ni garantías para las personas usuarias. El estudio se enmarca en un contexto más amplio de creciente incorporación de tecnologías basadas en inteligencia artificial (IA) en las políticas públicas de la región.

Reconocimiento facial y derechos humanos

Desde 2018, TEDIC ha impulsado acciones legales en Paraguay para acceder a información pública sobre el uso de tecnologías de reconocimiento facial. Varias demandas presentadas contra el Ministerio del Interior y la Policía Nacional fueron rechazadas bajo el argumento de “seguridad nacional”, limitando el acceso ciudadano a información clave sobre estas tecnologías. Las investigaciones más recientes revelan serias preocupaciones sobre transparencia, corrupción y vulneraciones a los derechos humanos en la adquisición e implementación de sistemas de vigilancia biométrica. El estudio documenta un aumento sostenido en el uso de cámaras de reconocimiento facial por parte de la Policía Nacional, pero con resultados poco claros que generan alerta sobre la privacidad y la seguridad de los datos personales.

Además, se identificaron procesos de licitación opacos, adquisiciones cuestionables y una preocupante falta de controles que facilitan prácticas de corrupción. El informe también advierte sobre la ilegalidad potencial en el uso de fondos públicos para financiar estas tecnologías: en particular, el uso de los Fondos de Servicios Universales (FSU) administrados por CONATEL, que originalmente deben destinarse a mejorar el acceso a telecomunicaciones y no a sistemas de vigilancia.

En esta misma línea, en 2024 se promulgó en Paraguay la Ley para la prevención, control y erradicación de la violencia en el deporte, que habilita la recolección de datos biométricos en eventos y espacios deportivos. La ley fue aprobada en menos de un año y entró en vigor con rapidez, a pesar de que, antes de su promulgación, el Ministerio del Interior y la Asociación Paraguaya de Fútbol ya habían firmado un convenio para implementar sistemas de reconocimiento facial, sin que existiera aún un marco legal que lo autorizara.

Una publicación de TEDIC también resalta un posible conflicto de intereses, ya que la empresa proveedora de esta tecnología, ITTI SAECA, pertenece al Grupo Vázquez, conglomerado empresarial en el que el actual presidente de la República tiene participación accionaria. Esta situación ha generado cuestionamientos y resistencias por parte de hinchas de distintos clubes, que impulsan la campaña #ConMiCaraNo, en rechazo a la vigilancia biométrica en el fútbol paraguayo.

Uso de IA en la Justicia Paraguaya

En 2019, el Poder Judicial de Paraguay inició negociaciones para adquirir “Prometea”, un software de inteligencia artificial (IA) desarrollado en Argentina, con el objetivo de implementarlo en la Sala Constitucional de la Corte Suprema de Justicia. Este sistema, basado en IA y machine learning supervisado, está diseñado para generar automáticamente dictámenes judiciales, con la intención de mitigar la morosidad y optimizar los procesos burocráticos.

Aunque hasta la fecha no se han registrado avances en su implementación, este interés por parte de los poderes y administraciones del Estado en adoptar tecnología es significativo. Sin embargo, es fundamental realizar un análisis previo de impacto para evaluar si esta herramienta es realmente efectiva para reducir la mora judicial. Uno de los principales desafíos radica en extrapolar Prometea, diseñado para una instancia administrativa de ejecución fiscal—donde los procedimientos legales son más estructurados y limitados—a un ámbito completamente distinto, como la Sala Constitucional de la Corte Suprema. Existen diferencias fundamentales dentro del sistema judicial: un procedimiento administrativo no es equivalente a uno penal o civil, y cada sistema tiene sus propias instancias procesales. Por ello, es crucial tener precaución al adoptar soluciones tecnológicas fuera del contexto para el que fueron originalmente diseñadas.

La automatización de la guerra a través de robots asesinos

Desde 2020, TEDIC forma parte de la campaña Stop Killer Robots para prohibir las armas autónomas y, por lo tanto, a mantener un control humano significativo sobre el uso de la fuerza. Desde TEDIC nos unimos a esta campaña global buscando crear espacios de diálogo entre múltiples sectores interesados para sensibilizar sobre este tema en particular y fortalecer los esfuerzos de la sociedad civil por abordar la cuestión del uso y el abuso de tecnología, en particular de la inteligencia artificial, que impregna la violencia y el control.

Durante los meses de marzo y abril de 2024 llevamos a cabo mesas de trabajo con organizaciones de la sociedad civil de Paraguay y representantes de instituciones del Estado paraguayo (Ministerio de Defensa Nacional, Ministerio de Relaciones Exteriores y Congreso Nacional). También presentamos a la ONU el pronunciamiento de la sociedad civil del Paraguay que incluyó recomendaciones para los estados. El pronunciamiento, denominado “Detengamos la deshumanización digital: Instamos a Paraguay y a los países miembros de la ONU a regular estrictamente las armas autónomas” contó con el respaldo de Amnistía Internacional Paraguay, la Coordinadora de Derechos Humanos del Paraguay (CODEHUPY), Heñói Centro de Estudios y Promoción de la Democracia los Derechos humanos y la Sostenibilidad Socio-ambiental y la Fundación Vencer.

Haciendo eco a estas recomendaciones, en diciembre de 2024, la Asamblea General de la ONU integrada por 193 Estados, aprobó la resolución A/RES/79/62 sobre sistemas de armas autónomos letales. Incluyendo a Paraguay, 166 países, votaron a favor de la Resolución 79/62 sobre sistemas de armas autónomas letales, mientras que 3 votaron en contra y 15 se abstuvieron. La resolución crea un nuevo foro bajo los auspicios de la ONU para debatir los graves desafíos y preocupaciones que plantean los sistemas de armas autónomas y las medidas que deben tomarse al respecto.

Vigilancia en la Triple Frontera

En 2023, TEDIC, en colaboración con Data Privacy Brasil, llevó a cabo una investigación sobre el funcionamiento de las tecnologías de vigilancia fronteriza en la triple frontera entre Brasil, Argentina y Paraguay. El estudio analizó dos programas de seguridad clave: Muralha Inteligente en Brasil y el Sistema Migratorio Automatizado de Reconocimiento Facial (SMARF) en Paraguay, con el objetivo de comprender sus narrativas, evaluar su efectividad y determinar si realmente cumplen con los propósitos para los que fueron diseñados.
Los hallazgos revelan que, al igual que en otras investigaciones previas, persiste una preocupante falta de transparencia en el uso y funcionamiento de estos sistemas. La opacidad en torno a su implementación impide un adecuado control ciudadano y plantea serias dudas sobre su impacto en los derechos fundamentales de las personas que transitan por la región.

Declaración global “Within Bounds: Limiting AI’s environmental impact”

TEDIC también ha firmado una declaración que exige una gestión más justa y responsable de la IA para minimizar su impacto ambiental. Este documento establece cinco demandas: comenzando por la eliminación urgente de los combustibles fósiles en toda la cadena de suministro de la industria de la IA. Además, resalta la necesidad de que la infraestructura informática de estos sistemas respete los límites planetarios, evitando un uso desmedido de recursos. También enfatiza la responsabilidad de las grandes empresas del sector en garantizar cadenas de suministro éticas y sostenibles, asegurando que su influencia económica y política no comprometa el bienestar ambiental y social. Otro aspecto fundamental de la declaración es la necesidad de una participación pública equitativa en la toma de decisiones sobre el uso de la computación, sin que el activismo climático y medioambiental sea criminalizado. Finalmente, se exige mayor transparencia en torno a las implicaciones sociales y ambientales de las infraestructuras de IA, garantizando que la información sea accesible antes de su construcción o expansión.

Gobernanza de la IA en Paraguay

Actualmente, el Ministerio de Tecnologías de la Información y Comunicación (MITIC) y Consejo Nacional de Ciencia y Tecnología (CONACYT) se encuentran en la etapa de diagnóstico del RAM (Recomendaciones sobre la Ética de la Inteligencia Artificial) de la UNESCO. Para 2025, el objetivo es diseñar una hoja de ruta que guíe tanto la implementación del RAM como otros indicadores clave, dentro de un marco de gobernanza participativa.

Este esfuerzo es significativo, ya que refleja el interés del gobierno en promover el desarrollo y uso responsable de la inteligencia artificial en el país. Sin embargo, es fundamental que este proceso incluya un enfoque basado en derechos humanos, transparencia y participación ciudadana, asegurando que las políticas tecnológicas respondan a las necesidades de la sociedad y no comprometan la privacidad ni las libertades individuales. En este contexto, TEDIC está interesada en acompañar este proceso, contribuyendo con su experiencia en derechos digitales, transparencia y ética en la inteligencia artificial, para garantizar que el diseño e implementación de estas políticas sean inclusivos y respeten los derechos fundamentales.

Recomendaciones de la sociedad civil de la región a la CIDH sobre AI

Como resultado de la sesión, la CIDH solicitó que la sociedad civil acerque sus recomendaciones para los multistakeholders sobre inteligencia artificial y derechos humanos. Derechos Digitales de América Latina lideró el documento de aportes de la sociedad civil de la región, un esfuerzo colaborativo en el que participaron 17 organizaciones. TEDIC contribuyó activamente, aportando su experiencia y antecedentes, además de colaborar en la formulación de recomendaciones para la protección de los derechos humanos en el contexto del uso de IA.

Las recomendaciones fueron:

Para los Estados:

Ofrezca a través de los Comisionados y las distintas Relatorías Especiales apoyo y orientación técnica a los Estados para integrar una perspectiva de derechos humanos que intersecten el ciclo de vida de las políticas públicas (diseño, implementación, evaluación y monitoreo de su impacto en derechos humanos) que buscan implementar tecnologías digitales para la prestación de servicios públicos, el acceso a bienes o ejercicio de derechos por parte de la ciudadanía.
Genere estándares y lineamientos que operacionalicen la implementación de la perspectiva de derechos humanos y de impacto en derechos humanos aplicable al ciclo de vida de los datos y ciclo de vida de la inteligencia artificial cuando es desplegada por los Estados a la prestación de servicios públicos, el acceso a bienes o ejercicio de derechos por parte de la ciudadanía.
Profundice en la elaboración de estándares interamericanos preexistentes sobre participación significativa, y afirme la importancia de integrar procesos participativos activos, abiertos, continuos y diversos en el diseño de las políticas públicas que buscan implementar sistemas de IA en el Estado para que distintos grupos poblacionales, en especial los más impactados, puedan involucrarse en los procesos de toma de decisiones públicas.
Acompañe y oriente procesos de alfabetización de servidores públicos involucrados en los procesos de adopción de sistemas de IA, así como aquellos servidores involucrados en la satisfacción de derechos y su reparación a través de mecanismos judiciales y extrajudiciales. Apoyar asimismo los procesos de alfabetización de la ciudadanía sobre el impacto que tienen los sistemas de IA en el ejercicio de sus derechos.
Que, en la elaboración de dichos estándares, considere como punto de partida los estándares consolidados en el sistema universal de derechos humanos, en particular los siguientes:
- La obligación de los Estados de implementar mecanismos y evaluaciones de debida diligencia sistemática aplicada a la adopción y despliegue de tecnologías digitales intensivas en la explotación de datos, adoptada en la Resolución de la Asamblea General A/HRC/51/17 de 2022 sobre “El derecho a la privacidad en la era digital”. Además, dichas evaluaciones de debida diligencia deberían ser consagradas en “obligaciones jurídicamente vinculantes”, que contengan protocolos de comprobación de datos que protejan del sesgo algorítmico, racial y étnico, y que “deberían estar listos antes del despliegue de nuevas tecnologías”, según lo advierte la Resolución A/HRC/56/68 de 2024 sobre “Las formas contemporáneas de racismo, discriminación racial, xenofobia, formas conexas de intolerancia”.
- La obligación de los Estados de implementar evaluaciones de impacto en derechos humanos comprehensivos y regulares aplicables al diseño, desarrollo, compra, despliegue y operación de las tecnologías digitales intensivas en la explotación de datos, adoptada en la Resolución de la Asamblea General A/HRC/51/17 de 2022 sobre “El derecho a la privacidad en la era digital”.
- Advertir que el procesamiento de grandes cantidades de datos, especialmente cuando hay datos personales, pueden representar elevado riesgo para la privacidad, en especial para su uso con fines de (i) perfilamiento, (ii) reconocimiento facial, (iii), predicción comportamiento y del crimen, (Iv) calificación o puntuación (scoring) personas, reconocido en la Resolución de la Asamblea General A/HRC/RES/48/4 de 2021 sobre “El derecho a la privacidad en la era digital”.
- La obligación estatal de adoptar mecanismos de explicabilidad y transparencia de todas los procesos soportados en sistemas de IA, en especial cuando se adoptan para automatizar procesos en el sector público, reconocida en la Resolución de la Asamblea General A/HRC/48/31 de 2021 sobre “El derecho a la privacidad en la era digital”.
- La obligación estatal de implementar mecanismos de auditoría independiente de los sistemas de automatización desplegados en el sector público, reconocida en la Resolución de la Asamblea General A/HRC/48/31 de 2021 sobre “El derecho a la privacidad en la era digital”.
- La obligación estatal de asegurar la participación de todos actores interesados, incluidas personas potencialmente afectadas, incluidos grupos raciales y étnicos marginados, en el despliegue y uso de la IA en el Estado, reconocida en la Resolución de la Asamblea General A/HRC/48/31 de 2021 sobre “El derecho a la privacidad en la era digital”, y la Resolución A/HRC/56/68 de 2024 sobre “sobre las formas contemporáneas de racismo, discriminación racial, xenofobia, formas conexas de intolerancia”.
- La importancia de prohibir regulatoriamente usos de alto riesgo de sistemas de IA, reconocida en la Resolución de la Asamblea General A/HRC/48/31 de 2021 sobre “El derecho a la privacidad en la era digital”.
- La obligación estatal de abstenerse del uso de sistemas de IA y reconocimiento facial para identificar personas en el marco de protestas pacíficas, así como prohibir sistemas de vigilancia indiscriminada y masiva, reconocida en la Resolución de la Asamblea General A/HRC/44/24 de 2020 sobre “El impacto de las nuevas tecnologías en la promoción y protección de los derechos humanos en el contexto de las reuniones, incluidas las protestas pacíficas”.
- La obligación estatal de desarrollar marcos regulatorios de la IA que sean comprehensivos de los efectos e impactos del racismo sistémico, que su contenido se articule con el derecho internacional de los derechos humanos, y que su alcance aborde de manera exhaustiva y eficaz la prevención de la discriminación racial de los sistemas de IA, reconocida en la Resolución A/HRC/56/68 de 2024 sobre “sobre las formas contemporáneas de racismo, discriminación racial, xenofobia, formas conexas de intolerancia”.
- La obligación estatal de apropiar mecanismos de apelación claros y accesibles, así como de restitución, indemnización y rehabilitación ante sistemas de IA que hayan dado lugra a violaciones de los derechos humanos, y que su alcance cubra también en el abordaje de los impactos sistémicos del racismo, que incluyan además la intervención y revisión humana, reconocida en la Resolución A/HRC/56/68 de 2024 sobre “sobre las formas contemporáneas de racismo, discriminación racial, xenofobia, formas conexas de intolerancia”.
- Que en la elaboración de futuros informes temáticos y de países, así como de futuras visitas de trabajo in loco:
  - Incluir de manera transversal una perspectiva de derechos humanos que permita analizar, documentar y monitorear el impacto y efectos de la apropiación y despliegue de sistemas de IA por los Estado en, por ejemplo, la protección de las niñeces, la protección de mujeres y niñas, el trabajo de personas defensoras de los derechos humanos, la protección de los trabajadores y el futuro del trabajo, la protección del medio ambiente y el cambio climático, la protección de grupos étnicos y racializados, la protección de las personas periodistas, entre otros. Y el ejercicio de derechos impactados por estos sistemas, como la libertad de expresión, la salud, el trabajo, la privacidad, la educación, la protección de datos, el acceso a la justicia, a la igualdad y no discriminación, el acceso a la información pública, entre otros.
  - Requerir a los Estados la generación de información pública, abierta, actualizada y sucesiva sobre la adopción, pilotaje, despliegue y evaluación de sistemas de IA implementados o que, habiendo sido implementados, fueron desmontados o retirados.
  - Publicar informes diagnósticos sobre el estado regional de uso, implementación, evaluación y monitoreo de los sistemas de IA desplegados por los Estados o que, habiendo sido implementados, fueron desmontados o retirados.

Para los actores del sector privado

Genere estándares y lineamientos que operacionalicen los compromisos de las Empresas en materia de Derechos Humanos y su aplicabilidad a las actividades de las empresas tecnológicas.
Sobre este particular, sugerimos respetuosamente adoptar el contenido de la Resolución de la Asamblea de las Naciones Unidas A/HRC/50/56 “La aplicación práctica de los Principios Rectores sobre las Empresas y los Derechos Humanos a las actividades de las empresas tecnológicas” adoptada en 2022, que consagra acciones específicas para las empresas que desarrollan, diseñan, venden o licencian tecnologías digitales, en especial, sistemas de IA, que luego son apropiadas por los Estados; así como obligaciones específicas para los Estados que adquieren, compran, licencian o tercerizan actividades de la función pública en empresas privadas del sector tecnológico.
Aborde de manera diferenciada el rol y alcances que tienen los distintos actores del sector privado (empresas nacionales y transnacionales de tecnologías; actores de la cooperación y el desarrollo; universidades privadas, etc.), así como el alcance de sus obligaciones en derechos humanos aplicada a los sistemas de IA cuando son apropiados o desplegados por los Estados.

Para la sociedad civil

Establecer, con la cooperación y alianza de la sociedad civil interesada y otros actores interesados, grupos de trabajo que permitan avanzar en el monitoreo, estudio, documentación, evaluación e intercambio de información en torno a casos de despliegue de sistemas de IA por los Estados.
Desplegar, con la colaboración de la sociedad civil interesada, sesiones informativas y de intercambio de conocimiento entre la CIDH y sus distintas Relatorías, para ampliar capacidades y conocimiento técnico mutuo.
Alentar y orientar a la sociedad civil para que pueda apropiarse de los mecanismos del Sistema Interamericano de Derechos Humanos (como su involucramiento con el SIMORE, las audiencias temáticas, el envío de casos ante el SIDH, etc.) para fortalecer sus capacidades de incidencia a nivel regional.
Generar espacios de encuentro, en línea y fuera de ella, entre los integrantes de la CIDH, sus distintas Relatorías, y la sociedad civil, para dar seguimiento a las acciones apropiadas por ésta a partir de la audiencia regional citada de oficio “Derechos Humanos e Inteligencia Artificial”.

Otros esfuerzos de la OEA en materia de IA

Solicitamos a la CIDH que pueda articular, asesorar y orientar desde una perspectiva de derechos humanos, los esfuerzos emprendidos por la OEA dirigidos a la generación del así llamado Marco Jurídico Interamericano de Gobernanza de Datos e IA, y que está compuesto por tres documentos: los a) Lineamientos para la gobernanza de datos y la IA, b) la Publicación regional sobre gobernanza de datos e IA, y la c) Política Modelo de Gobernanza de Datos, generados en atención al mandato asumido por la OEA en la última Asamblea General.
De igual manera, instamos a la CIDH para que pueda asesorar y orientar, desde una perspectiva de derechos humanos, el proyecto de Declaración “Hacia el Desarrollo y Despliegue de una Inteligencia Artificial Segura, Protegida y Confiable en las Américas”, publicada en borrador por la OEA en diciembre de 2024.

La presente publicación ha sido financiada por la Unión Europea. Su contenido es responsabilidad exclusiva de TEDIC y no refleja necesariamente los puntos de vista de la Unión Europea.