En colaboración con la investigadora y activista Helena Suárez Val, fundadora de Feminicidio Uruguay, han utilizado herramientas de inteligencia artificial, como ChatGPT, para identificar y mitigar sesgos de género en las coberturas periodísticas de estos casos. Su tesis revela avances significativos en la auditoría algorítmica para la justicia social y propone métodos innovadores para mejorar la precisión y objetividad en el periodismo.
¿Cómo surge el tema para el proyecto final?
Como sociedad somos testigos de la problemática de los feminicidios en Uruguay, vemos en los noticieros y las redes sociales cómo esta alarmante situación nos rodea y nos muestra una realidad de la cual es difícil mirar para el costado. No es necesario que nos toque de cerca esta violencia para entender y empatizar con este problema, que coarta la libertad de todas las mujeres y sus derechos humanos. Pero podemos empezar por ahí: todas las personas tenemos una madre, quizás hermanas, esposas, hijas, tías, primas, amigas y así podríamos seguir, para darnos cuenta de que todas las mujeres y niñas están amenazadas por esta lamentable realidad.
Es a partir de esta reflexión, es que decidimos poner a disposición nuestra energía y los conocimientos adquiridos en el Master en Big Data y, a través de una amiga, entramos en contacto con la ONG, Asociación Civil El Paso, la cual se dedica a la defensa de los derechos humanos de niñas, adolescentes y mujeres.
A través de esta ONG conocimos a Helena Suárez Val, quien es investigadora, activista, comprometida con el feminismo y los derechos humanos. En 2015 fundó Feminicidio Uruguay, un registro y mapeo de casos de feminicidio en el país, y desde 2019 colidera el proyecto internacional de investigación acción participativa Datos Contra el Feminicidio.
En esas reuniones pudimos entrar en conocimiento de los estudios, publicaciones, investigaciones y desarrollos sobre la temática de feminicidios y en algunos casos se utilizaba la inteligencia artificial como herramienta.
En medio de las dinámicas de intercambio de ideas y búsqueda de soluciones a problemas pendientes, Helena compartió una inquietud que la motivaba desde hace tiempo: la identificación de sesgos de género en las coberturas periodísticas de casos de feminicidio.
Entender e intentar mitigar estos sesgos podría llevar a promover una representación más ética y responsable de los casos de feminicidio, para dar un trato más respetuoso a las víctimas, reducir la perpetuación de estereotipos dañinos y contribuir a la concientización sobre esta problemática social, y para lograr una sociedad más justa y equitativa.
A partir de los avances de la inteligencia artificial y particularmente con el auge de herramientas como ChatGPT, que permiten formular preguntas y obtener respuestas con una calidad casi humana, surgió la idea de explorar su potencial como herramienta para mitigar la problemática descrita: identificación y mitigación de sesgo en coberturas periodísticas de feminicidios.
¿Qué investigaciones formaron parte de esta tesis?
A lo largo de las investigaciones utilizamos un enfoque iterativo incremental que involucraron:
- Proceso de consolidación de reglas de sesgo a partir de publicaciones/guías sobre el sesgo en las coberturas periodística, la evolución de prompts para la reescritura de noticias utilizando como base la lista de reglas de sesgo.
- Proceso de creación de una lista inédita para la identificación de sesgo, así como el correspondiente refinamiento del prompt, la evaluación y comparación de la capacidad de identificación de sesgo (sin la facilitación de una lista de soporte) entre los modelos seleccionados
- Proceso de armado de lista de frases con sesgo a partir del conocimiento presente en los modelos LLMs con su respectiva explicación, remediación y su validación con juicio experto.
¿Cuáles fueron los hallazgos más significativos de los análisis? ¿Hubo algún resultado que les sorprendiera?
- La investigación se redireccionó hacia un proceso más cercano a lo que se conoce como Auditoría Algorítmica para la Justicia Social, dado que se sistematizó y se presentó evidencia sobre el desempeño de los Modelos de Lenguaje de Gran Tamaño (LLMs) estudiados en relación con su capacidad de identificar y mitigar sesgos, en lugar de crear una solución tecnológica específica.
- La importancia de definir y ejecutar un enfoque adaptativo y de aprendizaje continuo dada la evolución constante de los LLMs, y la necesidad de reevaluación y ajuste continuo para gestionar adecuadamente las mejoras de cada modelo.
- A pesar de las tácticas utilizadas para eliminar por completo las alucinaciones que estos modelos generan, se lograron definir ciertos delimitadores para mitigarla, pero no para eliminarla por completo. Queremos destacar que somos nosotros los humanos los que consideramos que ciertas respuestas dadas por el modelo son “alucinaciones” porque las interpretamos como falsas o inventadas, lo cierto es que el modelo responde correctamente dado que de fondo lo que hace es a través de un proceso generar la palabra que matemáticamente es la que tiene más probabilidad de ser.
- La capacidad de identificación de sesgos en los modelos investigados sigue un comportamiento estocástico, lo que implica que cada ejecución es única y puede omitir identificaciones. Recomendamos ejecutar el mismo prompt varias veces y generar el resultado como la unión de las respuestas.
- Esta tesis demuestra que el abordaje al desafío de sesgo en los modelos LLM debe contemplar la participación multidisciplinaria definida pero no limitada a expertas y expertos en estudio de género, sociología e ingeniería para poder sostener el aprendizaje en espiral.
Nos sorprendió cómo durante los meses de tesis los modelos ChatGPT, Claude y Gemini mejoraron y en particular Claude con la inclusión del Constitutional AI, que busca garantizar la seguridad en las respuestas de su modelo alineadas con la declaración de derechos humanos de la ONU.
¿Cómo podrían utilizarse los hallazgos para mejorar la objetividad y la precisión en el periodismo o en otros campos?
Los hallazgos de esta tesis proporcionan herramientas para mejorar la objetividad y la precisión en las coberturas periodísticas y otros campos. ¿Cómo? A través de una metodología de trabajo replicable, técnicas de investigación rigurosas, la participación activa de Helena como experta de dominio, que destaca la importancia de incluir actores involucrados en las temáticas como parte íntegra de nuestras investigaciones en big data e inteligencia artificial, y finalmente la generación de documentos inéditos para sustentar la labor de los periodistas en pos de ayudar a promover un periodismo más responsable y una sociedad más informada.
En particular los/las periodistas pueden hacer uso de los archivos con la consolidación de reglas de reescritura e identificación de sesgo, así como de un diccionario con 45 frases con sesgo acompañadas de su explicación y remediación.
¿Qué conocimientos específicos de big data encontraron más útiles durante tu investigación?
El disponer de conocimientos generales sobre la inteligencia artificial y en particular sobre los subcampos de esta como machine learning, deep learning, natural language processing, generative AI, large language models, nos dieron las bases para entender el comportamiento de los modelos GPTs a través de la arquitectura Transformer y su novedoso mecanismo de autoatención, que fue la pieza clave para lograr esta propiedad emergente de generación de texto similar al humano.
También nos permitió entender la dificultad de utilizar un modelo open source, tanto desde la necesidad de contar con noticias etiquetadas necesarias en el proceso de aprendizaje supervisado, así como el poder del cómputo necesario para poder entrenar un modelo de estas características.
Entender el aprendizaje por refuerzo a través del feedback humano que está presente en estos modelos como ChatGPT, Claude y Gemini, nos permitió comprender la necesidad de un enfoque distinto, introducido por Claude, que llaman Constitutional AI y que puede ser la clave para garantizar que las respuestas de estos modelos estén enmarcadas en un contexto de no violencia y cuidado de derechos humanos.
Disponer de un mecanismo para realizar pruebas, así como la utilización de métricas como Bleu, Rouge, y análisis de sentimiento para facilitar la comparación entre modelos/versiones.