¿Importa tanto el sesgo de la IA?

Los casos de sesgo en la inteligencia artificial para consumidores han atraído una atención generalizada y resaltan los desafíos que supone garantizar la equidad en los sistemas automatizados.

Google Gemini, por ejemplo, ha sido criticado por generar imágenes históricamente inexactas, mientras que Grok de xAI es conocido por ofrecer respuestas políticamente sesgadas.

ChatGPT ha sido objeto de escrutinio debido a su susceptibilidad a reflejar prejuicios incorporados en los datos de entrenamiento, lo que a veces ha dado como resultado sugerencias problemáticas o resultados ofensivos.

Se podría decir que hasta ahora el impacto de estos sesgos ha sido minimizado, calificándolos de una serie de errores que son naturales a medida que los sistemas aprenden y se desarrollan.

Pero, a medida que el papel y el uso de la IA generativa se vuelven más omnipresentes, aumenta el riesgo de que estos errores acaben siendo dañinos en el mundo real.

Entrenamiento

La estratega de inclusión e IA, Dra. Patricia Gestoso, ha señalado que el sesgo siempre ha existido y ha explicado que la IA esencialmente solo acelera el proceso de llegar a conclusiones sesgadas.

En parte, el problema se relaciona con un campo de percepción que incluye algoritmos y matemáticas que son objetivos, ha dicho.

“Eso no es cierto”, ha dicho Gestoso, destacando que el resultado depende de los datos ingresados: “Es como una receta. Un algoritmo es una receta”.

Gestoso (en la foto, a la derecha) lleva más de 15 años asesorando a empresas, organizaciones gubernamentales y no gubernamentales sobre tecnología, ciencia, diversidad e inclusión, análisis de datos y experiencia del cliente.

Ha señalado que las matemáticas y la estadística se vienen utilizando desde hace mucho tiempo “como armas contra determinados grupos”, manipulando los datos para adaptarlos a una narrativa específica. En este contexto, la IA simplemente ha facilitado el proceso, argumenta.
Si el sesgo siempre ha existido, ¿importa si la IA para consumidores exhibe los mismos rasgos?

Gestoso destaca el mercado laboral como un ejemplo donde el sesgo de la IA es problemático. Esta tecnología se utiliza para redactar descripciones de puestos y luego clasificar a los solicitantes, un proceso que puede excluir a personas incluso antes de que soliciten un puesto debido al uso de ciertos rasgos lingüísticos, o rechazar su solicitud según cómo se utilizan los datos proporcionados.

La IA ya está ofreciendo resultados diferentes a hombres y mujeres cuando la utilizan para investigar información sobre roles laborales y niveles de remuneración, o brindando resultados notablemente diferentes al preparar currículums vitae (CV) según se trate de un hombre o una mujer, ha dicho Gestoso.

Hay implicaciones más profundas. Gestoso destaca el papel cada vez mayor de la IA en la atención sanitaria, una posición que podría influir en el trato que reciben ciertos grupos o géneros.

Quizás el mayor problema, según Gestoso, es que la IA generativa, la rama que crea contenido como texto e imágenes, es persuasiva. La gente tiende a creer en los resultados que genera, aunque la mayoría de las empresas que desarrollan la tecnología reconocen que actualmente no está a ese nivel y que los resultados deben verificarse.

Si bien la IA en sí misma está causando problemas, Gestoso ha indicado que también existen deficiencias en el enfoque de prueba y error para su desarrollo.

Esto deja la puerta abierta a posibles daños mientras se abordan los errores y se solucionan los problemas, un enfoque que, según ha indicado Gestoso, no se aplicaría en ningún otro campo: “no le diríamos a un médico que simplemente pruebe un nuevo medicamento”.

Gestoso ha reconocido un posible vínculo entre los sesgos históricos o inconscientes de las personas que desarrollan la IA y las preconcepciones de la tecnología, aunque no llega a asegurar que esta es la raíz del problema.

En lugar de eso, ha indicado que la gente ha comprado la propaganda sobre una tecnología que quizás no estaba tan preparada para los roles que se promocionaban como aquellos que la apoyaban querían hacernos creer.

“Tenemos mucho de lo que yo llamo blanqueado de la IA”, ha dicho Gestoso, señalando casos en los que el trabajo manual sigue siéndolo de facto, o las empresas han dado marcha atrás en la sustitución del personal de atención al cliente por chatbots y agentes artificiales.
Legalidad

Gestoso no cree que abordar el sesgo de la IA requiera necesariamente nuevas leyes porque gran parte de la legislación existente se puede aplicar al mundo digital.

“No necesitamos desarrollar leyes para cada nueva tecnología, porque muchas leyes y reglamentos existentes se pueden aplicar fácilmente a ellas”.

Pero sí cree que las plataformas y los intermediarios que brindan acceso a la tecnología tienen un papel que desempeñar en términos de responsabilidad, y ha sugerido que cualquier ley que elimine dicha responsabilidad podría no ser útil porque se centra “solo en el creador, o en la persona que acosa, o en la persona que es racista conmigo”.

Gestoso ha señalado que la IA es un campo amplio que existe desde hace décadas y algunas aplicaciones ya han dado lugar a herramientas útiles junto con muchos desarrollos prometedores, aunque ha advertido contra ver la tecnología como una “bala mágica”.

Las implicaciones del sesgo de la IA pueden ser generalizadas, pero, dado lo avanzado que está actualmente el despliegue de la tecnología, ¿aún se puede orientar hacia resultados más justos y equilibrados?

Allison Koenecke, profesora adjunta de Ciencias de la Información en Cornell Tech (foto de la izquierda), cree que la respuesta no es sencilla.

El ámbito académico se centra en la intersección entre la economía y la informática, un campo que incorpora el concepto de equidad algorítmica. En general, esto permite evaluar si los sistemas de aprendizaje automático funcionan sin sesgos.

Koenecke indica que hay cierto grado de fluidez en la definición, explicando que abarca desde garantizar que los grupos marginados estén representados de manera justa en los algoritmos utilizados, “hasta los científicos informáticos más teóricos que están pensando en diferentes definiciones matemáticas de equidad”.

El concepto también puede implicar evaluar hasta qué punto funcionan bien los algoritmos “en diferentes grupos”.

Koenecke se centra en una de sus especialidades, las transcripciones de voz a texto, para destacar cómo pueden producirse sesgos potenciales.

Si “hay muy pocas voces negras que hablen inglés afroamericano en los datos de entrenamiento, las transcripciones de esas voces serán peores en el futuro”.

El poder popular

Ha señalado que “existen muchas otras razones por las que se pueden generar sesgos”. Las cualidades acústicas de las voces masculinas, por ejemplo, pueden resultar en transcripciones de peor calidad que las del habla femenina, lo que podría distorsionar los resultados a pesar de la igualdad entre las personas que entrenan los sistemas.

Koenecke afirma que las soluciones en tales casos “podrían tener más que ver con la arquitectura de modelado y menos con los datos de entrenamiento”.

Ha explicado que contar con un grupo diverso de desarrolladores puede ayudar a reducir los sesgos simplemente al agregar diferentes puntos de vista. En la conversión de voz a texto, si “nunca se piensa en evaluar si esta herramienta en particular funciona bien con la población sorda y con dificultades auditivas, entonces nunca se sabrá si funciona bien”.

Koenecke ha reconocido que las personas son parte del problema cuando se trata del sesgo de la IA, y ha enfatizado que la concientización es un arma clave para abordar el tema.

Esto recae en las personas, ya que la tecnología por sí misma podría aún no ser capaz de analizar los asuntos. “Podría ser difícil entrenar el modelo para que considere ese tipo de sesgos sin usar primero la experiencia humana para determinar qué tipo de sesgos están ocurriendo”.

Koenecke discrepa de Gestoso al creer que podría ser necesaria una regulación específica para evitar que el sesgo de la IA tenga consecuencias negativas en el mundo real. En el ámbito sanitario, por ejemplo, existen peligros potenciales si se prioriza a un grupo demográfico sobre otro.

“Creo que este tipo de regulaciones probablemente tengan que darse a nivel de dominio, porque la forma en que se regula algo en el ámbito médico es muy diferente a” el sector del reclutamiento.

Ella espera que “muchos de estos dominios tendrán que lidiar con problemas muy similares en términos de cuánto error están dispuestos a aceptar, cuántos podemos tener humanos en el circuito sirviendo como expertos supervisando el resultado de la IA y cuánta discriminación podría surgir” y mitigarse mediante regulaciones.

Peligro

Koenecke ha señalado que no es necesario buscar mucho para encontrar ejemplos de daños ya causados, como los suicidios provocados por chatbots. Ha añadido que esta es una buena razón para que las empresas prioricen la seguridad en lugar de esperar a que se les diga que lo hagan.

Helene Molinier, asesora sobre cooperación digital en la ONU, sostiene que la forma en que se entrena la IA está en el origen de los resultados sexistas, racistas y misóginos.

Ha señalado que la mayor parte de la IA está “entrenada con enormes conjuntos de datos que reflejan siglos de desigualdades”, destacando fuentes como libros, sitios web e imágenes.

Si estos “datos contienen estereotipos, discriminación o subrepresentación, la IA los replicará y, a veces, los amplificará”.

Molinier considera que no es difícil encontrar ejemplos de discriminación que podrían afectar a la IA: ha explicado que las mujeres, “las personas de color y las personas del Sur Global están subrepresentadas en muchos conjuntos de capacitación”, y se ha demostrado que muchos modelos lingüísticos grandes (LLM) “asocian a los hombres más a menudo con el liderazgo y a las mujeres con las profesiones de cuidados”.

Es similar al punto que ha planteado Gestoso respecto de los CV, uno que ella ha sugerido que se resalte cambiando el género de la persona involucrada mientras se mantienen todos los demás detalles iguales.

Molinier ha agregado que se ha descubierto que los generadores de imágenes muestran un sesgo de género similar al retratar a los hombres como políticos, profesores o consejeros delegados de empresas.

Se declara de acuerdo con la opinión de Koenecke sobre la amplitud de los grupos de desarrolladores, destacando nuevas razones para el sesgo de la IA.

Entre otros factores figuran los datos que se seleccionan para entrenar a los LLM, las opciones de diseño algorítmico, la ceguera institucional y la amplificación estructural e histórica de la discriminación.

“No se trata solo de un problema de programación; abordar el sesgo en la IA requiere enfoques integrales y de múltiples capas, así como una mayor paridad de género en los roles técnicos y de toma de decisiones”.

Molinier indica que varios marcos normativos de las Naciones Unidas y “globales” ofrecen “una hoja de ruta integral” hacia la inclusión y la gobernanza de género.

Entre ellos destacan los procedimientos de auditoría, unos mejores datos de origen, la educación y la protección de derechos, labores que, explica, son necesarias para evitar que el sesgo de la IA desanime a las mujeres a “ingresar y permanecer en el sector tecnológico”.

“Cuando los sistemas de IA subestiman sistemáticamente las aportaciones de las mujeres, reproducen estereotipos de género o no logran satisfacer satisfactoriamente sus necesidades, envían un mensaje claro sobre para quién y por quién está diseñada la tecnología”.

Molinier concluye que abordar ese sesgo es una cuestión urgente que atañe al corazón de la justicia y la igualdad digital.