Utilidades IASesgos en la IA y cómo mitigarlos
Qué entendemos por sesgo
En este contexto, un sesgo es una desviación sistemática en los resultados que no responde a la realidad ni a un criterio justo. Puede traducirse en que un sistema describa de forma estereotipada a ciertos colectivos, funcione peor con determinados acentos o idiomas, o recomiende de manera desigual en procesos de selección.
No implica mala intención de nadie. Un modelo aprende de grandes cantidades de texto escrito por personas, y ese texto refleja desigualdades, estereotipos y omisiones de la sociedad. El modelo los absorbe y puede reproducirlos de forma sutil.
De dónde proceden
- Datos de entrenamiento: algunos grupos, lenguas o regiones están menos representados o aparecen con más estereotipos.
- Etiquetado humano: las personas que valoran respuestas aportan sus propios criterios y puntos ciegos.
- Diseño del sistema: qué se mide, qué se optimiza y qué se considera una buena respuesta.
- Contexto de uso: usar una herramienta en una población distinta de aquella para la que se pensó.
- Interacción: cómo formula la pregunta el usuario condiciona el sesgo de la respuesta.
Identificar cuál de ellas pesa más en tu caso orienta las medidas correctoras que tendrá sentido aplicar. No siempre es posible saberlo con certeza.
Ejemplos de cómo se manifiesta
Imagina que pides a un asistente redactar la descripción de una persona con una profesión determinada y, sin que lo indiques, asigna siempre el mismo género. O que un sistema que ordena currículos prima perfiles parecidos a los contratados en el pasado, perpetuando una desigualdad previa. O que un reconocimiento de voz funciona peor con ciertos acentos.
Son ejemplos ilustrativos de mecanismos conocidos, no mediciones. La magnitud real depende del sistema concreto y solo se descubre probándolo con casos que representen a las personas afectadas.
Probar estos casos con tus propios datos es la única forma de saber si te afectan.
Cómo detectarlos en tu uso
Una técnica sencilla es el contraste: repite la misma petición cambiando solo un atributo (género, origen, edad, nombre) y compara las respuestas. Si cambian de forma relevante sin motivo, hay un sesgo. Hazlo con varias muestras, porque la respuesta del modelo varía de una ejecución a otra.
En usos que afectan a personas, como selección, evaluación o acceso a servicios, no basta con la intuición: conviene documentar las pruebas y que revisen los resultados personas con perspectivas diversas, incluidas las afectadas por la decisión.
Documenta lo que pruebas para poder repetirlo después y comparar.
Medidas para mitigarlos
- Define qué tareas no deben automatizarse sin intervención humana.
- Indica en el prompt los criterios que deben usarse y los que no.
- Elimina datos irrelevantes para la decisión, sabiendo que otros datos pueden actuar como sustitutos.
- Prueba con casos diversos antes de usarlo y revisa de forma periódica.
- Ofrece vías de reclamación y revisión humana a las personas afectadas.
- Informa a los usuarios de que existe esta limitación.
Ninguna medida aislada es suficiente; funcionan mejor combinadas y revisadas periódicamente. Conviene además dejar constancia por escrito de qué se ha probado y qué se ha decidido.
Límites y responsabilidad
Ninguna medida garantiza la ausencia de sesgo, y reducir uno puede introducir otro. Además, no existe una única definición de equidad: distintos criterios razonables pueden entrar en conflicto, y elegir entre ellos es una decisión de valores, no solo técnica.
La responsabilidad final de una decisión sigue siendo de la persona u organización que la toma, no del programa. En decisiones de alto impacto sobre personas, la normativa europea y la nacional establecen obligaciones específicas; consulta con un profesional competente para saber cuáles aplican a tu caso.
No hay atajos para esta responsabilidad, y conviene asumirlo con claridad desde el principio.
Un procedimiento de auditoría sencillo
Sin necesidad de grandes recursos, puedes auditar un uso concreto. Define las decisiones que apoya la herramienta, prepara casos que difieran solo en un atributo sensible y ejecútalos varias veces. Registra las diferencias y valora si son justificables por un criterio legítimo.
Después, decide qué hacer: modificar las instrucciones, limitar el uso, añadir revisión humana o descartar la herramienta para esa tarea. Repite la auditoría cuando el proveedor actualice el modelo o cambie el contexto de uso, porque un resultado aceptable hoy no garantiza que lo siga siendo mañana.
Es un trabajo modesto, pero muy revelador.
Preguntas frecuentes
¿Se pueden eliminar por completo los sesgos?
No de forma realista. Se pueden detectar, medir y reducir, pero los datos y las sociedades que los generan no son neutrales. El objetivo práctico es controlar el impacto y mantener supervisión humana en decisiones importantes.
¿Basta con no incluir datos como el género o el origen?
No siempre. Otras variables, como el código postal o ciertos hábitos, pueden actuar como sustitutos indirectos. Hay que probar los resultados, no solo retirar campos, para comprobar si persiste el trato desigual.
¿Cómo comprobar el sesgo en un asistente de texto?
Repite la misma petición cambiando un solo atributo y compara las respuestas en varias ejecuciones. Si hay diferencias sistemáticas sin justificación, ajusta las instrucciones o evita usar la herramienta en esa tarea.
Guías relacionadas
- Cómo evaluar una herramienta de IA antes de adoptarla: Checklist práctico para valorar una herramienta de IA: utilidad real, calidad, privacidad, costes, dependencia del proveedor y plan de salida.
- Alucinaciones de la IA: qué son y cómo detectarlas: Las alucinaciones son respuestas falsas con apariencia convincente. Entiende por qué ocurren, qué señales delatan un error y cómo verificar los datos.
- Accesibilidad y IA: usos útiles y límites: La IA puede ayudar a personas con discapacidad visual, auditiva, cognitiva o motora. Repasa usos reales, límites de fiabilidad y cuestiones de privacidad.