Inteligencia Artificial y consultas jurídicas
La Inteligencia Artificial alucina cuando se somete a consultas legales
La industria legal está experimentando una transformación significativa gracias a la aparición de modelos de inteligencia artificial como ChatGPT, PaLM, Claude y Llama. Estos sistemas avanzados, con miles de millones de parámetros, no solo pueden procesar información, sino también generar texto autorizado sobre diversos temas. Su influencia se observa cada vez más en la vida diaria, incluido su aumento en las prácticas legales.
Numerosas empresas de tecnología legal y bufetes de abogados, incluso aquí, en España, están adoptando herramientas basadas en inteligencia artificial para diversas tareas, pero surge un problema: las alucinaciones, es decir, la tendencia de los modelos de inteligencia artificial a producir contenido que no se ajusta a los hechos legales reales o a los precedentes bien establecidos.
Un nuevo estudio realizado por investigadores de Stanford RegLab y el Institute for Human-Centered AI revela que las alucinaciones son frecuentes, con tasas que oscilan entre el 69% y el 88% en respuestas a consultas legales enmarcadas en el sistema judicial estadounidense . Estos modelos a menudo carecen de conciencia de sus errores y tienden a reforzar creencias jurídicas incorrectas, planteando la necesidad de realizar un uso muy cuidadoso de esta tecnología en el ámbito jurídico.
El estudio también muestra que el rendimiento de las IAs disminuye al abordar tareas más complejas que requieren una comprensión matizada de cuestiones legales. Además, las alucinaciones son más comunes en jurisprudencia de tribunales inferiores que en la de tribunales superiores, lo que cuestiona la idea de que estas nuevas herramientas reducirán las barreras de acceso a la justicia. Además, los modelos muestran un mejor rendimiento en casos destacados, especialmente aquellos de la Corte Suprema, pero tienen dificultades con el conocimiento jurídico localizado y muestran sesgos.
Otro riesgo identificado es el "sesgo contrafáctico", donde los modelos tienden a asumir que una premisa fáctica en una consulta es verdadera incluso si es incorrecta. Por ejemplo, si le preguntas por qué un determinado juez se pronunció en una determinada línea sobre un tema concreto, la IA tenderá a asumir que esta premisa es cierta y a buscar una respuesta acorde a la misma.
También existe el riesgo de que los modelos de inteligencia artificial contribuyan al "monocultivo", limitando a los usuarios a una perspectiva judicial estrecha, ignorando matices y diversidad de interpretaciones legales (incluso es relativamente frecuente que se hagan atribuciones a profesionales que no corresponden). Y es que en el mundo de la justicia hay margen para la creatividad, la revisión de un problema desde diversos ángulos, para resolver un problema.