En el año de la popularización de chatbots de IA generativas, Newtral ha desarrollado ProgramIA, un asistente tipo ChatGPT para agilizar el análisis de la información contenida en los programas electorales de los principales partidos políticos que se presentan a estas elecciones generales en España. Las promesas de cada partido político están en un documento que suelen publicar sólo pocas semanas antes de cada votación: el programa electoral. Normalmente tienen cientos de páginas y este 23-J no ha sido la excepción. Un votante que quiera leer los de los cuatro principales partidos políticos tendrá ante sí 747 páginas de texto, el triple del contenido que había en las elecciones de 2019.
El chatbot desarrollado por el equipo de ingenieros y periodistas de Newtral utiliza toda esa información para dar respuestas en tiempo real a consultas de los usuarios sobre los partidos, como por ejemplo: ¿El PSOE va a invertir más dinero en Educación? ¿Qué diferencias hay entre Vox y Sumar sobre pensiones? Soy autónomo, ¿quién propone medidas que mejoren mi situación? ¿Qué propuestas comparten PP y PSOE sobre Sanidad?
Comparador del 10-N: el origen
Durante los meses previos a las elecciones del 10-N de 2019 preparamos el Comparador de programas electorales, que también hemos actualizado en este 23-J. Esta herramienta permite ver mejor los programas electorales por temas de interés, comparando las propuestas de dos partidos lado a lado y permitiendo búsquedas por palabras clave limitadas. El Comparador ha sido una referencia durante toda la legislatura para muchos lectores, periodistas y analistas políticos que consultaban las propuestas originales de los partidos en un formato accesible.
Este año, además de actualizar el Comparador con los programas actuales y nuevos temas (sale Brexit y entra Ucrania, por ejemplo) “pensamos que podría ser una buena idea utilizar IA para agilizar el proceso de sistematizar la información contenida en los programas electorales”, dice Joaquín Ortega, director de contenidos de Newtral.
El trabajo previo de los fact-checkers, entrenando el proceso sobre la base de los programas de 2019, y trabajando sobre la taxonomía de temas creada para el comparador, hicieron posible que el contenido estuviera disponible en muy pocos días. Desde que los partidos publicaron sus programas, el viernes 7 de julio, todos los contenidos fueron revisados por redactores y editores en un último esfuerzo contrarreloj de la redacción.
Cómo funciona ProgramIA: respuestas elaboradas para preguntas complejas
Cuatro años después del Comparador de 2019, asistimos a la explosión de ChatGPT y otros chatbots similares. La IA generativa que puede multiplicar la desinformación, también puede ser usada de otra manera. Para reducirla. El equipo tecnológico de Newtral lleva unos años desarrollando algoritmos para distintas herramientas de IA aplicadas al fact-checking y al periodismo. Sobre esta experiencia han desarrollado una IA conversacional como herramienta adicional.
“La IA, además de incorporar las funcionalidades del comparador, resuelve preguntas más complejas, como qué medidas específicas hay para una profesión o para un colectivo de personas marginado por determinadas casuísticas”, explica Sara Estévez, ingeniera de Newtral. De esta forma, ProgramIA permite consultar sobre casos concretos, como el propio del usuario, y obtener un resultado más esclarecedor o específico. Las respuestas en algunos casos pueden ofrecer referencias con enlaces claramente diferenciados a más información verificada para seguir ampliando conocimientos.
ProgramIA es capaz de dar respuestas elaboradas, comparar propuestas, establecer diferencias y semejanzas o resumir las posiciones de los partidos porque organiza la información estructurada (como los datos con un formato estandarizado, las palabras clave y los tópicos definidos previamente) y desestructurada (el resto de información, que es más de contexto) contenida en los programas electorales.
¿Cómo han logrado que “entienda” preguntas formuladas con otras palabras, diferentes a las que están en los programas, aunque se hable de lo mismo? Se han utilizado diferentes técnicas para extraer entidades, y a través de una taxonomía propia de temas y subtemas se logra más precisión en las respuestas. “Descubrimos que, en ciertos pasos del proceso, funciona mejor la incorporación de ChatGPT que una búsqueda básica sobre la información que tengamos almacenada”, explica Estévez.
Cómo se utiliza un gran modelo de lenguaje para ProgramIA
ProgramIA usa actualmente ChatGPT-3.5, aunque el desarrollo permite utilizar otros grandes modelos de lenguaje similares, como BARD. Las pruebas que hizo el equipo con ChatGPT-4, la última versión ofrecida por OpenIA que se cree tiene casi 600 veces más parámetros que su predecesor, mostraron que ralentizaba demasiado el tiempo de las respuestas, y no ofrecía en este caso de uso una diferencia sustancial en contexto.
¿Cómo hicieron entonces para enriquecer la comprensión del modelo? Lograron tener un contexto que permitiese conseguir respuestas más sofisticadas y acertadas ampliando el número de tokens de ChatGPT-3.5 a 16k, desde los 4k que tiene originalmente.
Los tokens son las unidades de texto, básicamente partes de palabras, que utilizan los grandes modelos de lenguaje, como ChatGPT. Después de entrenarse con enormes corpus de textos, estos modelos de lenguaje pueden predecir el siguiente token, con lo que son capaces de dar respuestas conversacionales coherentes. Incrementando esa ventana de contexto se consigue mejorar el rendimiento general de la IA admitiendo entradas más grandes y complejas y también ofreciendo respuestas elaboradas y coherentes.
El modelo de lenguaje se utiliza en ProgramIA de dos maneras diferentes; por un lado, para recuperar propuestas electorales relevantes. El equipo de periodistas revisó primero los programas electorales y marcó cada propuesta con una taxonomía de temas relacionados con las elecciones (por ejemplo: Educación, Energía, o Sector Público). Luego se le pidió al modelo de lenguaje que seleccione los más relevantes de esta taxonomía dada la consulta del usuario. Esta solución funciona mucho mejor que una búsqueda simple sobre los programas electorales. Por otro lado, se utiliza ChatGPT para responder de forma conversacional, y se le han hecho ajustes para equilibrar las respuestas y que no provea respuestas con sesgo o parciales. Por ejemplo, el límite de tokens, un parámetro absolutamente técnico, debe balancearse para que no afecte a unos partidos más que a otros en una respuesta larga o en una pregunta muy amplia.
Aún así, al ser un sistema automatizado, la respuesta proporcionada no está elaborada por Newtral sino por la IA, por lo que desde Newtral piden que se reporte cualquier imprecisión a [email protected] para que puedan corregirlo.
Un diseño contra las alucinaciones
Conscientes de que los efectos de las llamadas alucinaciones son frecuentes en chatbots de IA generativa, ProgramIA trata de evitarlas desde su mismo diseño. Se utiliza la Búsqueda y Recuperación de información, una técnica utilizada en IA, en un escenario que considera solamente el contenido de los programas electorales y utiliza el motor conversacional de ChatGPT para la respuesta final. Evita por tanto que el contenido de la respuesta considere “lo que otros dicen que dicen los programas”.
Aunque las respuestas que arroja ProgramIA se ajustan al contenido estrictamente publicado oficialmente por las formaciones políticas, el asistente va más allá que una simple búsqueda y está afinado para comparar diferencias en la terminología. Si una propuesta política es polémica, al tener información actualizada, se evita la confusión que puedan causar respuestas basadas en opiniones o datos sin contrastar. De hecho, si no hay respuesta dentro de los programas electorales, el usuario recibirá una respuesta inequívoca de que el chatbot no puede responder a su petición.
ProgramIA no recolecta datos de registro de usuario, y sólo utiliza las instrucciones provistas por los usuarios para el funcionamiento del chatbot. Por seguridad, el asistente no contestará a instrucciones que salgan de su ámbito ni dará información que no esté relacionada con los programas electorales.
Newtral es una agencia de verificación que no recibe ningún tipo de subvención, publicidad institucional ni financiación por parte de ningún gobierno. La metodología de trabajo, los procesos editoriales y el presupuesto con el que cuentan están publicados en su web.