Los chatbots de IA pueden proporcionar información errónea sobre elecciones, advierten los expertos
Un estudio revela que el chatbot Bing AI de Microsoft dio respuestas inexactas en un tercio de las preguntas sobre elecciones
Expertos advierten que no se debe confiar en los chatbots de inteligencia artificial para obtener información precisa sobre las elecciones, a pesar de que puedan parecer confiables y citar fuentes aparentemente confiables.
Una nueva investigación realizada por dos organizaciones sin fines de lucro europeas ha descubierto que el chatbot Bing AI de Microsoft, ahora conocido como Microsoft Copilot, proporcionó respuestas inexactas a una de cada tres preguntas básicas sobre candidatos, encuestas, escándalos y votaciones en ciclos electorales recientes en Alemania y Suiza. En muchos casos, el chatbot citó erróneamente sus fuentes.
Estos problemas no se limitaron a Europa, ya que preguntas similares también generaron respuestas inexactas sobre las elecciones estadounidenses de 2024.
Los hallazgos de las organizaciones sin fines de lucro AI Forensics y AlgorithmWatch, compartidos con The Washington Post antes de su publicación, no afirman que la información errónea proporcionada por Bing haya influido en el resultado de las elecciones. Sin embargo, refuerzan la preocupación de que los chatbots de inteligencia artificial actuales puedan contribuir a la confusión y la desinformación en futuras elecciones a medida que Microsoft y otras grandes empresas tecnológicas los integran rápidamente en productos cotidianos, incluida la búsqueda en Internet.
«A medida que la IA generativa se generalice, esto podría afectar a una de las piedras angulares de la democracia: el acceso a información pública confiable y transparente», concluyen los investigadores.
Los chatbots de IA luchan por brindar información precisa
Las herramientas de inteligencia artificial de OpenAI, Microsoft y Google enfrentan desafíos
A medida que los chatbots de IA como ChatGPT de OpenAI, Bing de Microsoft y Bard de Google han ganado popularidad, su propensión a proporcionar información falsa ha quedado bien documentada. En un esfuerzo por mejorar su confiabilidad, las tres compañías han agregado la capacidad de buscar en la web y citar fuentes para respaldar la información que brindan.
Chatbots aún inventan información a pesar de las mejoras
A pesar de estas mejoras, los chatbots todavía tienen dificultades para brindar información precisa. Según Salvatore Romano, jefe de investigación de AI Forensics, Bing (ahora Copilot) rutinariamente proporciona respuestas que difieren de la información contenida en los enlaces que cita.
Problemas no limitados a Bing
Si bien los investigadores se centraron en Bing debido a su integración en servicios ampliamente utilizados en Europa, como la búsqueda de Bing, Microsoft Word y el sistema operativo Windows, Romano señaló que los problemas encontrados no se limitan solo a Bing. Las pruebas preliminares en GPT-4 de OpenAI también arrojaron imprecisiones similares. Aunque no se evaluó Bard de Google debido a su indisponibilidad en Europa durante el estudio.
Desafíos con idiomas distintos al inglés
Los investigadores descubrieron que las imprecisiones en las respuestas de Bing eran más comunes cuando las preguntas se formulaban en idiomas distintos al inglés. Esto plantea preocupaciones sobre el rendimiento de las herramientas de IA creadas por empresas estadounidenses en el extranjero.
Errores en diferentes idiomas
Las preguntas en alemán provocaron errores factuales en la respuesta en un 37% de los casos, mientras que en inglés fue del 20%. Las preguntas en francés sobre las elecciones suizas tuvieron un índice de error del 24%.
Respuestas ofensivas o evasivas
Las salvaguardias integradas en Bing para evitar respuestas ofensivas o inapropiadas parecen aplicarse de manera desigual en diferentes idiomas. En francés, se negó a responder o dio respuestas evasivas al 59% de las consultas, en comparación con el 39% en inglés y el 35% en alemán.
Imprecisiones en las respuestas
Las imprecisiones incluyeron proporcionar fechas incorrectas para las elecciones, informar números de encuestas obsoletos o incorrectos, incluir a candidatos que ya no estaban en la carrera como principales contendientes e inventar controversias sobre los candidatos en algunos casos.
Ejemplo de tergiversación en Bing
Un ejemplo notable fue una pregunta sobre un escándalo político en Alemania antes de las elecciones estatales de Baviera. El chatbot proporcionó respuestas diferentes, algunas de ellas falsas, sobre Hubert Aiwanger, líder del partido populista Votantes Libres. El chatbot afirmó falsamente en un momento que Aiwanger nunca distribuyó un folleto antisemita, y en otra ocasión mezcló el escándalo con información errónea sobre el coronavirus.
Además, Bing tergiversó el impacto del escándalo al afirmar que el partido de Aiwanger perdió terreno en las encuestas después de las acusaciones de antisemitismo, cuando en realidad subió en las encuestas y tuvo un desempeño superior a las expectativas en las elecciones.
Microsoft trabaja para solucionar problemas de desinformación generados por chatbots
Las organizaciones sin fines de lucro presentaron a Microsoft algunos hallazgos preliminares este otoño, dijeron, incluidos los ejemplos de Aiwanger. Después de que Microsoft respondió, descubrieron que Bing había comenzado a dar respuestas correctas a las preguntas sobre Aiwanger. Sin embargo, el chatbot persistió en brindar información inexacta a muchas otras preguntas, lo que, según Romano, sugiere que Microsoft está tratando de solucionar estos problemas caso por caso.
Según Romano, Microsoft enfrenta un problema sistémico y carece de herramientas efectivas para solucionarlo.
En respuesta a los hallazgos, Microsoft afirmó estar trabajando para corregir los problemas antes de las elecciones de 2024 en Estados Unidos. Un portavoz de la compañía instó a los votantes a verificar la exactitud de la información obtenida de los chatbots.
Frank Shaw, jefe de comunicaciones de Microsoft, declaró: «Seguimos abordando problemas y preparando nuestras herramientas para que cumplan con nuestras expectativas para las elecciones de 2024. Animamos a las personas a utilizar Copilot con su mejor criterio al ver los resultados. Esto incluye verificar los materiales originales y consultar los enlaces web para obtener más información».
La Comisión Europea también está atenta a los efectos negativos de la desinformación en línea, especialmente cuando es impulsada por la inteligencia artificial. Según Johannes Barke, portavoz de la Comisión, la integridad electoral es una máxima prioridad para la aplicación de la ley, según la nueva Ley de Servicios Digitales de Europa.
Aunque el estudio se centró en las elecciones en Alemania y Suiza, se encontró que Bing también tuvo problemas con preguntas similares sobre las elecciones estadounidenses de 2024. El chatbot proporcionó respuestas incorrectas y enlaces a fuentes inexistentes. Además, el chatbot dio respuestas inconsistentes a preguntas sobre escándalos relacionados con Biden y Trump.
Aunque no está claro qué impacto pueden tener las respuestas inexactas de los chatbots en las elecciones, Bing, ChatGPT y Bard incluyen descargos de responsabilidad que señalan que pueden cometer errores y alientan a los usuarios a verificar sus respuestas. Bing, en particular, se presenta como una alternativa a la búsqueda, pero su reciente cambio de nombre a Microsoft Copilot busca enfatizar que es un asistente y no una fuente definitiva de respuestas.
Una encuesta realizada por la Escuela Harris de Políticas Públicas de la Universidad de Chicago y AP-NORC reveló que el 15% de los estadounidenses planea utilizar la inteligencia artificial para obtener información sobre las próximas elecciones presidenciales. La encuesta también mostró preocupación bipartidista sobre el uso de la inteligencia artificial para difundir información errónea sobre las elecciones.
Bing a veces cita erróneamente las fuentes citadas, según una empresa de IA
Los modelos de lenguaje de IA pueden producir imprecisiones
Según Amin Ahmad, cofundador y director ejecutivo de Vectara, una empresa de inteligencia artificial con sede en Palo Alto, California, Bing a veces comete errores al citar fuentes. Vectara se dedica a crear herramientas de lenguaje de IA para empresas y su investigación ha revelado que los principales modelos de lenguaje de IA pueden generar imprecisiones, incluso al resumir un solo documento.
Una tasa de error del 30% en cuestiones electorales
Ahmad señala que, aunque esperaba cierto margen de error, una tasa del 30% en cuestiones electorales es más alta de lo que hubiera esperado. Aunque confía en que los modelos de IA mejorarán rápidamente y reducirán su propensión a inventar información, los hallazgos de las organizaciones sin fines de lucro son preocupantes.
El peligro de las citas erróneas
Ahmad expresa su preocupación por las citas erróneas en los resultados de búsqueda. Cuando se refiere a números y luego ve que la historia original no coincide, es poco probable que haga clic en la historia original. Considera que copiar un número es una tarea sencilla, por lo que considera que esto es bastante peligroso.