Una semana después de que sus algoritmos aconsejaran a las personas comer rocas y pon pegamento en pizza, Google admitió el jueves que necesitaba hacer ajustes en su nueva y audaz función de búsqueda de IA generativa. El episodio destaca los riesgos del agresivo impulso de Google para comercializar la IA generativa, y también las traicioneras y fundamentales limitaciones de esa tecnología.
La función AI Overviews de Google se basa en Gemini, un modelo de lenguaje grande como el que está detrás de ChatGPT de OpenAI, para generar respuestas escritas a algunas consultas de búsqueda resumiendo la información encontrada en línea. El auge actual de la IA se basa en la impresionante fluidez de los LLM con el texto, pero el software también puede utilizar esa facilidad para dar un brillo convincente a falsedades o errores. Usar la tecnología para resumir las promesas de información en línea puede hacer que los resultados de búsqueda sean más fáciles de digerir, pero es peligroso cuando las fuentes en línea son contradictorias o cuando las personas pueden usar la información para tomar decisiones importantes.
«Ahora puedes obtener un prototipo rápido y ágil con bastante rapidez con un LLM, pero lograr que no te diga que comas piedras requiere mucho trabajo», dice Richard Socher, quien hizo contribuciones clave a la IA para el lenguaje. como investigador y, a finales de 2021, lanzó un motor de búsqueda centrado en IA llamado tu.com.
Socher dice que discutir con los LLM requiere un esfuerzo considerable porque la tecnología subyacente no tiene una comprensión real del mundo y porque la web está plagada de información no confiable. «En algunos casos, es mejor no limitarse a darte una respuesta o mostrarte múltiples puntos de vista diferentes», afirma.
La jefa de búsqueda de Google, Liz Reid, dijo en el informe de la compañía. publicación de blog el jueves por la noche que realizó pruebas exhaustivas antes de lanzar AI Overviews. Pero añadió que errores como los ejemplos de comer piedra y pizza con pegamento, en los que los algoritmos de Google extrajeron información de un artículo satírico y un comentario jocoso de Reddit, respectivamente, habían provocado cambios adicionales. Incluyen una mejor detección de “consultas sin sentido”, dice Google, y hacer que el sistema dependa menos del contenido generado por el usuario.
You.com evita rutinariamente los tipos de errores que muestran las descripciones generales de IA de Google, dice Socher, porque su compañía desarrolló alrededor de una docena de trucos para evitar que los LLM se comporten mal cuando se usan para búsquedas.
«Somos más precisos porque dedicamos muchos recursos a ser más precisos», dice Socher. Entre otras cosas, You.com utiliza un índice web personalizado diseñado para ayudar a los LLM a evitar información incorrecta. También selecciona entre varios LLM diferentes para responder consultas específicas y utiliza un mecanismo de citas que puede explicar cuándo las fuentes son contradictorias. Aún así, lograr que la búsqueda por IA sea correcta es complicado. WIRED descubrió el viernes que You.com no respondió correctamente a una consulta que se sabe que hace tropezar a otros sistemas de inteligencia artificial, afirmando que «según la información disponible, no hay naciones africanas cuyos nombres comiencen con la letra ‘K'». En pruebas anteriores, había superado la consulta.
La actualización de la IA generativa de Google a su producto más utilizado y lucrativo es parte de un reinicio de toda la industria tecnológica inspirado en el lanzamiento del chatbot ChatGPT por parte de OpenAI en noviembre de 2022. Un par de meses después del debut de ChatGPT, Microsoft, un socio clave de OpenAI, utilizó su tecnología para actualizar su motor de búsqueda Bing. El Bing actualizado se vio acosado por errores generados por IA y comportamientos extraños, pero el director ejecutivo de la compañía, Satya Nadella, dijo que la medida fue diseñada para desafiar a Google. dicho «Quiero que la gente sepa que los hicimos bailar».
Algunos expertos creen que Google se apresuró a actualizar la IA. «Me sorprende que lo hayan lanzado tal como está para tantas consultas (médicas, financieras). Pensé que serían más cuidadosos», dice Barry Schwartz, editor de noticias de Search Engine Land, una publicación que rastrea la industria de las búsquedas. La empresa debería haber previsto mejor que algunas personas intentarían intencionalmente alterar las descripciones generales de la IA, añade. «Google tiene que ser inteligente al respecto», dice Schwartz, especialmente cuando muestran los resultados de forma predeterminada en su producto más valioso.
lirio rayo, consultor de optimización de motores de búsqueda, fue durante un año probador beta del prototipo que precedió a AI Overviews, al que Google llamó Search Generative Experience. Ella dice que no le sorprendió ver los errores que aparecieron la semana pasada, dado que la versión anterior tendía a salir mal. «Creo que es prácticamente imposible que todo salga bien siempre», afirma Ray. «Esa es la naturaleza de la IA».