Nuevos sistemas de inteligencia artificial como ChatGPT, el motor de búsqueda revisado de Microsoft Bing y, según se informa, pronto a llegar GPT-4 han capturado por completo la imaginación del público. ChatGPT es el aplicación en línea de más rápido crecimiento, nunca, y no es de extrañar por qué. Escriba un texto y, en lugar de obtener enlaces web, obtendrá respuestas conversacionales bien formadas sobre cualquier tema que haya seleccionado: una visión innegablemente seductora.
Pero el público y los gigantes tecnológicos no son los únicos que se han cautivado con la tecnología impulsada por Big Data conocida como modelo de lenguaje grande. Los malos actores también han tomado nota de la tecnología. En el extremo, está Andrew Torba, el CEO de la red social de extrema derecha Gab, quien dijo recientemente que su empresa está desarrollando activamente herramientas de IA para “defender una cosmovisión cristiana” y luchar contra “las herramientas de censura del Régimen”. Pero incluso los usuarios que no están motivados por una ideología tendrán su impacto. clarkesworlduna editorial de cuentos cortos de ciencia ficción, dejó de recibir envíos temporalmente el mes pasado porque estaba siendo enviado como spam por historias generadas por IA, el resultado de personas influyentes que promocionan formas de usar la tecnología para “hacerse rico rápidamente”, dijo el editor de la revista. dijo El guardián.
Este es un momento de inmenso peligro: las empresas tecnológicas se apresuran a lanzar nuevos productos de inteligencia artificial, incluso después de que los problemas con esos productos hayan sido bien documentados durante años y años. Soy un científico cognitivo centrado en aplicar lo que he aprendido sobre la mente humana al estudio de la inteligencia artificial. Allá por 2001, escribí un libro llamado La mente algebraica en el que detallé cómo las redes neuronales, un tipo de tecnología vagamente parecida al cerebro que sustenta algunos productos de IA, tendían a generalizarse en exceso, aplicando características individuales a grupos más grandes. Si le dijera a una IA en ese entonces que mi tía Esther había ganado la lotería, podría haber concluido que todas las tías, o todas las Esther, también habían ganado la lotería.
La tecnología ha avanzado bastante desde entonces, pero el problema general persiste. De hecho, la incorporación de la tecnología y la escala de los datos en los que se basa lo han empeorado de muchas maneras. Olvídese de la tía Esther: en noviembre, Galactica, un modelo de lenguaje grande lanzado por Meta, y rápidamente desconectado, según se informa reclamado que Elon Musk había muerto en un accidente automovilístico de Tesla en 2018. Una vez más, la IA parece haber generalizado en exceso un concepto que era cierto a nivel individual (alguien murió en un accidente automovilístico de Tesla en 2018) y lo aplicó erróneamente a otra persona que comparte algunos atributos personales, como el sexo, el estado de residencia en ese momento y un vínculo con el fabricante del automóvil.
Este tipo de error, que se conoce como “alucinación”, está muy extendido. Cualquiera que sea la razón por la que la IA cometió este error en particular, es una clara demostración de la capacidad de estos sistemas para escribir una prosa fluida que está claramente en desacuerdo con la realidad. No tiene que imaginar lo que sucede cuando se establecen asociaciones tan defectuosas y problemáticas en entornos del mundo real: Meredith Broussard de la NYU y Safiya Noble de la UCLA se encuentran entre los investigadores que han repetidamente mostró cómo los diferentes tipos de IA replican y refuerzan los prejuicios raciales en una variedad de situaciones del mundo real, incluida la atención médica. Grandes modelos de lenguaje como ChatGPT se ha demostrado que exhiben sesgos similares en algunos casos.
Sin embargo, las empresas presionan para desarrollar y lanzar nuevos sistemas de IA sin mucha transparencia y, en muchos casos, sin suficiente investigación. Los investigadores que investigan estos modelos más nuevos han descubierto todo tipo de cosas inquietantes. Antes de que Galactica fuera retirada, el periodista Tristán Greene descubrió que podría usarse para crear artículos detallados de estilo científico sobre temas como los beneficios del antisemitismo y comer vidrio triturado, completo con referencias a estudios fabricados. Otros encontró que el programa generó respuestas racistas e inexactas. (Yann LeCun, científico jefe de IA de Meta, ha argumentó que Galactica no haría que la difusión de información errónea en línea fuera más fácil de lo que ya es; a El portavoz de Meta le dijo a CNET en noviembre, “Galactica no es una fuente de la verdad, es un experimento de investigación usando [machine learning] sistemas para aprender y resumir información”).
Más recientemente, el profesor de Wharton Ethan Mollick pudo hacer que el nuevo Bing escribiera cinco párrafos detallados y completamente falsos sobre la “civilización avanzada” de los dinosaurios, llenos de bocados que suenan autorizados que incluyen “Por ejemplo, algunos investigadores han afirmado que las pirámides de Egipto, las líneas de Nazca de Perú, y las estatuas de la Isla de Pascua de Chile en realidad fueron construidas por dinosaurios, o por sus descendientes o aliados”. Justo este fin de semana, Dileep George, un investigador de inteligencia artificial en DeepMind, dijo que pudo hacer que Bing crear un párrafo de texto falso afirmando que OpenAI y un GPT-5 inexistente jugaron un papel en el colapso del Silicon Valley Bank. Microsoft no respondió de inmediato a las preguntas sobre estas respuestas cuando se le contactó para hacer comentarios; el mes pasado, un portavoz de la compañía dijo: “Dado que se trata de una vista previa temprana, [the new Bing] a veces puede mostrar respuestas inesperadas o inexactas… estamos ajustando sus respuestas para crear respuestas coherentes, relevantes y positivas”.
Algunos observadores, como LeCun, dicen que estos ejemplos aislados no son ni sorprendentes ni preocupantes: si le das una mala entrada a una máquina, recibirás una mala salida. Pero el ejemplo del accidente automovilístico de Elon Musk deja en claro que estos sistemas pueden crear alucinaciones que no aparecen en ninguna parte de los datos de entrenamiento. Además, la escala potencial de este problema es motivo de preocupación. Solo podemos comenzar a imaginar lo que podrían lograr las granjas de trolls patrocinadas por el estado con grandes presupuestos y modelos personalizados de lenguaje grande propios. Los malos actores podrían usar fácilmente estas herramientas, o herramientas similares, para generar información errónea dañina, a una escala enorme y sin precedentes. En 2020, Renée DiResta, directora de investigación del Observatorio de Internet de Stanford, advirtió que “la oferta de desinformación pronto será infinita”. Ese momento ha llegado.
Cada día nos acerca un poco más a una especie de desastre en la esfera de la información, en el que los malos actores arman grandes modelos de lenguaje, distribuyendo sus ganancias mal habidas a través de ejércitos de bots cada vez más sofisticados. GPT-3 produce salidas más plausibles que GPT-2 y GPT-4 será más potente que GPT-3. Y ninguno de los sistemas automatizados diseñado para discriminar el texto generado por humanos del texto generado por máquinas ha demostrado ser particularmente eficaz.
Ya nos enfrentamos a un problema con las cámaras de eco que polarizan nuestras mentes. La producción automatizada a gran escala de desinformación ayudará a armar esas cámaras de eco y probablemente nos lleve aún más a los extremos. el objetivo de la Ruso “Firehose of Falsehood” modelo es crear una atmósfera de desconfianza, permitiendo que los autoritarios intervengan; Es en esta línea que el estratega político Steve Bannon apuntó, durante la administración Trump, a “inundar la zona con mierda.” Es urgente que descubramos cómo se puede preservar la democracia en un mundo en el que la desinformación se puede crear tan rápidamente y a tal escala.
Una sugerencia, que vale la pena explorar pero probablemente insuficiente, es “marcar con agua” o rastrear el contenido producido por modelos de lenguaje grandes. OpenAI podría, por ejemplo, marcar con agua cualquier cosa generada por GPT-4, la versión de próxima generación de la tecnología que impulsa ChatGPT; el problema es que los malos actores podrían simplemente usar modelos alternativos de lenguaje grande para crear lo que quieran, sin marcas de agua.
Un segundo enfoque es penalizar la desinformación cuando se produce a gran escala. Actualmente, la mayoría de las personas son libres de mentir la mayor parte del tiempo sin consecuencias, a menos que, por ejemplo, hablen bajo juramento. Los fundadores de Estados Unidos simplemente no imaginaron un mundo en el que alguien pudiera establecer una granja de trolls y publicar mil millones de falsedades en un solo día, diseminadas con un ejército de bots, a través de Internet. Es posible que necesitemos nuevas leyes para abordar tales escenarios.
Un tercer enfoque sería construir una nueva forma de IA que pueda detectar desinformación, en lugar de simplemente generarla. Los modelos de lenguajes extensos no son inherentemente adecuados para esto; pierden el rastro de las fuentes de información que utilizan y carecen de formas de validar directamente lo que dicen. Incluso en un sistema como el de Bing, donde la información se obtiene de la web, pueden surgir falsedades una vez que los datos pasan por la máquina. Validando el resultado de modelos de lenguaje extenso requerirá el desarrollo de nuevos enfoques para la IA que centren el razonamiento y el conocimiento, ideas que alguna vez fueron populares pero que actualmente están pasadas de moda.
A partir de aquí, será una carrera armamentista ascendente y continua de movimientos y contramovimientos; Así como los spammers cambian sus tácticas cuando los anti-spammers cambian las suyas, podemos esperar una batalla constante entre los malos que se esfuerzan por usar grandes modelos de lenguaje para producir cantidades masivas de información errónea y los gobiernos y las corporaciones privadas que intentan contraatacar. Si no comenzamos a luchar ahora, la democracia bien puede verse abrumada por la desinformación y la consiguiente polarización, y tal vez muy pronto. Las elecciones de 2024 podrían ser diferentes a todo lo que hemos visto antes.
Cuando compras un libro usando un enlace en esta página, recibimos una comisión. Gracias por apoyar El Atlántico.
