Como regla general, promocionar algo que aún no existe es mucho más fácil que promocionar algo que sí existe. El modelo de lenguaje GPT-4 de OpenAI, muy esperado; aún no se ha publicado— ha sido objeto de especulaciones absurdas y sin control en los últimos meses. Una publicación que ha circulado ampliamente en línea pretende evidenciar su extraordinario poder. Una ilustración muestra un pequeño punto que representa GPT-3 y sus “175 mil millones de parámetros”. Junto a él hay un círculo mucho, mucho más grande que representa GPT-4, con 100 billones parámetros El nuevo modelo, un evangelista tuiteó, “hará que ChatGPT parezca un juguete”. “Cinturón de seguridad,” tuiteó otro.
Un problema con esta exageración es que es inexacta en cuanto a los hechos. Dondequiera que se haya originado el rumor de los 100 billones de parámetros, el CEO de OpenAI, Sam Altman, ha dicho que es “completa mierda.” Otro problema es que elude una pregunta más profunda y, en última instancia, mucho más importante para el futuro de la investigación de la IA. Implícita en la ilustración (o al menos en la forma en que la gente parece haberla interpretado) está la suposición de que más parámetros, es decir, más perillas que se pueden ajustar durante el proceso de aprendizaje para afinar la salida del modelo. siempre conducen a más inteligencia. ¿Continuará la tecnología mejorando indefinidamente a medida que se amontonen más y más datos en sus fauces? Cuando se trata de IA, ¿cuánto importa el tamaño?
Esto resulta ser objeto de un intenso debate entre los expertos. Por un lado, tienes los llamados maximalistas escalables. Raphaël Millière, un filósofo de la Universidad de Columbia cuyo trabajo se centra en la IA y la ciencia cognitiva, acuñó el término para referirse al grupo más optimista sobre el potencial transformador de la aceleración. Su idea básica es que la estructura de las tecnologías existentes será suficiente para producir IA con verdadera inteligencia (independientemente de lo que interpretes que signifique); todo lo que se necesita en este punto es hacer esa estructura más grande—multiplicando el número de parámetros e incorporando más y más datos. Nando de Freitas, director de investigación de DeepMind, personificó el puesto el año pasado cuando tuiteó, “¡Todo se trata de la escala ahora! ¡El juego ha terminado!” (Continuó, de manera confusa, enumerando varias otras formas en las que cree que los modelos deben mejorar; DeepMind se negó a que de Freitas estuviera disponible para una entrevista).
La noción de que simplemente inflar un modelo lo dotará de habilidades fundamentalmente nuevas puede parecer prima facie ridículo, e incluso hace unos años, me dijo Millière, los expertos estaban bastante de acuerdo en que lo era. “Esta vez fue una visión que se habría considerado tal vez ridícula o al menos tremendamente optimista”, dijo. “La ventana de Overton ha cambiado entre los investigadores de IA”. Y no sin razón: los investigadores de IA han descubierto que escalar no solo perfecciona las habilidades que los modelos de lenguaje ya poseen (haciendo que las conversaciones sean más naturales, por ejemplo), sino también, aparentemente de la nada, desbloquea nuevos. Los modelos de gran tamaño han adquirido la capacidad repentina de hacer aritmética de tres dígitos, detectar falacias lógicas, comprender la microeconomía de la escuela secundaria y leer farsi. Alex Dimakis, científico informático de la Universidad de Texas en Austin y codirector del Instituto de Fundamentos del Aprendizaje Automático, me dijo que se volvió “mucho más maximalista de escalado” después de ver todas las formas en que GPT-3 ha superó a los modelos anteriores. “Puedo ver cómo uno podría mirar eso y pensar, De acuerdo, si ese es el caso, tal vez podamos seguir escalando indefinidamente y eliminaremos todos los obstáculos restantes en el camino hacia la inteligencia a nivel humano.”, dijo Milliere.
Sus simpatías se encuentran con el lado opuesto en el debate. Para aquellos en el campo escéptico de escalamiento, la postura maximalista es pensamiento mágico. Sus primeras objeciones son prácticas: cuanto más grande se vuelve un modelo de lenguaje, más datos se requieren para entrenarlo, y es posible que nos quedemos sin texto publicado de alta calidad que pueda incorporarse al modelo mucho antes de que logremos algo parecido a lo que los maximalistas prevén. Lo que esto significa, me dijo Rich Sutton, científico informático de la Universidad de Alberta, es que los modelos de lenguaje solo son “débilmente escalables”. (El poder de cómputo también podría convertirse en un factor limitante, aunque la mayoría de los investigadores consideran que esta perspectiva es menos preocupante).
Puede haber formas de extraer más material que se pueda introducir en el modelo. Podríamos transcribir todos los videos en YouTube, o grabar las pulsaciones de teclas de los trabajadores de oficina, o capturar conversaciones cotidianas y convertirlas en escritura. Pero incluso entonces, dicen los escépticos, el tipo de grandes modelos de lenguaje que ahora están en uso todavía estarían plagados de problemas. Inventan cosas constantemente. Luchan con el razonamiento de sentido común. Entrenarlos se hace casi en su totalidad por adelantado, nada como la psicología de aprender mientras se vive de los humanos y otros animales, lo que hace que los modelos sean difíciles de actualizar de manera sustancial. No hay ninguna razón particular para suponer que el escalado resolverá estos problemas. “No ha mejorado tanto como cabría esperar”, me dijo Ernest Davis, profesor de informática en la Universidad de Nueva York. “No me queda del todo claro que cualquier cantidad de escalamiento factible lo lleve allí”. Ni siquiera está claro, en realidad, que una IA puramente basada en el lenguaje pueda reproducir algo parecido a la inteligencia humana. Hablar y pensar no son lo mismo, y el dominio de lo primero no garantiza en modo alguno el dominio de lo segundo. Quizás la inteligencia a nivel humano también requiera datos visuales o de audio o incluso interacción física con el mundo mismo a través de, digamos, un cuerpo robótico.
Aunque estos son argumentos convincentes, el maximalismo de escala se ha convertido en una especie de hombre de paja para los escépticos de la IA, me dijo Millière. Algunos expertos han expresado una fe más mesurada en el poder de escalar. Sutton, por ejemplo, tiene argumentó que serán necesarios nuevos modelos para solucionar los problemas de los actuales pero también que esos nuevos modelos deben ser incluso más escalables que sus predecesores para lograr una inteligencia a nivel humano. De hecho, relativamente pocos investigadores en el campo suscriben una posición más extrema. en un encuesta de la comunidad de procesamiento de lenguaje natural, los científicos de datos descubrieron que, para su sorpresa, los investigadores sobreestimaron en gran medida el apoyo entre sus pares a la opinión de que “el escalamiento resuelve prácticamente cualquier problema importante”. En promedio, predijeron que casi la mitad de sus colegas suscribían esta opinión; de hecho, solo el 17 por ciento lo hizo. Una fe permanente en el poder de escalar no es de ninguna manera el dogma predominante, pero por alguna razón, los expertos pensar es.
De esta manera, el debate sobre la escala es representativo del discurso más amplio de la IA. Se siente como si los extremos vocales hubieran ahogado a la mayoría. O ChatGPT reformará por completo nuestro mundo o es una tostadora glorificada. Los promotores pregonan su exageración de 100 pruebas, los detractores responden con un pesimismo de plomo, y el resto de nosotros nos sentamos en silencio en algún lugar en el medio, tratando de encontrarle sentido a este extraño mundo nuevo.
