Por: Chris Wright, director tecnológico y vicepresidente senior, ingeniero global, Red Hat
«Cualquier carga de trabajo, cualquier aplicación, en todas partes» fue el mantra de Red Hat Summit 2023. Es cierto que, en los últimos dos años, hemos visto algunos cambios en usted. Pero la visión del sombrero rojo no ha cambiado, ha evolucionado.
«Cualquier modelo, acelerador o nube».
Este es el mensaje de la nube híbrida para la era AI. Y la mejor parte es que, como la «antigua» nube híbrida, el código abierto de innovación es el que guía todo. En la cumbre de Red Hat mostramos cómo los ecosistemas de IA estructurados alrededor del código abierto ya abierto pueden generar nuevas opciones para las empresas.
La apertura trae consigo la posibilidad de elegir y esta libertad da paso a una mayor flexibilidad: desde el modelo que mejor responde a las necesidades de la empresa al acelerador subyacente y al lugar donde la carga de trabajo realmente se realizará. Las estrategias exitosas seguirán los datos, donde sea que estén en la nube híbrida.
¿Y qué conduce la nube híbrida? Código abierto.
La inferencia mejora la IA
En mi opinión, tenemos que comenzar a mirar más allá de los modelos. Sí, es cierto que los modelos son muy importantes para las estrategias de inteligencia artificial. Pero sin inferencia, la faceta «práctica» de la inteligencia artificial, los modelos son simplemente conjuntos de datos que no «hacen» nada. La inferencia se refiere a la velocidad con la que un modelo responde a la información no deseada por el usuario y la eficiencia con la que se pueden tomar decisiones en recursos en la computadora acelerada. En última instancia, las respuestas lentas y la mala eficiencia cuestan dinero y generan desconfianza en el cliente.
Esta es la razón por la que estoy muy entusiasmado de que Red Hat da prioridad a la inferencia en nuestro trabajo con Open Source AI, a partir del lanzamiento de Red Hat al servidor de inferencia. Esta solución, que se deriva del Proyecto de Líder VLLM de código abierto y está optimizada con tecnologías neuronales mágicas, ofrece implementaciones de un servidor de inferencia con soporte, ciclo de vida completo y listo para la producción. Sobre todo, puede monitorear sus datos donde sea que se encuentren, ya que la solución funcionará con cualquier plataforma de Linux, cualquier distribución de Kubornets, Red Hat o de cualquier otra manera.
¿Qué es mejor que Business AI? Gran negocio
La aplicación Star of Business no es una sola carga de trabajo unificada o un nuevo servicio en la nube: es la posibilidad de escalar de manera rápida y eficiente. Esto también se aplica a la IA. Sin embargo, la IA presenta una peculiaridad: los recursos para la computadora acelerada que admiten las cargas de trabajo de IA también deben excavarse. Esta no es una tarea fácil, en vista de los gastos y habilidades necesarios para implementar este hardware en el tiempo de deuda.
Lo que necesitamos no es solo la capacidad de escalar la IA, sino también distribuir enormes cargas de trabajo entre múltiples grupos de cálculo acelerado. Esto se ve agravado por la escalada del tiempo de inferencia solicitado por los modelos de razonamiento y la inteligencia artificial agrícola. Al compartir la carga, los problemas de rendimiento se pueden reducir, mejorando la eficiencia y, en última instancia, la experiencia del usuario. Con el Proyecto LLM-D Open Fore, Red Hat ha adoptado medidas para enfrentar este problema.
El proyecto LLM-D, dirigido por Red Hat y respaldado por el líder del sector de IA en aceleración de hardware, modelos y computación en la nube, combina el poder probado de la orquestación de Kubernette con VLLM, uniéndose a dos representantes de la fuente abierta para responder a una necesidad muy real. Junto con tecnologías como el enrutamiento de las redes con IA y la descarga del caché de KV, entre otros, la descentralización y democratiza la inferencia de la IA y, por lo tanto, ayuda a las empresas a optimizar sus recursos de TI y tener cargas de trabajo a costos de costos más efectivos y bajos.
Abierto a lo que viene a IA, no solo al código
LLM-D y VLLM, incluido Red Hat to Inference Server, son tecnologías de código abierto preparadas para responder a los desafíos comerciales de IA hoy. Sin embargo, las comunidades de desarrollo no se limitan al análisis de lo que es necesario hacer ahora. Las tecnologías de IA tienen una forma particular de acortar los plazos: el vértigo de la innovación implica que algo que se creía que no consideraría un desafío a lo largo de los años, de repente debe abordarse.
Por esta razón, Red Hat está asignando los recursos a la fase de desarrollo inicial de la llama de la pila, el proyecto meta -liderado que ofrece componentes básicos y abejas estandarizadas para los ciclos de vida de las aplicaciones generativas. Además, Llama a la pila es ideal para crear aplicaciones agrícolas, que representan una nueva evolución de las poderosas cargas de trabajo generativas que vemos hoy. Además del desarrollo inicial, Call Stack está disponible como una versión preliminar para los desarrolladores dentro Hat rojo aiPara aquellas empresas que hoy quieren participar en el futuro.
En cuanto a la IA de los agentes, aún no tenemos un protocolo común para la forma en que otras aplicaciones proporcionan contexto e información. Aquí es donde entra en juego el protocolo de contexto del modelo (MCP). Desarrollado y convertido en un código abierto antrópico a fines de 2024, es un protocolo estandarizado para las interacciones entre el agente y la aplicación, similar a los protocolos del servidor de clientes de la informática tradicional. Pero lo más importante es que las aplicaciones actuales pueden usar repentinamente la IA sin la necesidad de un reimple de gran escala. Esto es muy importante y no sería posible si no fuera por el poder del código abierto. Como se llama Stacks, MCP está disponible como una versión preliminar para los desarrolladores en la plataforma Red Hat AI.
Los modelos propietarios de inteligencia artificial pueden haber alcanzado una ventaja inicial, pero no hay duda de que los ecosistemas abiertos los han excedido, especialmente en términos de software que respaldan estos modelos de próxima generación. Gracias a VLLM y LLM-D, junto con los productos de la compañía de código abierto, el futuro de la IA es prometedor, independientemente del modelo, el acelerador o la nube, y está guiado por el código abierto y el sombrero rojo.
Relacionado
#inteligencia #artificial #alcanza #mil #millones #usuarios #mensuales #según #Zuckerberg