Los modelos de lenguaje a gran escala (LLM) que impulsan la IA generativa están experimentando una intensa innovación, y los modelos que procesan múltiples tipos de datos, como texto, imágenes y audio, se vuelven cada vez más comunes. Sin embargo, construir e implementar estos modelos sigue siendo un desafío.
Los desarrolladores necesitan experimentar y evaluar rápidamente los modelos para determinar el mejor modelo para su caso de uso y optimizar el rendimiento del modelo de una manera que no solo sea rentable sino que también proporcione el mejor rendimiento. Este es un método de optimización.
NVIDIA y Google anunciaron tres nuevas colaboraciones en Google I/O 2024 para facilitar a los desarrolladores la creación de aplicaciones impulsadas por IA con un rendimiento de clase mundial.
Gemma + NIM
Utilizando TensorRT-LLM, NVIDIA colaboró con Google para optimizar dos nuevos modelos anunciados en el evento: Gemma 2 y PaliGemma. Ambos modelos se basan en las mismas técnicas de investigación utilizadas para crear el modelo Gemini y cada uno se centra en un área específica.
Gemma2 es el modelo Gemma de próxima generación para una amplia gama de casos de uso y presenta una arquitectura completamente nueva diseñada para lograr un rendimiento y una eficiencia innovadores.
PaliGemma, por otro lado, es un modelo de lenguaje de visión abierta (VLM) inspirado en PaLI-3. Construido sobre componentes abiertos como el modelo de visión SigLIP y el modelo de lenguaje Gemma, PaliGemma es un lenguaje de visión que incluye subtitulado de imágenes y videos cortos, preguntas y respuestas visuales, comprensión de texto en imágenes, detección de objetos, segmentación de objetos y más. Diseñado para la tarea. PaliGemma está diseñado para ofrecer el mejor rendimiento de ajuste de su clase para una variedad de tareas de lenguaje visual y es compatible con NVIDIA JAX-Toolbox.
Gemma 2 y PaliGemma se entregan con los microservicios de inferencia NIM de NVIDIA, parte de la plataforma de software empresarial de IA de NVIDIA, que simplifica la implementación de modelos de IA a gran escala. La compatibilidad con NIM para los dos nuevos modelos está disponible a través del catálogo API, comenzando con la compatibilidad con PaliGemma. Próximamente como contenedor en NVIDIA NGC y GitHub.
Introducción del análisis de datos acelerado a Colab
Google también anunció que Google Colab comenzará a brindar soporte estándar para RAPIDS cuDF, una biblioteca de marcos de datos de GPU de código abierto.
Google Colab es una de las plataformas de desarrollo más populares para científicos de datos, con 10 millones de usuarios mensuales. Los usuarios de Google Colab ahora podrán utilizar las GPU NVIDIA L4 Tensor Core para acelerar sus flujos de trabajo de Python basados en pandas hasta 50 veces en solo segundos, sin ningún cambio de código.
RAPIDS cuDF permite a los desarrolladores que utilizan Google Colab acelerar el análisis exploratorio y los canales de datos de producción. Aunque pandas es una de las herramientas de procesamiento de datos más populares del mundo debido a su API intuitiva, a menudo resulta difícil de aplicar a medida que aumenta el tamaño de los datos. Incluso con entre 5 y 10 GB de datos, muchas operaciones simples pueden tardar varios minutos en completarse en la CPU, lo que ralentiza el análisis exploratorio y los canales de datos de producción.
RAPIDS cuDF está diseñado para resolver este problema acelerando sin problemas el código pandas en la GPU cuando corresponde y recurriendo a pandas en la CPU cuando no. Con RAPIDS cuDF ahora disponible como estándar en Colab, todos los desarrolladores pueden aprovechar el análisis de datos acelerado, independientemente de su ubicación.
Colabora con Firebase Genkit
Google y NVIDIA están aprovechando la PC con IA con gráficos NVIDIA RTX para permitir a los desarrolladores de aplicaciones integrar fácilmente modelos de IA generativa, como la nueva serie de modelos Gemma, en aplicaciones web y móviles y ofrecer contenido personalizado, también anunció una colaboración con Firebase Genkit. que permite la búsqueda semántica y la respuesta a preguntas. Los desarrolladores pueden comenzar su trabajo utilizando GPU RTX locales y luego migrar sin problemas su trabajo a la infraestructura de Google Cloud.
Genkit también facilita a los desarrolladores la creación de aplicaciones utilizando JavaScript, un lenguaje de programación comúnmente utilizado por los desarrolladores móviles para crear aplicaciones.
NVIDIA y Google Cloud colaboran en múltiples áreas
NVIDIA y Google Cloud están colaborando en múltiples áreas para avanzar en la IA.
Además de admitir la próxima plataforma DGX Cloud y el marco JAX impulsado por Grace Blackwell, se planea introducir el marco NVIDIA NeMo en Google Kubernetes Engine, y esta asociación completa traerá la tecnología NVIDIA a Google. de la IA se expandirá usándola en la nube.