Actualmente, los potentes modelos de lenguaje a gran escala (LLM) deben ser impulsados por potentes chips informáticos en centros de datos dedicados, pero con la popularidad de la IA en el futuro, también habrá una cierta demanda de modelos que funcionen directamente en dispositivos terminales. . Recientemente, Google lanzó «Gemma», que está especialmente diseñada para este método de aplicación.
El LLM «Gemma» recientemente lanzado por Google se divide en dos versiones, el modelo Gemma 2B de 2 mil millones de parámetros diseñado para ejecutarse en dispositivos con CPU (incluidas computadoras portátiles) y la versión más potente de 7 mil millones de parámetros Gemma 7B, diseñada para GPU y TPU Optimización mejorada del sistema. . Ambos modelos son arquitectónicamente similares a Gemini, el modelo de lenguaje a gran escala de última generación de Google, y heredan múltiples elementos técnicos y de infraestructura.
Google dijo que en evaluaciones comparativas centradas en razonamiento, matemáticas y capacidades de programación, el gran modelo Gemma aún superó a Meta’s Llama 2 a pesar de que tenía menos parámetros que los 13 mil millones de parámetros de Llama 2. Además, el modelo Gemma se desarrolló principalmente para entrenar textos en inglés de Internet y filtrarlos cuidadosamente para excluir contenido «tóxico», lenguaje inapropiado y datos confidenciales (como información de identificación personal, etc.).
Debido a su pequeño tamaño, Gemma puede operar directamente en el dispositivo terminal sin conexión a la red y realizar algunas funciones específicas, como resumen de artículos, etc., al tiempo que mejora la velocidad de respuesta y reduce la carga de la red. Vale la pena mencionar que Gemma también se conoce como un modelo de «código abierto», pero no es código ni datos de fuente abierta, solo el modelo de entrenamiento y los pesos son públicos.
fuente:Google