Meta ha publicado Llama 3.1, el modelo de lenguaje de código abierto más grande hasta la fecha y está diseñado para impulsar aplicaciones de inteligencia artificial generativa. Posee 405.000 millones de parámetros y capacidades en conocimientos generales, matemáticas, orientación, matemáticas, además de traducción multilingüe. Por ello, vamos a explicar como es el nuevo modelo de la compañía de Mark Zuckerberg.
Así es Llama 3.1, el modelo de lenguaje de código abierto más grande
Llama 3.1 tiene más de 300 millones de descargas totales en todas las versiones hasta la fecha y, como hemos mencionado antes, tiene 405.000 millones de parámetros, superando en algunos puntos a GPT-4, GPT-4o y Claude 3.5. Se ha entrenado con 15 billones de tokens y para hacerlo han hecho falta unas 16.000 GPU H100 Nvidia.
El nuevo modelo permitirá a la comunidad desbloquear nuevos flujos de trabajo, como la generación de datos sintéticos y la destilación de modelos. También otorgan a los desarrolladores las herramientas para crear sus propios agentes personalizados y nuevos tipos de comportamientos de agentes. Para ello se han reforzado las herramientas de seguridad y protección.
Llama 3.1 admite una ventana de contexto de 128.000 tokens y puede ofrecer respuesta en contextos cortos como amplios. Ya está disponible para probarlo en WhatsApp de Estados Unidos y en meta.ai con cuestiones matemáticas y de programación. La compañía también ha presentado mejoras en los modelos Llama 8B y 70B, que admiten la misma cantidad de tokens y sólidas capacidades de razonamiento.
La compañía está reforzando esto con nuevas herramientas de seguridad y protección para ayudar a construir de forma responsable con ejemplos de aplicaciones y nuevos componentes como Llama 3 Guard, un modelo de seguridad, y Prompt Guard, un filtro para la entrada de indicaciones, ambas de código abierto.
Además, han ampliado sus evaluaciones mediante una solicitud de comentarios sobre la API Llama Stack, una interfaz estándar que puede facilitar a los proyectos de terceros el aprovechamiento de los modelos Llama.
Comentarios