Microsoft presenta Phi-3 mini, un nuevo modelo de lenguaje pequeño, que se ejecuta de forma nativa en teléfonos móviles de última generación y que ofrece un rendimiento similar a la tecnología GPT-3.5 de OpenAI.
Dicha novedad está entrenada con 3,3 billones de tokens procedentes de conjuntos de datos "más grandes y más avanzados" que los utilizados en el modelo predecesor, Phi-2, que fue entrenado con 1,4 billones de tokens. Además, Phi-3 mini se presenta con un tamaño de 3.800 millones de parámetros, ya que ocupa en torno a 1,8 GB de memoria y se puede cuantificar a 4 bits, como recogen en el texto publicado en Arxiv.org.
Para ponerlo a prueba, los investigadores utilizaron un iPhone 14 con un chip A16 Bionic en el que Phi-3 mini "se ejecuta de forma nativa y de forma completa offline logrando más de 12 tokens por segundo". Por lo tanto, el rendimiento general de este modelo compite con el de otros más grandes, como es el caso del modelo GPT-3.5.
Además, respecto al resto de sus características y capacidades, Phi-3 mini emplea una arquitectura de decodificador de transformador, admite una longitud de texto de 4K, se basa en una estructura en bloque similar a la de Llama 2, permite un formato conversacional y está alineado con los valores de robustez y seguridad de Microsoft.
Por otro lado, junto a Phi-3 mini, Microoft también ha entrenado dos modelos adicionales de la misma familia: Phi-3 medium, de 14.000 millones de parámetros, y Phi-3 small, con 7.000 millones de parámetros, ambos entrenados con 4.800 millones de tokens.
Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.
Comentarios