Meta presenta Llama 3.1, su poderosa IA de código abierto

Meta presentó Llama 3.1 405B, el primer modelo abierto capaz de competir con GPT-4o. El gigante tecnológico no quiere quedar rezagado en la carrera de la inteligencia artificial, aunque ha optado por un camino distinto a OpenAI y Google. En lugar de desarrollar modelos cerrados como Gemini o GPT-4, apuesta por el código abierto para potenciar sus aplicaciones.

De acuerdo con Meta, Llama 3.1 405B es el modelo fundacional más grande y con más capacidades del mundo. La tecnológica ha entrenado a su IA con más de 15 billones de tokens, priorizando tanto la cantidad como la calidad de los datos. El modelo rivaliza con GPT-4o en conocimientos generales, matemáticas o traducción a múltiples idiomas, por nombrar algunas.

Llama 3.1 405B cuenta con una arquitectura de modelo de transformador con un solo decodificador estándar. Meta señala que el proceso de entrenamiento fue uno de sus retos más grandes a la fecha debido a la cantidad de datos. La compañía optimizó la pila de entrenamiento y adoptó un proceso iterativo posterior para mejorar las respuestas al usuario y garantizar la seguridad.

«Equilibramos cuidadosamente los datos para producir un modelo de alta calidad en todas las capacidades», mencionó la empresa. «Nuestro modelo continúa brindando respuestas de máxima utilidad, incluso cuando agregamos mitigaciones de seguridad».

Comparado con las versiones anteriores, Llama 3.1 405B está en el siguiente nivel. Meta afirma que las primeras evaluaciones muestran que su IA puede competir de frente con modelos de gran calibre, como GPT-4, GPT-4o y Claude 3.5 Sonnet. La compañía ha puesto énfasis en su conjunto de datos, con una curación más cuidadosa previo al entrenamiento, así como también un filtrado y control de calidad más riguroso para las etapas posteriores.

Con Llama 3.1 405B, Meta sigue apostando por las IA de código abierto

Una de las características que distinguen a los modelos de lenguaje de Meta es que son de código abierto. Con Llama 3.1 405B se mantienen en el mismo camino, ya que según Mark Zuckerberg, es el único modo en que nos beneficiaremos todos. El cofundador de Facebook publicó una carta en la que explica por qué el código abierto es importante y hace referencia a Linux.