El gigante tecnológico está desarrollando un nuevo modelo de lenguaje de aprendizaje profundo con parámetros sin precedentes, utilizando tecnología de vanguardia y leyes de escalado innovadoras
En una sorprendente noticia, se ha revelado que Google ha comenzado un entrenamiento de un modelo de lenguaje de aprendizaje profundo (LLM) con 30 billones de parámetros. Esta hazaña tecnológica, que se espera que finalice antes de la conferencia Google I/O en mayo, se lleva a cabo mediante el uso de 8 unidades de procesamiento tensorial (TPU) v4 interconectadas con una técnica llamada «bungee cord».
El acceso a esta parte del código base de google3 y al tensorboard requiere la aprobación de Sundar Pichai, CEO de Google, debido al nivel de secretismo que rodea a este proyecto. El nuevo entrenamiento de 30 billones de parámetros LLM no sigue las leyes de escalado de chinchilla, sino que utiliza una nueva y mejorada ley de escalado denominada capybara. Se espera que esta ley sea publicada en la conferencia NeurIPS 2023.
El modelo en desarrollo también será multimodal, lo que significa que podrá procesar y aprender de una variedad de formatos de datos, como video, audio, texto y estados robóticos. Esta capacidad mejorará aún más la eficiencia y la precisión del modelo en una amplia gama de aplicaciones y contextos.
Info relacionada:
Además, Google utilizará un nuevo optimizador de aproximación de tercer orden llamado LION para mejorar la convergencia de estos modelos LLM masivos. Este optimizador permite un aprendizaje más rápido y eficiente en modelos de lenguaje de gran escala, lo que resulta en un rendimiento mejorado y una mayor capacidad para manejar tareas complejas.
La inferencia en producción de estos modelos LLM masivos se realizará utilizando JAX C++, cuyo nombre en clave interno es «australis». Hasta el momento, solo se han publicado partes muy pequeñas de «australis» en la organización GitHub jax-ml.
Esta noticia marca un hito en el avance de la inteligencia artificial y el aprendizaje automático, ya que Google continúa liderando el camino en el desarrollo de modelos de lenguaje de vanguardia. Con 30 billones de parámetros, este nuevo LLM superará con creces a los modelos de lenguaje actuales en términos de capacidad y sofisticación.
La implementación de este nuevo modelo de lenguaje en diversas aplicaciones y tecnologías podría tener un impacto significativo en la industria. Desde la mejora de la interacción entre humanos y máquinas hasta la resolución de problemas complejos en diversos campos, las posibilidades son casi infinitas.
Sin embargo, también surgen preocupaciones sobre el uso ético y responsable de estos modelos de lenguaje avanzados. Será crucial que Google y otras empresas que desarrollan modelos similares aborden las implicaciones éticas y garantizar la transparencia en la forma en que se utilizan estas tecnologías.
