Ingenieros en China han construido una nueva arquitectura informática que dicen podría, algún día, hacer que hasta un millón de chips de inteligencia artificial (IA) trabajen como uno solo. En comparación, la empresa de IA de Elon Musk, SpaceXAI (próximamente SpaceXSI), describe su clúster Colossus como el sistema de entrenamiento de IA más poderoso del mundo, compuesto por 200,000 chips interconectados.
Tradicionalmente, los chips de IA usados para entrenar modelos base se alojan en servidores separados y se comunican a través de una red para compartir datos y repartir cargas de trabajo. Pero la nueva arquitectura, Peerium, utiliza un sistema de interconexión de alta velocidad diseñado para mantener una comunicación eficiente entre chips a través de múltiples bastidores, incluso a medida que el número de chips se expande a decenas de miles.
Huawei presentó la nueva arquitectura el 17 de septiembre en la conferencia anual CONNECT de la empresa.
Representantes de Huawei dijeron en un comunicado que las computadoras impulsadas por Peerium podrían entrenar modelos de hasta 40 billones de parámetros. En comparación, hardware competidor, como GB200 NVL72 de NVIDIA y CS-3 de Cerebras, han reportado entrenamientos a la escala de billones de parámetros, en lugar de decenas de billones.
“En los próximos dos años, habrá aproximadamente 6 o 7 laboratorios de IA de frontera en China, y todos buscarán entrenar modelos de lenguaje fundacionales de tamaños que van desde 10 hasta 40 billones de parámetros,” afirmó Liao Heng, científico jefe del brazo de diseño de chips de Huawei, HiSilicon, a la Associated Press. “Así que se necesita esa escala de infraestructura para entrenar estos modelos.”
La tecnología que impulsa Peerium
El rendimiento de Peerium depende de tres elementos: paralelismo anidado, direccionamiento unificado de memoria y entrelazados entre pares, afirmaron los representantes de Huawei en el comunicado.
El paralelismo anidado permite descomponer las cargas de trabajo en tareas más pequeñas y organizarlas a través de grupos jerárquicos de chips que trabajan en paralelo. Es similar a cómo una empresa desglosa el trabajo en departamentos y luego en equipos más pequeños, todos los cuales coordinan sus esfuerzos hacia un objetivo común. El direccionamiento de memoria unificado permite a los procesadores acceder a la memoria de otros servidores, en lugar de limitarse solamente a la memoria del servidor al que pertenece el procesador. Los entrelazados entre pares permiten que los componentes se comuniquen de manera más directa entre sí, en lugar de depender de un intermediario.
Los tres principios están diseñados para hacer un uso más eficiente de los recursos informáticos de modo que un solo sistema pueda coordinar un mayor número de chips para manejar cargas de IA exigentes.
Según Huawei, las tecnologías de interconexión existentes —que enlazan procesadores y servidores para que puedan comunicarse— no pueden soportar la arquitectura Peerium a la escala que se prevé. Por ejemplo, NVIDIA utiliza NVLink para la comunicación dentro de los bastidores y InfiniBand para la comunicación entre bastidores. El ancho de banda de comunicación entre bastidores en este sistema es de 200 GB por segundo, explicó Eric Xu, presidente rotatorio de Huawei, a la AP.
“Con un ancho de banda de intercomunicación entre bastidores tan bajo, no hay manera de que un millón de procesadores trabajen como una sola computadora,” afirmó.
En su lugar, Huawei desarrolló su propia tecnología de interconexión, UnifiedBus, que la compañía dice que ofrece un ancho de banda de comunicación entre bastidores de hasta 800 GB por segundo.
“Cuando un millón de procesadores trabajan como una sola computadora, esto sienta las bases para un entrenamiento e inferencia de IA mejores y más eficientes,” agregó Xu. “Por ello, veo a UnifiedBus como el camino para la era futura de la IA. Creo que, en los próximos años, otros actores ciertamente seguirán el ejemplo.”
Conectando una red de cómputo
Junto a Peerium, Huawei también anunció Atlas 950 SuperPoD, un sistema de cómputo construido sobre Peerium y alimentado por más de 8,000 chips aceleradores de IA Huawei Ascend 950DT.
Xu dijo que las pruebas para el entrenamiento de IA ya están en curso en estos SuperPoDs y que los resultados muestran que utilizan su potencia de cómputo disponible para el entrenamiento de IA de manera más eficiente que los clústeres de cómputo de IA que no se basan en Peerium y UnifiedBus.
Huawei espera comenzar a suministrar los SuperPoDs a principios del próximo año, como muy tarde, antes de que sus SuperClusters, los cuales conectan múltiples SuperPoDs para formar un sistema de cómputo de IA más grande, basado en Peerium, estén en línea. Los representantes dijeron que un SuperCluster con 256,000 tarjetas de cómputo —módulos de hardware que añaden capacidad de procesamiento— ya se está desplegando y probando.
Los modelos con un gran número de parámetros exigen mayores recursos de cómputo e infraestructura, lo cual no siempre es deseable ya que incrementa los costos. En verano, investigadores utilizaron una computadora cuántica de IBM para reducir la perplexidad del modelo de lenguaje Llama 3.1 de Meta, de 8 mil millones de parámetros —una medida de qué tan bien predice la siguiente palabra o token— manteniendo casi sin cambios la cantidad de parámetros.
