Entrevista realizada el 29 de abril de 2024 a Maury Wood, vicepresidente de marketing estratégico en la compañía Vicor Corporation.
La introducción de la IA generativa (genAI) se ha comparado con la popularización de Internet, en términos de sus implicaciones de largo alcance.
¿Cuáles son algunas de las tendencias tecnológicas emergentes asociadas con la proliferación de genAI?
OpenAI introdujo ChatGPT en noviembre de 2022, y el impacto cultural resultante (y el impacto prospectivo anticipado) de GenAI es monumental y se espera que eventualmente afecte todos los aspectos de la actividad humana. Desde un punto de vista tecnológico, una cosa está cada vez más clara: el entrenamiento del modelo genAI impulsará los niveles más altos posibles de rendimiento informático, capacidad de almacenamiento y ancho de banda de red.
GenAI está motivando niveles masivos de nuevas inversiones en los sectores de semiconductores, hardware de infraestructura y software de sistemas, y también en el borde (periferia) de la red, y se puede esperar que esta actividad de inversión se extienda a dispositivos de IA integrados para vehículos, hogares y lugares de trabajo.
Uno de los costos de este estallido de innovación es el rápido aumento del uso de energía en los centros de datos en la nube que albergan actividades de inferencia y capacitación en genAI, con algunos pronósticos nefastos. Por ejemplo, el New York Times ha informado que “en un escenario intermedio, para 2027 los servidores de IA podrían utilizar entre 85 y 134 Teravatios hora (TWh) al año.
Eso es similar a lo que utilizan Argentina, los Países Bajos y Suecia cada uno en un año, y representa aproximadamente el 0,5 por ciento del uso actual de electricidad en el mundo”. La IA generativa presenta un desafío de consumo de energía abrumador y apremiante que no está alineado con los objetivos sociales de reducción de gases de efecto invernadero y cero emisiones netas.
¿Por qué la genAI tiene tanta hambre de poder?
Los procesadores de entrenamiento GenAI utilizan una gran cantidad de transistores (cien mil millones o más) en tecnologías avanzadas como chiplets CMOS de 4 nm, que pierden corriente durante el funcionamiento.
Aunque el voltaje de suministro de estos transistores es tan bajo como 0,7 VDD, la demanda de corriente continua puede ser de 1.000 amperios o más, lo que sitúa la potencia continua (también conocida como potencia de diseño térmico) en 700 vatios.
La demanda de corriente máxima puede llegar a 2.000 amperios, lo que equivale a una potencia máxima de 1.400 vatios o más durante períodos cortos.
La inferencia GenAI utiliza mucha menos energía. Una buena regla general es que el costo energético de la inferencia es aproximadamente la raíz cuadrada del costo energético de entrenar el mismo modelo de lenguaje grande.
