Un grupo de investigadores internacionales de IA y científicos de datos han colaborado para diseñar un software capaz de estimar la huella de carbono de las operaciones informáticas. El paquete de software de código abierto, llamado CodeCarbo, fue diseñado por un consorcio de empresas de inteligencia artificial y ciencia de datos. La esperanza es que el software permita e incentive a los programadores a hacer su código más eficiente y reducir la cantidad de CO2 generado por el uso de recursos informáticos.
Reducción de la Huella de Carbono
Según ITP, el nuevo paquete de software CodeCarbon fue desarrollado por un equipo de grupos de investigación de IA dirigidos por la empresa de investigación de IA Mila, junto con Comet.ml, Haverford College en Pensilvania y GAMMA. El software no solo estima la cantidad de CO2 producido por el uso de los recursos informáticos, sino que también brinda a los desarrolladores consejos para reducir su huella de energía de carbono.
Entrenamiento de modelos de IA puede requerir mucha energía. Como lo explica ArsTechnica, investigadores de la Universidad de Massachusetts Amherst calcularon el costo total de crear y entrenar ciertos modelos de IA, y el equipo descubrió que entrenar la red de lenguaje natural BERT alguna vez generó aproximadamente tanto carbono como un vuelo de ida y vuelta entre San Francisco y Nueva York. Mientras tanto, entrenar el modelo varias veces hasta que esté optimizado podría generar tanto CO2 como 315 pasajeros diferentes que toman el mismo vuelo.
¿Por qué exactamente los modelos de IA consumen tanta energía y generan tanto CO2 como subproducto? Parte de la respuesta radica en cómo se entrenan y optimizan los modelos de IA. Para obtener incluso pequeñas mejoras sobre los algoritmos de última generación existentes, los investigadores de IA pueden entrenar su modelo miles de veces, haciendo pequeños ajustes al modelo cada vez hasta que se descubra una arquitectura de modelo óptima.
Los modelos de IA también están creciendo en tamaño todo el tiempo, volviéndose más complejos cada año.
Los algoritmos y modelos de aprendizaje automático más potentes, como GPT-3, BERT y VGG, tienen millones de parámetros y se entrenan durante semanas, lo que equivale a cientos o miles de horas de tiempo de entrenamiento. GPT-2 tenía aproximadamente 1500 millones de parámetros dentro de la red, mientras que GPT-3 tiene alrededor de 175000 millones de pesos. Esto termina usando cientos de kilogramos de CO2.
CódigoCarbono
CodeCarbon tiene un módulo de mecanismo de seguimiento que registra la cantidad de energía utilizada por los proveedores de la nube y los centros de datos. Luego, el sistema utiliza datos extraídos de fuentes disponibles públicamente para estimar el volumen de CO2 generado, verificando las estadísticas de la red eléctrica a la que está conectado el hardware. El rastreador estima el CO2 producido para cada experimento utilizando un módulo de IA particular, almacenando los datos de emisiones tanto para los proyectos como para toda la organización.
El fundador de Mila, Yohua Bengio, explicó que si bien la IA es una herramienta increíblemente poderosa que puede abordar muchos problemas, a menudo requiere una cantidad sustancial de potencia informática. Sylvian Duranton, director general de Boston Consulting Group, argumentó que la informática y la IA seguirán creciendo a un ritmo exponencial en todo el mundo. La idea es que CodeCarbon ayude a las empresas de inteligencia artificial y computación a limitar su huella de carbono a medida que continúan creciendo. CodeCarbon generará un tablero que permitirá a las empresas ver fácilmente la cantidad de emisiones generadas por el entrenamiento de sus modelos de aprendizaje automático. También representará las emisiones en métricas que los desarrolladores pueden entender fácilmente, como las millas recorridas en un automóvil, las horas de televisión que se ven y el consumo de energía típico de un hogar en los EE. UU.
Los desarrolladores de CodeCarbon esperan que el software no solo anime a los investigadores de IA a intentar reducir su propia huella de carbono, sino que fomente una mayor transparencia con respecto a las emisiones en general. Los desarrolladores podrán cuantificar e informar sobre las emisiones generadas por una variedad de diferentes experimentos informáticos y de inteligencia artificial. El equipo responsable de crear CodeCarbon espera que otros desarrolladores tomen su herramienta de código abierto y la mejoren con nuevas características que ayudarán a los ingenieros e investigadores de IA a reducir aún más su impacto ambiental.