600 millions de visites par mois pour Chat GPT, un coût d’entraînement et d’inférence qui pèse fortement sur les ressources naturelles : la croissance des usages des systèmes d’IA et des LLM pose la question de leur impact environnemental. Début 2024, Ecolab et l’AFNOR ont donc lancé un groupe de travail pour établir le Référentiel général pour l’IA frugale, qui vise à mesurer et réduire l’impact environnemental de l’IA. Le référentiel a permis d’établir un recueil de bonnes pratiques opérationnelles et applicables en IA frugale.

Pierre Monget, Directeur de programme chez Hub France IA, a accepté de répondre à nos questions sur le sujet de l’IA frugale : méthodologie du référentiel, consommation des systèmes d’IA, régulation par l’UE, typologie des bonnes pratiques identifiées par le référentiel…

Comment Hub France IA a contribué au rapport sur l’IA frugale ?

Ecolab, le laboratoire d’innovation du Ministère de la Transition Écologique, et l’AFNOR ont sollicité Hub France IA pour copiloter le groupe de travail consacré aux bonnes pratiques. 130 contributeurs, issus de 60 organisations différentes, ont participé à cette réflexion.

Dans un premier temps, les contributeurs ont engagé un état des lieux des bonnes pratiques. Tout d’abord, à partir de sources bibliographiques, cependant l’état de l’art autour de l’IA frugale est assez pauvre. Il n’existe d’ailleurs pas de consensus sur la définition de ce qu’est l’IA frugale, ni de bonnes pratiques qui soient popularisées. Cette phase a permis d’identifier 8 bonnes pratiques dans les sources bibliographiques.

Le groupe de travail a ensuite mené des interviews auprès des porteurs de projets d’IA dans tous types de structures (grands groupes, startups, organismes publics, recherche universitaire, etc.), et a ainsi collecté 121 bonnes pratiques, portant le total à 129 bonnes pratiques.

Nous avons ensuite mené un travail de consolidation pour éliminer les doublons, décomposer certaines pratiques volumineuses en plus petits lots, et les regrouper en thématiques, pour arriver à un total de 31 bonnes pratiques qui sont dans le référentiel. 

Comment avez-vous classé les bonnes pratiques ?

Nous avons réparti les bonnes pratiques selon l’étape du cycle de vie d’un modèle d’IA. Nous distinguons 8 étapes au total, ainsi qu’une étape 0 de gouvernance, et pour chacune, nous positionnons les bonnes pratiques selon qu’elles concernent le service, la donnée, ou l’infrastructure.

Ainsi, une équipe projet s’intéressant à la frugalité des modèles d’IA, mais qui serait déjà bien avancée dans sa phase de déploiement, pourra consulter les bonnes pratiques adaptées concernant cette phase, et sélectionner la plus pertinente dans son contexte.

Après une adoption rapide, et un peu chaotique de l’IAG, la frugalité en matière d’IA est-elle une préoccupation généralisée ?

J’ai commencé à m’intéresser à ce sujet en 2022. A part quelques articles de Google mettant en avant leurs méthodes pour réduire l’empreinte des modèles, l’état de l’art académique était assez pauvre. Courant 2023, le sujet a commencé à émerger avec des articles de chercheurs ou issus de startups traitant de l’empreinte des modèles. Le sujet progresse bien depuis début 2024, la preuve, nous avons réussi à rassembler plus de 60 organisations autour du sujet. 

Du côté des startups, j’ai l’impression que le sujet de la frugalité est avant tout poussé par les individus. Ce sont des personnes qui ont une fibre environnementale, qui souhaitent explorer le sujet, et parfois se regroupent bénévolement pour créer des calculettes ou tester différents outils pour mesurer l’empreinte de leurs modèles. Quand ils ont gagné en maturité sur le sujet, ils sensibilisent ensuite leurs collègues. Mais au final, les startups sont dans une équation économique qui ne favorise pas la frugalité. Construire un modèle d’IA frugal, c’est aussi accepter le fait de faire moins, avec moins de ressources, et donc que le modèle soit un peu moins performant. Dans un environnement concurrentiel comme celui des startups, favoriser une solution plus performante, ou une empreinte environnementale moindre n’est pas évident.

A vrai dire, le sujet doit également progresser auprès des soumissionnaires d’appels d’offre privés, pour agir comme incitatif auprès des startups. Je constate en tous cas un progrès du côté des pouvoirs publics, avec la volonté d’ajouter un critère de notation de la frugalité dans les futurs appels d’offres. On peut aussi citer le démonstrateur d’IA frugale pour la transition écologique des territoires (DIAT), incitant à essayer Green Algorithms, une calculatrice en ligne pour estimer la future consommation du modèle pendant l’entraînement, en fonction du type de GPU, de leur nombre, de l’usage de la mémoire, etc.

Avec le référentiel, il sera en tous cas plus facile pour la commande publique de vérifier le degré d’application des bonnes pratiques, et de juger de la frugalité d’un modèle avant qu’il soit conçu. La commande publique est un fort incitatif pour les fournisseurs d’IA. Pour les appels d’offres privés, la situation est plus compliquée, même si les acteurs commencent à être sensibilisés. On peut tout à fait sacrifier quelques points de performance et tout de même répondre aux exigences du cahier des charges. L’empreinte du modèle sera moindre, et donc les coûts financiers moins élevés : l’entraînement est plus court, on a besoin de moins de puissance de calcul, et le coût de la requête en inférence sera moindre également. Un modèle frugal est plus léger, moins énergivore, et moins coûteux financièrement.

Il reste néanmoins la question du nombre de prompts par utilisateur, et du volume quotidien d’utilisateurs : on perd le bénéfice d’un coût d’inférence bas si des milliers d’utilisateurs lancent chaque jour des dizaines de prompts.

Entre sensibilisation et obligation, comment généraliser les pratiques de frugalité ? Quid de la régulation européenne via l’AI Act ?

Au niveau national, le référentiel n’est pas une norme, donc il n’a pas de caractère obligatoire. Par la suite, nous envisageons une norme européenne, mais c’est un travail de longue haleine qui implique plusieurs pays. Quand cette norme sera en place, elle pourra alors être appliquée en France.

Concernant l’AI Act, il inclut quelques notions liées à la frugalité des modèles. Plusieurs articles concernant les obligations pour les modèles d’IA à usage général (annexe 11) indiquent que la documentation technique doit contenir au minimum des informations sur la consommation connue ou estimée du modèle. Cela reste assez compliqué, car tous les hyperscalers ne fournissent pas de dashboards permettant d’identifier la puissance de calcul, et donc l’empreinte.

On peut également signaler plusieurs autres entrées dans l’AI Act : 

• La quantité de calcul nécessaire pour la phase d’entraînement devra être estimée. Il faut cependant définir un standard qui sera la base de comparaison.
• L’article 40 préconise la normalisation des livrables : The standardisation request shall also ask for deliverables on reporting and documentation processes to improve AI systems’ resource performance, such as reducing the high-risk AI system’s consumption of energy and of other resources during its lifecycle, and on the energy-efficient development of general-purpose AI models
• L’article 95 inclut les codes de conduite volontaires, qui doivent contenir des éléments pour évaluer et réduire l’impact environnemental : Assessing and minimising the impact of AI systems on environmental sustainability, including as regards energy-efficient programming and techniques for the efficient design, training and use of AI
• Une autre entrée encourage les fournisseurs, et le cas échéant ceux qui déploient des systèmes d’IA, à appliquer (sur la base du volontariat) des exigences supplémentaires sur la durabilité environnementale

Enfin l’article 112 prévoit un réexamen du document au plus tard en août 2028, puis tous les 4 ans : 

La Commission présente un rapport sur l’examen des progrès accomplis dans l’élaboration des éléments livrables de la normalisation concernant le développement économe en énergie de modèles d’IA à usage général, et évalue la nécessité de nouvelles mesures ou actions, y compris des mesures ou actions contraignantes.

Pour l’instant donc, les différentes dispositions sont à une échéance assez lointaine, et se concentrent sur les modèles d’IAG.

Concrètement, comment les équipes peuvent-elles s’approprier les bonnes pratiques du référentiel ?

Notre objectif était de rendre les bonnes pratiques opérationnelles pour qu’elles soient facilement adoptables. Comme je l’ai mentionné, elles sont classées selon le cycle de vie du projet, et dans les 3 domaines (service, infrastructure et données).

Par ailleurs, chaque bonne pratique est notée selon deux critères : le gain de frugalité (faible, modéré ou élevé), et l’effort de mise en œuvre (faible, modéré ou élevé). Les contributeurs des trois groupes de travail ont donc noté les bonnes pratiques suivant ces critères, pour parvenir à différents tops qui facilitent la lecture : 

• Les 5 bonnes pratiques les plus simples à mettre en oeuvre
• Les 5 bonnes pratiques présentant le gain en frugalité le plus élevé
• Les 5 bonnes pratiques les plus populaires parmi les contributeurs : on trouve ici des bonnes pratiques qui interviennent tôt dans le cycle de vie du projet. Par exemple, le projet le plus frugal est celui qu’on ne lance pas, parce qu’on dispose d’une autre solution que l’IA.

Nous proposons aussi un autre niveau de lecture avec un tableau regroupant les bonnes pratiques les plus simples à mettre en œuvre avec le meilleur gain, et celles plus complexes mais avec un gain modéré ou élevé. Et pour les équipes les plus avancées, on peut aussi trouver les bonnes pratiques avec un gain moindre, et complexes à mettre en oeuvre.

Microsoft et Google remettent en question les objectifs zéro net carbone, à cause de la croissance de la demande pour les services IA. Est-ce que l’IA n’accélère pas le problème de l’empreinte du numérique et pour quel bénéfice?

On ne peut pas contester la croissance effrénée de la demande énergétique, et cela est principalement dû à l’IAG et à la course aux grands modèles. Si la phase d’entraînement est énergivore, l’impact de la phase d’inférence peut potentiellement devenir plus élevé au fil du cycle de vie : c’est le cas de Chat GPT, avec une centaine de millions d’utilisateurs mensuels, plusieurs requêtes ou discussions par utilisateur chaque jour ont un impact énorme sur l’empreinte. 

Les fournisseurs comme Google ou Microsoft ont une part de responsabilité, mais ils répondent à une demande. Le sujet est multifactoriel, et on constate que les hyperscalers optimisent toujours plus leurs infrastructures pour être le moins énergivore possible, et tendre vers un PUE de 1. C’est aussi dans l’intérêt des fournisseurs, car cela permet de réduire le coût de leurs installations. Mais la croissance de la consommation est aussi poussée par la demande, aussi bien du grand public que des entreprises. Face à cette accélération de l’adoption, les fournisseurs de solutions d’IA doivent aussi faire l’effort de développer des produits plus frugaux.

Enfin, il existe de nombreuses pistes d’amélioration de l’efficience énergétique dans les datacenters, que ce soit du côté des serveurs, des techniques de refroidissement, ou des fabricants de processeurs. Le choix d’implantation géographique joue aussi un rôle : on va évidemment arrêter d’implanter des datacenters dans des territoires soumis à des sécheresses et à un fort stress hydrique. Le nouvel eldorado, ce sont les pays du nord, comme l’Islande ou la Norvège, avec un mix énergétique vert, et des possibilités de refroidissement grâce à la proximité des fjords. L’effort de refroidissement à fournir est également moins important quand la température extérieure est basse. 

Pour conclure, Google et Microsoft ne représentent qu’une partie de la problématique. Il faut considérer l’ensemble de l’écosystème. Et si cette croissance démesurée de la demande se poursuit parfois sur des cas d’usage triviaux, alors il faudra reconsidérer le modèle et la façon de répondre à la demande de la société. On doit sensibiliser les utilisateurs, grand public ou entreprise, à l’impact de l’usage des IAG. Pour rechercher une information générale dans un cadre professionnel, il sera moins énergivore d’utiliser un moteur de recherche classique. On privilégiera l’IA pour des cas d’usage à plus forte valeur ajoutée, comme le gain de temps, ou de créativité : par exemple, l’IAG peut accélérer la production de fiches produit, ou faciliter la création de slides, lister rapidement des idées de sujet, etc.

Goldman Sachs envisage une explosion de la  bulle IAG à 18 mois, qu’en pensez-vous ?

Est ce que la bulle va exploser ? On sait que le modèle ne sera pas soutenable du point de vue environnemental, donc il doit y avoir une prise de conscience des utilisateurs et un usage responsable. Du point de vue de l’entreprise, il y a une part de responsabilité lors de l’expression du besoin : une précision/performance moindre peut parfois être acceptable.

Si les fournisseurs d’IA ont aussi des efforts à faire pour réduire leur empreinte, on constate que la course aux grands modèles commence à ralentir. On s’oriente vers des petits modèles plus spécialisés sur des fonctions métier, des industries. Un modèle plus petit, c’est moins de temps d’entraînement, un coût à l’inférence moindre, et la possibilité de l’entraîner sur sa propre infrastructure. Cela signifie aussi que les données ne sortent pas de l’entreprise, et qu’on peut entraîner le modèle sur une fonction métier.

Quoiqu’il en soit, l’adoption est croissante, elle doit donc être raisonnée et intelligente : déployer à bon escient, être raisonnable dans la précision/performance. On doit avant tout identifier les cas d’usage à forte valeur ajoutée ou gain de productivité. Chacun doit s’emparer du sujet de la frugalité : l’équipe projet, les sponsors, les utilisateurs, etc. D’après une étude du forum économique mondial, la croissance annuelle de la consommation énergétique de l’IA est de 26 à 36%. D’ici 2028,cela pourrait représenter autant que la consommation de l’Islande en 2021. Si nous continuons sur cette trajectoire sans rien faire, l’IA, qui est un espoir de lutter contre le changement climatique et aider la transition écologique, peut très vite glisser et faire partie du problème.

Équilibrer la frugalité du modèle, son empreinte environnementale, la destination et le cas d’usage du modèle : l’impact positif des usages doit être supérieur aux impacts négatifs du cycle de vie du service IA et de ses usages. C’est cela qui définit un service d’IA frugale.