LightOn, pionnier dans l’IA générative et les LLM, est une entreprise française leader sur le marché de l’IA, en France et en Europe. L’équipe de LightOn a développé 12 modèles de langues à grande échelle, et notamment Alfred, un modèle open source pour les entreprises. En 2023, LightOn a lancé Paradigm, une plateforme d’IA générative pour les entreprises. 

Afin de soutenir sa croissance et accélérer la production des modèles et leur mise à disposition, LightOn a choisi de migrer sur le Cloud AWS, et notamment de s’appuyer sur Amazon Sagemaker. Les équipes de Devoteam Revolve ont accompagné l’entreprise dans ce projet, avec pour objectifs : 

• La création de Landing Zone en utilisant Terraform, et dans le respect des bonnes pratiques AWS
• La migration et l’optimisation des ressources vers AWS
• L’automatisation du processus de création des modèles de Machine Learning, et leur mise à disposition sur le Marketplace AWS.

Dans cet article, Lilian Debaque, Architecte Cloud chez LightOn, revient avec nous sur la réalisation de ce projet aux côtés des équipes de Devoteam Revolve.

Dans quel contexte avez-vous choisi de migrer sur le Cloud AWS ?

Notre principal besoin était de pouvoir provisionner de l’infrastructure à la demande, et surtout de la disponibilité de GPU sur différents continents. La migration visait donc à assurer la scalabilité et la stabilité de notre infrastructure, dans un contexte d’utilisation de GPU particulièrement puissants. Néanmoins notre solution reste agnostique, et Paradigm peut être déployé sur n’importe quel provider, ou on premises.

Quel était le périmètre de la migration ?

Afin de rationaliser la partie infrastructure et la partie applicative, nous avons choisi de migrer l’ensemble de l’infrastructure sur AWS. Ce choix nous permet notamment de faciliter l’interconnexion entre Amazon Sagemaker pour les modèles, et l’infrastructure pour les données, Paradigm, etc.

Quelles compétences avez-vous sollicitées auprès de Devoteam Revolve ?

L’objectif de cet accompagnement était de nous permettre d’accélérer sur le move to Cloud AWS. Nous étions à la recherche d’homologues techniques pour mener un travail que nous ne pouvions faire par manque de temps, et nous avons trouvé des experts capables de mener à bien le projet, sans que nous ayons besoin de les former, de manager ou de suivre de près l’avancement.

Nous avons donc sollicité l’expertise de Devoteam Revolve dans la création de Landing Zone basée sur l’infra as code et les bonnes pratiques AWS, sur la migration et l’optimisation des ressources depuis notre ancien Cloud provider vers AWS, et sur l’automatisation du processus de création des modèles Machine Learning et leur distribution sur le Marketplace AWS.

Concernant la Landing Zone, nous avions besoin d’une approche un peu plus spécifique, qui soit adaptée à nos besoins particuliers, tout en respectant les bonnes pratiques AWS, et Devoteam Revolve a su faire preuve d’adaptabilité pour répondre à cette demande.

Comment s’est passé cet accompagnement ?

Le cadrage du projet était une phase essentielle, qui nous a fait gagner beaucoup de temps en plus de nous donner les étapes de la migration.

J’ai par ailleurs beaucoup apprécié la rapidité dans la réalisation du projet, le niveau d’expertise sur AWS, et la fluidité de nos échanges. Également, beaucoup de curiosité quant aux défis techniques que nous avons pu soulever : par exemple, la possibilité d’ajouter une gestion du billing via les alarmes AWS, et de bloquer la consommation au-delà d’un budget défini. Au final, nous n’avons pas implémenté cette fonctionnalité, mais la réflexion était enrichissante.

Devoteam Revolve a également entièrement migré notre Gitlab depuis OVH vers AWS, toujours dans l’optique de rationaliser notre infrastructure, et de tout passer en SSO. Cette migration a également été réalisée rapidement, comme annoncé dans le cadrage fait par Devoteam Revolve. Le projet était bien préparé, et donc livré dans les temps.

Quelle était la valeur ajoutée apportée par Devoteam Revolve ?

Pour nous, c’est un énorme gain de temps. Le travail apporté sur ce projet était de qualité, avec une grande expertise tant sur la gestion de la migration que sur la partie liée au Marketplace. Et nous  disposons maintenant d’une infrastructure déployée avec Terraform, et prête à être utilisée.

Et sur la partie liée à Amazon Sagemaker ?

Devoteam Revolve nous a aidé à automatiser la mise en production de nos modèles et leur mise à disposition sur le marketplace AWS. Pour nous, l’intérêt de Sagemaker est de pouvoir gérer plusieurs modèles de façon simultanée sans avoir besoin de faire des changements sur notre infrastructure.

Depuis notre applicatif Paradigm, nous avons juste à choisir dans une liste un modèle pour traiter l’IA générative, en fonction de nos versions. Nous n’avons plus besoin d’avoir un modèle spécifique à chaque environnement. Auparavant, pour des raisons de coût, nous n’utilisions pas les mêmes modèles en environnement de dev ou de production. 

Quel bilan tirez-vous aujourd’hui de l’utilisation de Sagemaker ?

On utilisait déjà Sagemaker auparavant, mais l’automatisation mise en place nous a permis de fluidifier et d’accélérer nos process, ainsi que de préparer l’arrivée du reste de l’infrastructure sur AWS. Tout cela facilite la mise à disposition de nos nouveaux modèles sur le marketplace.

Par ailleurs, Sagemaker est un outil SAAS qui parle aussi bien aux développeurs qu’aux chercheurs chez nous, et cela facilite l’utilisation et la production de modèles pour ces deux types de public

Quelles sont les prochaines étapes ?

Nous travaillons maintenant sur trois axes : l’amélioration des modèles, de l’application, et de la création de l’infrastructure. Nous avons maintenant l’avantage de pouvoir tester les modèles plus rapidement, adapter l’application et faire des montées de version tout en testant les anciens modèles. Et ceci, grâce au travail de Devoteam Revolve sur EKS, Gitlab et Sagemaker.

Pour conclure sur ce projet, tout s’est déroulé de façon très fluide, et le niveau de compétences des équipes Devoteam Revolve nous a très rapidement mis en confiance. Sur des sujets très techniques, comme ceux liés au marketplace, aux LLM ou à EKS, on craint toujours d’avoir à corriger ensuite le travail du prestataire, mais ça n’a pas été le cas dans ce projet : pour nous, le gain de temps a été énorme.