EuroHPC : comment obtenir un accès supercalculateur en Europe, et à quel prix

La plupart des entreprises qui gagneraient à disposer de calcul sérieux n'envisagent jamais EuroHPC, parce que le calcul intensif, ça sent le laboratoire de physique. C'était largement vrai il y a dix ans. Ça ne l'est plus, et les voies d'accès sont bien plus ouvertes qu'on ne l'imagine.

L'entreprise commune EuroHPC achète et exploite des supercalculateurs européens, finance le logiciel et les compétences qui vont avec et, plus utile encore pour les entreprises, en attribue l'accès. Pour la bonne charge de travail, cet accès revient spectaculairement moins cher que le cloud commercial. Pour certaines, il est gratuit.

Ce qu'est EuroHPC

Une entreprise commune entre l'UE, les États participants et des membres privés, financée par le programme pour une Europe numérique, Horizon Europe et le mécanisme pour l'interconnexion en Europe, plus des contributions nationales.

Son activité se divise en trois volets :

L'infrastructure. L'achat et l'exploitation de supercalculateurs partout en Europe, des systèmes de milieu de gamme aux machines de classe exascale, hébergés sur des sites répartis dans divers États membres. S'y ajoutent les usines d'IA décrites dans notre guide InvestAI, c'est-à-dire de la capacité optimisée pour l'IA adossée à ces mêmes sites.

La recherche et l'innovation. Le financement de la pile logicielle, des applications et, de plus en plus, des technologies de processeurs européens.

Les compétences et l'accès. Centres de compétences, formation, et les appels d'attribution qui permettent concrètement d'utiliser les machines.

C'est ce dernier volet qui devrait intéresser les entreprises, et c'est celui dont la plupart ignorent jusqu'à l'existence.

Les voies d'accès

L'accès s'attribue par appels, et il en existe plusieurs aux caractéristiques très différentes. Choisir la bonne compte plus que tout le reste.

Accès de référence et de développement

De petites allocations pour tester si votre code tourne et comment il passe à l'échelle. Candidature légère, traitement rapide, peu de calcul à la clé.

C'est le bon point de départ pour qui n'a jamais touché à ces systèmes. Cela ne vous coûte qu'un formulaire, et cela vous dit les deux choses à savoir : votre charge de travail tourne-t-elle, et passe-t-elle utilement à l'échelle.

Accès régulier

La voie principale pour des allocations substantielles. Évaluation par les pairs, appels à cycle régulier, projets devant présenter une justification scientifique ou technique claire. Allocations plus importantes, sur des périodes plus longues.

L'examen n'a rien de formel, et la proposition doit porter une vraie justification technique : ce que vous calculez, pourquoi cela demande cette échelle, et des preuves que votre code est performant.

Accès à très grande échelle

Pour des projets qui réclament de très grandes fractions des plus grosses machines. Rare, très sévèrement évalué, et ce n'est pas là que commencent la plupart des entreprises.

Accès IA et accès industriel

Des voies plus récentes, destinées explicitement aux charges d'IA et aux usagers industriels, PME et start-up comprises. Leurs procédures sont plus légères que l'attribution scientifique classique, et elles sont pensées pour des organisations qui ne sont pas des institutions de recherche.

Si vous êtes une entreprise et non une université, c'est en général votre voie.

Accès via les usines d'IA

Les usines d'IA ont leurs propres modalités d'accès, avec en général davantage d'accompagnement pour des usagers qui ne sont pas spécialistes du HPC. Si votre charge de travail relève de l'entraînement ou de l'affinage de modèles plutôt que de la simulation classique, commencez par là.

Ce que cela coûte

Pour la recherche et pour beaucoup d'usages industriels, le calcul attribué est fourni gratuitement : les machines sont financées sur fonds publics, et c'est la procédure d'attribution, et non le prix, qui joue le rôle de mécanisme de rationnement.

Il existe aussi des modalités d'accès commercial, avec redevance, en général pour des travaux directement commerciaux sans exigence d'ouverture. Même dans ce cas, les tarifs soutiennent largement la comparaison avec le cloud commercial pour de gros travaux au long cours, parce que vous ne payez pas de marge sur une capacité élastique dont vous ne vous servez pas.

Le vrai coût n'est pas le calcul. C'est l'ingénierie.

Le point honnête : ce n'est pas du cloud

C'est ici qu'il faut cadrer les attentes, car c'est précisément la raison pour laquelle des entreprises essaient EuroHPC puis abandonnent.

Vous n'obtenez pas une VM avec les droits root. Vous obtenez une allocation sur un cluster partagé doté d'un ordonnanceur, en général Slurm. Vous soumettez des tâches à une file. Elles tournent quand les ressources se libèrent. Le travail interactif y est limité.

L'environnement logiciel repose sur des modules, et non sur une logique conteneurs d'abord, même si le support des conteneurs se généralise. Il faudra peut-être recompiler vos dépendances avec les bibliothèques propres au site.

Le système de fichiers est partagé et soumis à des règles. L'espace de travail temporaire est purgé. Les répertoires personnels ont des quotas. Le transfert de données, dans un sens comme dans l'autre, demande d'être planifié, et pour de gros jeux de données il demande d'être vraiment planifié.

Le réseau est optimisé pour des tâches parallèles fortement couplées, pas pour des microservices qui s'appellent les uns les autres. Si votre charge de travail est un système distribué et non un calcul parallèle, ce n'est pas le bon environnement.

Les files d'attente sont bien réelles. Une grosse tâche peut patienter. Si vous voulez des résultats dans l'heure et à la demande, ce n'est pas votre infrastructure.

L'élasticité n'existe pas. Vous avez une allocation. Vous ne monterez pas en charge sous prétexte que la journée est chargée.

Au total, EuroHPC excelle sur les charges lourdes, planifiées, parallèles ou par lots, celles que l'on peut anticiper. Il est mauvais sur tout ce qui est interactif, élastique, à la demande, ou qui ressemble à un service.

Quelles charges de travail conviennent vraiment

L'entraînement et l'affinage de modèles à grande échelle. Le cas moderne évident, et ce pour quoi les usines d'IA sont bâties.

La simulation à grande échelle. Mécanique des fluides numérique, dynamique moléculaire, analyse de structures, climat et météo, électromagnétisme. Les cas historiques, et toujours les plus gros consommateurs.

L'inférence par lots et le traitement de gros jeux de données. Traiter un grand corpus une bonne fois, générer des embeddings en masse, scorer par lots.

Tout ce qui vous coûte aujourd'hui cher en temps GPU ou CPU cloud sur des tâches planifiées. C'est le test commercial. Si votre facture cloud mensuelle pour du traitement par lots est significative et que les tâches se planifient, faites la comparaison.

Tout ce dont les données ne peuvent pas quitter l'UE. Données sensibles soumises à des règles sectorielles, données de santé, données du secteur public. Du calcul situé dans l'UE et sous juridiction européenne change complètement l'analyse, et le sujet rejoint les questions de transfert traitées dans notre guide RGPD.

Par où entrer, concrètement

Commencez par une allocation de référence. Petite, rapide, elle vous dit si l'affaire est viable avant que vous n'investissiez quoi que ce soit.

Parlez au centre national de compétences. Chaque pays participant en a un. Ils existent précisément pour aider les organisations qui découvrent le HPC, ils sont gratuits, et ils vous diront franchement si votre charge de travail y a sa place.

Budgétez explicitement le travail de portage. Si votre équipe n'a jamais tourné que sur du cloud managé, faire fonctionner efficacement une charge de travail sur une allocation HPC est un vrai projet d'ingénierie. Pas gigantesque, mais pas nul non plus. Il est courant qu'une première tentative tourne à une fraction de la performance atteignable.

Regardez d'abord les voies IA et industrielles si vous êtes une entreprise. Le processus d'attribution scientifique classique n'a pas été conçu pour vous.

Anticipez le déplacement des données. Faire transiter des téraoctets dans un sens comme dans l'autre est un problème logistique, avec ses propres délais.

Où cela se situe stratégiquement

EuroHPC est la couche de base de la stratégie européenne de calcul. Les usines d'IA décrites dans notre guide InvestAI s'y adossent. Les gigafactories la prolongent. Les travaux sur les processeurs menés au titre du Chips Act visent à terme à réduire la dépendance matérielle qui se trouve en dessous. Et le Cloud and AI Development Act forme le cadre réglementaire autour de l'ensemble.

Pour une entreprise, la portée stratégique compte moins que la portée pratique. Vous ne penserez guère à la souveraineté technologique européenne au moment de choisir où lancer un entraînement. En revanche, vous penserez au prix, qui ne représente qu'une fraction de ce que vous payez ailleurs.

Où cela s'inscrit

Le paysage complet du financement et de l'accès est cartographié dans notre guide du financement technologique européen. Le programme qui finance une large part d'EuroHPC est traité dans notre guide du programme pour une Europe numérique.

Obtenir de l'aide

Nous développons des plateformes de données, des chaînes de traitement pour l'IA et des systèmes intensifs en calcul pour des entreprises actives en Europe, y compris ce travail qui consiste à faire passer une charge d'un portable ou d'un GPU cloud à une allocation HPC planifiée sans y laisser un trimestre.

Si vous avez une charge de travail contrainte par le calcul et que vous voulez une évaluation réaliste de l'intérêt d'un accès EuroHPC et du coût du portage, écrivez à office@c9group.dev. Vous trouverez plus de détails sur notre travail d'infrastructure sur la page optimisation des coûts AWS.