EuroHPC: hoe u in Europa toegang tot een supercomputer krijgt, en wat het kost

De meeste bedrijven die baat zouden hebben bij serieuze rekenkracht kijken nooit naar EuroHPC, omdat supercomputing klinkt als iets voor natuurkundigen. Tien jaar geleden klopte dat grotendeels. Nu niet meer, en de toegangsroutes staan verder open dan vrijwel iedereen beseft.

De gemeenschappelijke onderneming EuroHPC koopt Europese supercomputers aan en beheert ze, financiert de software en de vaardigheden eromheen, en, wat voor bedrijven het nuttigst is, wijst toegang tot die machines toe. Voor de juiste werklast is die toegang spectaculair veel goedkoper dan commerciële cloud, en voor sommige werklasten is hij gratis.

Wat EuroHPC werkelijk is

Een gemeenschappelijke onderneming van de EU, de deelnemende staten en private leden, gefinancierd uit het programma Digitaal Europa, Horizon Europa en de Connecting Europe Facility, aangevuld met nationale bijdragen.

Het werk valt uiteen in drie delen:

Infrastructuur. Supercomputers in heel Europa aanschaffen en beheren, van systemen uit de middenklasse tot machines van exaschaalklasse, ondergebracht op locaties in diverse lidstaten. Daarbij horen ook de AI-fabrieken die we beschrijven in onze gids voor InvestAI, die voor AI geoptimaliseerde capaciteit bieden en aan deze locaties hangen.

Onderzoek en innovatie. Financiering van de softwarestack, de toepassingen en steeds vaker ook Europese processortechnologie.

Vaardigheden en toegang. Competentiecentra, opleidingen, en de toewijzingsoproepen waarmee u de machines daadwerkelijk mag gebruiken.

Juist dat laatste deel zou bedrijven moeten interesseren, en juist daarvan weten de meeste niet eens dat het bestaat.

De toegangsroutes

Toegang wordt via oproepen toegewezen, en die oproepen verschillen sterk van elkaar. De juiste kiezen weegt zwaarder dan al het andere.

Benchmark- en ontwikkeltoegang

Kleine toewijzingen om te testen of uw code draait en hoe die schaalt. Lichte aanvraag, snelle doorlooptijd, kleine hoeveelheid rekenkracht.

Dit is het juiste beginpunt voor iedereen die deze systemen nog nooit heeft gebruikt. Het kost u één aanvraagformulier, en daarna weet u de twee dingen die u moet weten: draait uw werklast überhaupt, en schaalt hij bruikbaar.

Reguliere toegang

De hoofdroute voor substantiële toewijzingen. Collegiaal getoetst, met oproepen in een vaste cyclus, gericht op projecten met een duidelijke wetenschappelijke of technische onderbouwing. Grotere toewijzingen over langere perioden.

Die toetsing stelt echt iets voor, en het voorstel heeft een technische onderbouwing nodig: wat u berekent, waarom dat op deze schaal moet, en bewijs dat uw code presteert.

Toegang op extreme schaal

Voor projecten die zeer grote delen van de grootste machines nodig hebben. Zeldzaam, zwaar getoetst, en niet de plek waar de meeste bedrijven beginnen.

Toegang voor AI en voor de industrie

Nieuwere sporen die expliciet mikken op AI-werklasten en op industriële gebruikers, mkb'ers en startups inbegrepen. De procedure is lichter dan bij de traditionele wetenschappelijke toewijzing, en ze zijn bedoeld voor organisaties die geen onderzoeksinstelling zijn.

Bent u een bedrijf en geen universiteit, dan is dit meestal uw route.

Toegang via de AI-fabrieken

AI-fabrieken hebben hun eigen toegangsregelingen, doorgaans met meer ondersteuning voor gebruikers die geen HPC-specialist zijn. Bestaat uw werklast uit modeltraining of finetuning in plaats van klassieke simulatie, begin dan hier.

Wat het kost

Voor onderzoek en voor veel industrieel gebruik is toegewezen rekenkracht kosteloos, omdat de machines publiek gefinancierd zijn en niet de prijs maar het toewijzingsproces de schaarste verdeelt.

Daarnaast bestaan er commerciële toegangsregelingen waarvoor u wel betaalt, doorgaans voor werk dat rechtstreeks commercieel is en waar geen eis van openheid aan hangt. Zelfs dan pakt de prijs bij aanhoudend grote taken doorgaans gunstiger uit dan commerciële cloud, omdat u geen marge betaalt op elastische capaciteit die u toch niet gebruikt.

De echte kostenpost is niet de rekenkracht. Het is de engineering.

Het eerlijke deel: dit is geen cloud

Hier moeten de verwachtingen worden bijgesteld, want dit is precies de reden dat bedrijven EuroHPC proberen en er weer mee stoppen.

U krijgt geen VM met root. U krijgt een toewijzing op een gedeeld cluster met een taakplanner, meestal Slurm. U zet taken in een wachtrij. Die draaien wanneer er capaciteit vrij is. Interactief werken is beperkt.

De softwareomgeving is modulegebaseerd, niet container-first, al komt containerondersteuning steeds vaker beschikbaar. Uw afhankelijkheden moet u mogelijk compileren met bibliotheken die specifiek zijn voor die locatie.

Het bestandssysteem is gedeeld en kent regels. Scratchruimte wordt periodiek leeggegooid. Thuismappen hebben quota. Data erin en eruit krijgen vraagt planning, en bij grote datasets vraagt het serieuze planning.

Het netwerk is geoptimaliseerd voor strak gekoppelde parallelle taken, niet voor microservices die elkaar aanroepen. Is uw werklast een gedistribueerd systeem en geen parallelle berekening, dan is dit de verkeerde omgeving.

Wachttijden zijn reëel. Een grote taak kan blijven staan. Hebt u binnen een uur op afroep resultaten nodig, dan is dit niet uw infrastructuur.

Elasticiteit bestaat niet. U hebt een toewijzing. U kunt niet even opschalen omdat het vandaag druk is.

Waar het op neerkomt: EuroHPC is uitstekend voor grote, geplande, parallelle of batchwerklasten die u vooruit kunt inplannen. Het deugt niet voor interactieve of elastische werklasten, voor werk op afroep, of voor werklasten die als dienst moeten draaien.

Welke werklasten er werkelijk passen

Modeltraining en finetuning op schaal. Het voor de hand liggende moderne geval, en precies waar de AI-fabrieken voor gebouwd zijn.

Grootschalige simulatie. Numerieke stromingsleer, moleculaire dynamica, sterkteanalyse, klimaat en weer, elektromagnetisme. De klassieke gevallen, en nog altijd de grootste gebruikers.

Grote batchinferentie of dataverwerking. Een groot corpus in één keer verwerken, embeddings op schaal genereren, batchscoring.

Alles waar u nu serieus geld uitgeeft aan GPU- of CPU-tijd in de cloud voor geplande taken. Dit is de commerciële toets. Is uw maandelijkse cloudrekening voor batchwerk fors en zijn de taken planbaar, maak dan die vergelijking.

Alles waarbij de gegevens de EU niet uit mogen. Gevoelige gegevens onder sectorale regels, gezondheidsgegevens, gegevens van de publieke sector. Rekenkracht binnen de EU en onder EU-jurisdictie verandert het plaatje, en het sluit aan op de doorgiftevragen uit onze AVG-gids.

De praktische ingang

Begin met een benchmarktoewijzing. Klein, snel, en het geeft antwoord op de vraag of dit haalbaar is nog voordat u investeert.

Praat met het nationale competentiecentrum. Elk deelnemend land heeft er een. Die bestaan speciaal om organisaties te helpen die nieuw zijn in HPC, ze zijn gratis, en ze zeggen u eerlijk of uw werklast past.

Begroot het overzetwerk expliciet. Draaide uw team tot nu toe alleen op beheerde cloud, dan is een werklast efficiënt draaiend krijgen op een HPC-toewijzing een echt engineeringproject. Niet enorm, maar zeker niet nul. Een eerste poging die op een fractie van het haalbare draait, is eerder regel dan uitzondering.

Kijk eerst naar de sporen voor AI en industrie als u een bedrijf bent. Het traditionele wetenschappelijke toewijzingsproces is niet op u ingericht.

Plan het verplaatsen van data vroeg in. Terabytes erin en eruit krijgen is een logistiek probleem met een eigen doorlooptijd.

Waar dit strategisch staat

EuroHPC is de fundering van de Europese rekenstrategie. De AI-fabrieken uit onze gids voor InvestAI hangen eraan. De gigafabrieken bouwen erop voort. Het processorwerk onder de chipverordening moet uiteindelijk de hardwareafhankelijkheid eronder terugdringen. En de Cloud and AI Development Act vormt het regelgevende kader om het geheel heen.

Voor een bedrijf weegt de praktische betekenis zwaarder dan de strategische. Bij de keuze waar u een trainingstaak draait, ligt u waarschijnlijk niet wakker van Europese technologische soevereiniteit. Dat de rekenkracht een fractie kost, doet er wél toe.

Waar dit past

Het volledige landschap van financiering en toegang staat in onze gids voor EU-technologiefinanciering. Het programma dat een groot deel van EuroHPC financiert staat in onze gids voor het programma Digitaal Europa.

Hulp krijgen

Wij bouwen dataplatforms, AI-pijplijnen en rekenintensieve systemen voor bedrijven die in Europa actief zijn, inclusief het werk om een werklast van een laptop of een cloud-GPU naar een geplande HPC-toewijzing te brengen zonder er een kwartaal aan kwijt te raken.

Hebt u een werklast die vastloopt op rekenkracht en wilt u een realistisch oordeel over de vraag of toegang tot EuroHPC helpt en wat het overzetten kost, schrijf dan naar office@c9group.dev. Meer over ons infrastructuurwerk op de pagina AWS-kostenoptimalisatie.