EuroHPC: slik får du tilgang til superdatamaskiner i Europa, og hva det koster

De fleste selskapene som ville hatt nytte av tung regnekraft, vurderer aldri EuroHPC, fordi tungregning høres ut som noe for fysikere. Det stemte langt på vei for et tiår siden. Det stemmer ikke nå, og veiene inn er langt mer åpne enn nesten noen er klar over.

Fellesforetaket EuroHPC anskaffer og drifter europeiske superdatamaskiner, finansierer programvaren og kompetansen rundt dem og, mest nyttig for selskaper, tildeler tilgang til dem. For riktig type arbeidslast er den tilgangen dramatisk billigere enn kommersiell sky, og for enkelte arbeidslaster er den gratis.

Hva EuroHPC faktisk er

Et fellesforetak mellom EU, deltakerlandene og private medlemmer, finansiert fra programmet for et digitalt Europa, Horisont Europa og Ordningen for et sammenkoblet Europa, i tillegg til nasjonale bidrag.

Arbeidet deler seg i tre:

Infrastruktur. Å anskaffe og drifte superdatamaskiner over hele Europa, fra mellomklassesystemer til maskiner i eksaskalaklassen, plassert på anlegg i ulike medlemsstater. Også KI-fabrikkene som vi beskriver i vår InvestAI-guide, som er KI-optimalisert kapasitet koblet til disse anleggene.

Forskning og innovasjon. Å finansiere programvarestabelen, applikasjonene og i økende grad europeisk prosessorteknologi.

Kompetanse og tilgang. Kompetansesentre, opplæring og de tildelingsutlysningene der du faktisk får bruke maskinene.

Den siste delen er den selskaper burde bry seg om, og som de stort sett ikke vet finnes.

Veiene inn

Tilgang tildeles gjennom utlysninger, og det finnes flere med svært ulike egenskaper. Å treffe riktig utlysning betyr mer enn noe annet.

Tilgang til ytelsestesting og utvikling

Små tildelinger for å teste om koden din kjører, og hvordan den skalerer. Lett søknad, rask behandling, liten mengde regnekraft.

Dette er det riktige utgangspunktet for alle som aldri har brukt disse systemene. Det koster deg et søknadsskjema, og det gir deg de to svarene du trenger: kjører arbeidslasten din i det hele tatt, og skalerer den på en nyttig måte.

Ordinær tilgang

Hovedveien til betydelige tildelinger. Fagfellevurdert, med utlysninger i fast syklus, rettet mot prosjekter med en tydelig vitenskapelig eller teknisk begrunnelse. Større tildelinger over lengre perioder.

Vurderingen er reell, og søknaden trenger en teknisk begrunnelse: hva du skal beregne, hvorfor det krever denne skalaen, og dokumentasjon på at koden din yter.

Tilgang i ekstrem skala

For prosjekter som trenger svært store andeler av de største maskinene. Sjeldent, tungt vurdert, og ikke der de fleste selskaper begynner.

Tilgang for KI og industri

Nyere spor rettet uttrykkelig mot KI-arbeidslaster og mot industrielle brukere, blant annet små og mellomstore bedrifter og oppstartsselskaper. Disse har lettere prosesser enn tradisjonell vitenskapelig tildeling og er laget for organisasjoner som ikke er forskningsinstitusjoner.

Er du et selskap og ikke et universitet, er dette som regel din vei.

Tilgang gjennom KI-fabrikkene

KI-fabrikkene har egne tilgangsordninger, som regel med mer støtte til brukere som ikke er HPC-spesialister. Er arbeidslasten din modelltrening eller finjustering og ikke tradisjonell simulering, start her.

Hva det koster

For forskning og for mange industrielle formål er tildelt regnekraft gratis, fordi maskinene er offentlig finansiert, og fordi tildelingsprosessen er rasjoneringsmekanismen i stedet for prisen.

Det finnes også kommersielle tilgangsordninger med gebyr, typisk for arbeid som er direkte kommersielt uten krav om åpenhet. Selv da kommer prisen gjerne godt ut mot kommersiell sky for vedvarende store jobber, fordi du ikke betaler margin på elastisk kapasitet du ikke bruker.

Den reelle kostnaden er ikke regnekraften. Det er ingeniørarbeidet.

Den ærlige delen: dette er ikke sky

Her må forventningene settes, for det er grunnen til at selskaper prøver EuroHPC og gir opp.

Du får ikke en virtuell maskin med root. Du får en tildeling på en delt klynge med en jobbplanlegger, som regel Slurm. Du sender jobber til en kø. De kjører når det er ledige ressurser. Interaktivt arbeid er begrenset.

Programvaremiljøet er modulbasert, ikke containerbasert, selv om containerstøtte i økende grad finnes. Avhengighetene dine må kanskje bygges mot biblioteker som er spesifikke for anlegget.

Filsystemet er delt og har regler. Scratch-området tømmes med jevne mellomrom. Hjemmekataloger har kvoter. Dataoverføring inn og ut krever planlegging, og for store datasett krever det reell planlegging.

Nettet er optimalisert for tett koblede parallelle jobber, ikke for mikrotjenester som kaller på hverandre. Er arbeidslasten din et distribuert system og ikke en parallell beregning, er dette feil miljø.

Køtidene er reelle. En stor jobb kan bli stående og vente. Trenger du resultater på en time når det passer deg, er ikke dette din infrastruktur.

Elastisitet finnes ikke. Du har en tildeling. Du kan ikke skalere opp fordi det er travelt i dag.

Summen av dette: EuroHPC er utmerket for store, planlagte, parallelle eller satsvise arbeidslaster der du kan legge planer i god tid. Det er dårlig for interaktive, elastiske og tjenesteformede arbeidslaster, og for alt som må kjøre på forespørsel.

Hvilke arbeidslaster som faktisk passer

Modelltrening og finjustering i stor skala. Det åpenbare moderne tilfellet, og det KI-fabrikkene er bygget for.

Simulering i stor skala. Numerisk strømningsmekanikk, molekyldynamikk, strukturanalyse, klima og vær, elektromagnetisme. De tradisjonelle tilfellene, og fortsatt de største brukerne.

Stor satsvis inferens eller behandling av datasett. Å kjøre gjennom et stort korpus én gang, generere embeddinger i stor skala, satsvis skåring.

Alt der du i dag bruker mye penger på GPU- eller CPU-tid i skyen på planlagte jobber. Dette er den kommersielle testen. Er den månedlige skyregningen for satsvise jobber merkbar, og jobbene lar seg planlegge, bør du gjøre sammenligningen.

Alt der data ikke kan forlate EU. Sensitive data under sektorregler, helsedata, offentlige data. Regnekraft innenfor EU og under EU-jurisdiksjon endrer analysen, og det henger sammen med spørsmålene om overføring som vi dekker i vår personvernguide.

Praktisk vei inn

Start med en tildeling til ytelsestesting. Liten, rask, og den svarer på om dette er levedyktig før du investerer.

Snakk med det nasjonale kompetansesenteret. Hvert deltakerland har ett. De finnes nettopp for å hjelpe organisasjoner som er nye i HPC, de er gratis, og de sier ærlig fra om arbeidslasten din passer.

Sett av budsjett til portingarbeidet. Har teamet ditt bare kjørt på administrert sky, er det et reelt ingeniørprosjekt å få en arbeidslast til å kjøre effektivt på en HPC-tildeling. Ikke enormt, men heller ikke null. Et første forsøk som kjører på en brøkdel av det som er oppnåelig, er helt vanlig.

Sjekk sporene for KI og industri først hvis du er et selskap. Den tradisjonelle vitenskapelige tildelingsprosessen er ikke laget rundt deg.

Planlegg dataflyttingen tidlig. Å flytte terabyte inn og ut er et logistikkproblem med sin egen ledetid.

Hvor dette står strategisk

EuroHPC er grunnmuren i den europeiske regnestrategien. KI-fabrikkene vi beskriver i vår InvestAI-guide, kobler seg på den. Gigafabrikkene utvider den. Prosessorarbeidet under brikkeforordningen sikter til slutt mot å redusere maskinvareavhengigheten under den. Og forordningen om utvikling av sky og kunstig intelligens er regelverksrammen rundt det hele.

For et selskap betyr det strategiske mindre enn det praktiske. Du bryr deg neppe om europeisk teknologisk suverenitet når du velger hvor du kjører en treningsjobb. Du kan godt bry deg om at regnekraften koster en brøkdel av prisen.

Hvor dette hører hjemme

Hele landskapet av finansiering og tilgang er kartlagt i vår guide til EUs teknologifinansiering. Programmet som finansierer mye av EuroHPC, dekkes i vår guide til programmet for et digitalt Europa.

Slik får du hjelp

Vi bygger dataplattformer, KI-pipelines og regnekrevende systemer for selskaper som opererer i Europa, også arbeidet med å få en arbeidslast fra en laptop eller en GPU i skyen over på en planlagt HPC-tildeling uten å tape et kvartal på det.

Har du en arbeidslast som er begrenset av regnekraft, og vil du ha en realistisk vurdering av om tilgang til EuroHPC ville hjulpet, og hva portingen ville krevd, skriv til office@c9group.dev. Mer om infrastrukturarbeidet vårt på siden om AWS-kostnadsoptimalisering.