EuroHPC: sådan får du supercomputeradgang i Europa, og hvad det koster

De fleste virksomheder, der ville få gavn af seriøs regnekraft, overvejer aldrig EuroHPC, fordi supercomputere lyder som noget for fysikere. Det passede nogenlunde for ti år siden. Det passer ikke i dag, og vejene ind er mere åbne, end næsten nogen er klar over.

Fællesforetagendet EuroHPC indkøber og driver europæiske supercomputere, finansierer softwaren og kompetencerne omkring dem og, hvad der er mest nyttigt for virksomheder, tildeler adgang til dem. For den rigtige workload er den adgang dramatisk billigere end kommerciel cloud, og for nogle workloads er den gratis.

Hvad EuroHPC faktisk er

Et fællesforetagende mellem EU, de deltagende stater og private medlemmer, finansieret fra programmet for et digitalt Europa, Horisont Europa og Connecting Europe-faciliteten plus nationale bidrag.

Arbejdet deler sig i tre:

Infrastruktur. At indkøbe og drive supercomputere i hele Europa, fra mellemklassesystemer til maskiner i exascale-klassen, placeret på anlæg i forskellige medlemsstater. Også de AI-fabrikker, der er beskrevet i vores guide til InvestAI, og som er AI-optimeret kapacitet koblet på de anlæg.

Forskning og innovation. At finansiere softwarestakken, applikationerne og i stigende grad europæisk processorteknologi.

Kompetencer og adgang. Kompetencecentre, undervisning og de indkaldelser om tildeling, der er vejen til rent faktisk at få lov at bruge maskinerne.

Den sidste del er den, virksomheder burde interessere sig for, og som de færreste ved findes.

Vejene ind

Adgang bliver tildelt gennem indkaldelser, og der findes flere med meget forskellige egenskaber. At ramme den rigtige betyder mere end noget andet.

Adgang til benchmark og udvikling

Små tildelinger til at teste, om din kode kører, og hvordan den skalerer. Let ansøgning, hurtigt svar, lille mængde regnekraft.

Det er det rigtige sted at starte for alle, der aldrig har brugt de her systemer. Det koster dig et ansøgningsskema, og det fortæller dig de to ting, du har brug for at vide: kører din workload overhovedet, og skalerer den, så det giver noget.

Almindelig adgang

Hovedvejen til større tildelinger. Fagfællebedømt, med indkaldelser i en fast cyklus, rettet mod projekter med en klar videnskabelig eller teknisk begrundelse. Større tildelinger over længere perioder.

Vurderingen er reel, og ansøgningen kræver en teknisk begrundelse: hvad du beregner, hvorfor det kræver den skala, og dokumentation for, at din kode yder noget.

Adgang i ekstrem skala

Til projekter, der har brug for meget store dele af de største maskiner. Sjældent, tungt vurderet, og ikke dér, de fleste virksomheder begynder.

Adgang målrettet AI og industri

Nyere spor rettet udtrykkeligt mod AI-workloads og mod industrielle brugere, herunder mindre virksomheder og startups. De har lettere processer end den traditionelle videnskabelige tildeling og er lavet til organisationer, der ikke er forskningsinstitutioner.

Er du en virksomhed og ikke et universitet, er det som regel din vej.

Adgang gennem AI-fabrikkerne

AI-fabrikkerne har deres egne ordninger for adgang, som regel med mere støtte til brugere, der ikke er HPC-specialister. Er din workload modeltræning eller finjustering og ikke traditionel simulering, så start her.

Hvad det koster

Til forskning og til mange industrielle formål bliver tildelt regnekraft stillet til rådighed uden betaling, fordi maskinerne er offentligt finansierede, og fordi det er tildelingsprocessen og ikke prisen, der rationerer.

Der findes også kommercielle ordninger for adgang, hvor der betales et gebyr, typisk for arbejde, der er direkte kommercielt uden krav om åbenhed. Selv da klarer prisen sig typisk godt i sammenligning med kommerciel cloud ved vedvarende store job, fordi du ikke betaler margin på elastisk kapacitet, du ikke bruger.

Den reelle omkostning er ikke regnekraften. Det er ingeniørarbejdet.

Den ærlige del: det her er ikke cloud

Det er her, forventningerne skal sættes, for det er grunden til, at virksomheder prøver EuroHPC og giver op.

Du får ikke en virtuel maskine med root. Du får en tildeling på en delt klynge med en jobplanlægger, som regel Slurm. Du sender job i kø. De kører, når der er ressourcer ledige. Interaktivt arbejde er begrænset.

Softwaremiljøet er modulbaseret, ikke containerbaseret først og fremmest, selv om der i stigende grad er support til containere. Dine afhængigheder skal måske bygges mod biblioteker, der er specifikke for anlægget.

Filsystemet er delt og har politikker. Scratch-området bliver ryddet. Hjemmekataloger har kvoter. Overførsel af data ind og ud kræver planlægning, og ved store datasæt kræver det reel planlægning.

Netværket er optimeret til tæt koblede parallelle job, ikke til mikrotjenester, der kalder hinanden. Er din workload et distribueret system og ikke en parallel beregning, er det her ikke det rigtige miljø.

Køtiderne er reelle. Et stort job kan komme til at vente. Har du brug for resultater inden for en time, når det passer dig, er det ikke din infrastruktur.

Elasticitet findes ikke. Du har en tildeling. Du kan ikke skalere op, fordi der er travlt i dag.

Det lægger sammen op til følgende: EuroHPC er fremragende til store, planlagte, parallelle eller batchbaserede workloads, hvor du kan lægge en plan i forvejen. Det er dårligt til workloads, der er interaktive, elastiske, efterspørgselsdrevne eller formet som en tjeneste.

Hvilke workloads der faktisk passer

Modeltræning og finjustering i stor skala. Det oplagte moderne tilfælde, og det AI-fabrikkerne er bygget til.

Simulering i stor skala. Numerisk strømningsdynamik, molekyldynamik, strukturanalyse, klima og vejr, elektromagnetisme. De traditionelle tilfælde, og stadig de største brugere.

Stor batchinferens eller behandling af datasæt. At køre et stort korpus igennem én gang, generere embeddings i stor skala, batchscoring.

Alt, hvor du i dag bruger mange penge på GPU- eller CPU-tid i skyen til planlagte job. Det er den kommercielle test. Er din månedlige cloudregning for batcharbejde af en størrelse, der betyder noget, og kan jobbene planlægges, så lav sammenligningen.

Alt, hvor data ikke må forlade EU. Følsomme data efter sektorregler, sundhedsdata, data fra den offentlige sektor. Regnekraft inde i EU under EU-jurisdiktion ændrer regnestykket, og det hænger sammen med de spørgsmål om overførsler, der er dækket i vores GDPR-guide.

Den praktiske vej ind

Start med en benchmarktildeling. Lille, hurtig, og den svarer på, om det overhovedet er realistisk, før du investerer.

Tal med det nationale kompetencecenter. Hvert deltagerland har et. De findes netop for at hjælpe organisationer, der er nye i HPC, de er gratis, og de siger dig ærligt, om din workload passer.

Sæt udtrykkeligt tid af til porteringen. Har dit team kun kørt på administreret cloud, er det et reelt ingeniørprojekt at få en workload til at køre effektivt på en HPC-tildeling. Ikke enormt, men heller ikke nul. Et første forsøg, der kører på en brøkdel af den ydelse, der er mulig, er helt almindeligt.

Kig på sporene til AI og industri først, hvis du er en virksomhed. Den traditionelle videnskabelige tildelingsproces er ikke bygget op omkring dig.

Planlæg flytningen af data tidligt. At flytte terabyte ind og ud er et logistikproblem med sin egen leveringstid.

Hvor det står strategisk

EuroHPC er fundamentet under den europæiske strategi for regnekraft. De AI-fabrikker, der er beskrevet i vores guide til InvestAI, kobler sig på det. Gigafabrikkerne udvider det. Processorarbejdet under chipforordningen sigter på længere sigt mod at gøre hardwareafhængigheden under det mindre. Og forordningen om udvikling af cloud og kunstig intelligens er regelrammen om det hele.

For en virksomhed betyder det strategiske mindre end det praktiske. Du interesserer dig næppe for europæisk teknologisk suverænitet, når du vælger, hvor et træningsjob skal køre. Du interesserer dig sagtens for, at regnekraften koster en brøkdel.

Hvor det hører hjemme

Hele landskabet af finansiering og adgang er kortlagt i vores guide til EU's teknologifinansiering. Det program, der finansierer en stor del af EuroHPC, er dækket i vores guide til programmet for et digitalt Europa.

Sådan får du hjælp

Vi bygger dataplatforme, AI-pipelines og regnetunge systemer for virksomheder, der opererer i Europa, og det omfatter arbejdet med at flytte en workload fra en laptop eller en GPU i skyen over på en planlagt HPC-tildeling uden at tabe et kvartal på det.

Har du en workload, der er begrænset af regnekraft, og vil du have en realistisk vurdering af, om adgang til EuroHPC ville hjælpe, og hvad porteringen ville kræve, så skriv til office@c9group.dev. Mere om vores arbejde med infrastruktur på siden om AWS-omkostningsoptimering.