EuroHPC: kā Eiropā piekļūt superdatoriem un cik tas maksā

Lielākā daļa uzņēmumu, kuriem nopietnas skaitļošanas jaudas nāktu par labu, EuroHPC nekad neapsver, jo superskaitļošana izklausās pēc kaut kā fiziķiem. Pirms desmit gadiem tā lielā mērā arī bija. Tagad tā vairs nav, un piekļuves ceļi ir atvērtāki, nekā gandrīz kāds nojauš.

EuroHPC kopuzņēmums iepērk un ekspluatē Eiropas superdatorus, finansē programmatūru un prasmes ap tiem un, uzņēmumiem visnoderīgāk, piešķir piekļuvi tiem. Piemērotai darba slodzei šī piekļuve ir krietni lētāka nekā komerciālais mākonis, un dažām darba slodzēm tā ir bez maksas.

Kas īsti ir EuroHPC

Kopuzņēmums, ko veido ES, iesaistītās valstis un privātie dalībnieki, un ko finansē no programmas „Digitālā Eiropa“, programmas „Apvārsnis Eiropa“ un Eiropas infrastruktūras savienošanas instrumenta, kā arī no valstu iemaksām.

Tā darbs dalās trīs daļās:

Infrastruktūra. Superdatoru iepirkšana un ekspluatācija visā Eiropā, no vidējas klases sistēmām līdz eksaskalas klases iekārtām, kas izvietotas centros dažādās dalībvalstīs. Arī MI rūpnīcas, kas aprakstītas mūsu InvestAI ceļvedī: MI vajadzībām optimizētas jaudas pie šiem centriem. Regula (ES) 2026/150, kas ir spēkā kopš 2026. gada 20. janvāra, to paplašina uz MI gigarūpnīcām: lielām iekārtām modeļu apmācībai un darbināšanai plašā mērogā.

Pētniecība un inovācijas. Programmatūras steka, lietojumprogrammu un arvien vairāk arī Eiropas procesoru tehnoloģiju finansēšana. Tā pati regula pievieno kvantu pīlāru, padarot kopuzņēmumu atbildīgu par ES kvantu tehnoloģiju programmu, tostarp par kvantu tehnoloģiju pamatiniciatīvu (Quantum Flagship).

Prasmes un piekļuve. Kompetences centri, apmācības un piešķīrumu uzaicinājumi, ar kuru palīdzību jūs reāli tiekat pie iekārtām.

Tieši pēdējā daļa ir tā, kas uzņēmumiem būtu jāinteresē, un lielākoties viņi nezina, ka tāda pastāv.

Piekļuves ceļi

Piekļuvi piešķir uzaicinājumu kārtībā, un uzaicinājumu ir vairāki, ar ļoti atšķirīgām iezīmēm. Pareizā izvēle ir svarīgāka par jebko citu.

Piekļuve testēšanai un izstrādei

Neliels piešķīrums, lai pārbaudītu, vai jūsu kods darbojas un kā tas mērogojas. Vienkāršs pieteikums, ātra atbilde, neliels skaitļošanas apjoms.

Tas ir pareizais sākumpunkts ikvienam, kas šīs sistēmas nekad nav lietojis. Tas jums izmaksā vienu pieteikuma veidlapu un atbild uz diviem jautājumiem, kas jums jāzina: vai jūsu darba slodze vispār darbojas un vai tā mērogojas lietderīgi.

Regulārā piekļuve

Galvenais ceļš lieliem piešķīrumiem. Ar salīdzinošo izvērtēšanu, ar uzaicinājumiem regulārā ciklā, paredzēta projektiem ar skaidru zinātnisku vai tehnisku pamatojumu. Lielāki piešķīrumi uz ilgāku laiku.

Izvērtēšana ir īsta, un pieteikumā vajadzīgs tehnisks pamatojums: ko jūs skaitļojat, kāpēc tam vajadzīgs šāds mērogs, un pierādījumi, ka jūsu kods darbojas labi.

Ekstremāla mēroga piekļuve

Projektiem, kam vajadzīga ļoti liela daļa no lielākajām iekārtām. Reti, rūpīgi izvērtēti, un lielākā daļa uzņēmumu ar to nesāk.

MI un nozarēm paredzētā piekļuve

MI rūpnīcām rūpnieciskiem lietotājiem ir trīs virzieni. MI MVU un jaunuzņēmumiem, kas strādā pie inovācijām, tie ir bez maksas; citi uzņēmumi var iegādāties komerciālu piekļuvi ar samaksu par faktisko lietojumu. Playground ir ieejas punkts: pieteikties var jebkurā laikā, rindas kārtībā, un piekļuvi saņem divu darba dienu laikā uz vienu līdz trim mēnešiem. Fast Lane ir komandām, kas jau pārzina HPC un kam vajadzīgas līdz 50 000 GPU stundām, arī līdz trim mēnešiem, ar piekļuvi četru darba dienu laikā. Large Scale aptver vairāk nekā 50 000 GPU stundu, līdz vienam gadam.

Ja esat uzņēmums, nevis universitāte, parasti jūsu ceļš ir šis.

Piekļuve caur MI rūpnīcām

MI rūpnīcām ir pašām savas piekļuves kārtības, parasti ar lielāku atbalstu lietotājiem, kas nav HPC speciālisti. Ja jūsu darba slodze ir modeļu apmācība vai pielāgošana, nevis tradicionāla simulācija, sāciet šeit.

Cik tas maksā

Pētniecībai un daudziem rūpnieciskiem lietojumiem piešķirtās skaitļošanas jaudas ir bez maksas, jo iekārtas finansē no publiskiem līdzekļiem un resursus ierobežo piešķiršanas process, nevis cena.

Ir arī komerciālas piekļuves kārtības, kur maksa tiek prasīta, parasti par tieši komerciālu darbu bez atklātības prasības. Pat tad cenas ilgstošiem lieliem uzdevumiem parasti ir izdevīgas salīdzinājumā ar komerciālo mākoni, jo jūs nemaksājat uzcenojumu par elastīgu jaudu, kuru neizmantojat.

Reālās izmaksas nav skaitļošana. Tās ir inženiertehniskais darbs.

Godīgā daļa: tas nav mākonis

Šeit jānoskaidro gaidas, jo tieši šī iemesla dēļ uzņēmumi izmēģina EuroHPC un padodas.

Jūs nesaņemat virtuālo mašīnu ar root piekļuvi. Jūs saņemat piešķīrumu koplietojamā klasterī ar uzdevumu plānotāju, parasti Slurm. Jūs iesniedzat uzdevumus rindā. Tie tiek izpildīti, kad resursi ir pieejami. Interaktīvais darbs ir ierobežots.

Programmatūras vide balstās uz moduļiem, nevis primāri uz konteineriem, lai gan konteineru atbalsts kļūst arvien pieejamāks. Jūsu atkarības var nākties būvēt ar konkrētā centra bibliotēkām.

Failu sistēma ir koplietojama, un tai ir noteikumi. Pagaidu krātuve tiek iztīrīta. Mājas direktorijām ir kvotas. Datu pārsūtīšana uz un no sistēmas ir jāplāno, un lielām datu kopām tā jāplāno nopietni.

Tīkls ir optimizēts cieši saistītiem paralēliem uzdevumiem, nevis mikropakalpojumiem, kas sauc cits citu. Ja jūsu darba slodze ir sadalīta sistēma, nevis paralēls aprēķins, šī ir nepareizā vide.

Gaidīšana rindā ir reāla. Liels uzdevums var gaidīt. Ja jums rezultāti vajadzīgi stundas laikā pēc pieprasījuma, šī nav jūsu infrastruktūra.

Elastības nav. Jums ir piešķīrums. Jūs nevarat palielināt jaudu tāpēc, ka šodien ir daudz darba.

Kopsavilkumā: EuroHPC ir lielisks lieliem, plānotiem, paralēliem vai pakešu uzdevumiem, kurus var plānot iepriekš. Tas ir vājš interaktīvām, elastīgām, pēc pieprasījuma vai pakalpojuma veida darba slodzēm.

Kādas darba slodzes patiešām der

Modeļu apmācība un pielāgošana lielā mērogā. Acīmredzamais mūsdienu gadījums, un tieši tam ir būvētas MI rūpnīcas.

Liela mēroga simulācijas. Skaitliskā šķidrumu dinamika, molekulārā dinamika, konstrukciju analīze, klimats un laikapstākļi, elektromagnētika. Tradicionālie gadījumi, un joprojām lielākie lietotāji.

Liela apjoma pakešu secināšana vai datu kopu apstrāde. Liela korpusa vienreizēja apstrāde, iegulu ģenerēšana lielā mērogā, pakešu vērtēšana.

Jebkas, kam jūs pašlaik tērējat nopietnu naudu par mākoņa GPU vai CPU laiku plānotos uzdevumos. Tas ir komerciālais tests. Ja jūsu ikmēneša mākoņa skaitļošanas rēķins par pakešu darbu ir ievērojams un uzdevumus var plānot, veiciet salīdzinājumu.

Jebkas, kur dati nedrīkst atstāt ES. Sensitīvi dati saskaņā ar nozares noteikumiem, veselības dati, publiskā sektora dati. Skaitļošana ES teritorijā un ES jurisdikcijā maina analīzi, un tas saistās ar datu nosūtīšanas jautājumiem, kas aplūkoti mūsu VDAR ceļvedī.

Praktisks ceļš

Sāciet ar testēšanas piešķīrumu. Mazs, ātrs, un tas atbild, vai tas ir dzīvotspējīgi, pirms jūs ieguldāt.

Runājiet ar nacionālo kompetences centru. Tāds ir katrā iesaistītajā valstī. Tie pastāv tieši tāpēc, lai palīdzētu organizācijām, kurām HPC ir jauns, tie ir bez maksas, un tie jums godīgi pateiks, vai jūsu darba slodze der.

Skaidri ieplānojiet budžetu pārnešanas darbam. Ja jūsu komanda vienmēr ir strādājusi tikai pārvaldītā mākonī, darba slodzes efektīva palaišana HPC piešķīrumā ir reāls inženiertehnisks projekts. Ne milzīgs, bet arī ne nulle. Bieži pirmais mēģinājums darbojas tikai ar nelielu daļu no sasniedzamās veiktspējas.

Ja esat uzņēmums, vispirms apskatiet MI un rūpniecībai paredzētos virzienus. Tradicionālais zinātniskais piešķiršanas process nav veidots ar domu par jums.

Plānojiet datu pārvietošanu laikus. Terabaitu pārvietošana uz un no sistēmas ir loģistikas problēma ar savu sagatavošanās laiku.

Stratēģiskā vieta

EuroHPC ir Eiropas skaitļošanas stratēģijas pamatslānis. Mūsu InvestAI ceļvedī aprakstītās MI rūpnīcas ir piesaistītas tam. Gigarūpnīcas to paplašina. Procesoru darbs saskaņā ar Mikroshēmu aktu ilgtermiņā cenšas mazināt atkarību no aparatūras, uz kuras tas balstās. Un Mākoņdatošanas un MI attīstības akts ir regulējuma ietvars visam kopumā.

Uzņēmumam stratēģiskā nozīme ir mazāka nekā praktiskā. Izvēloties, kur palaist apmācības uzdevumu, jūs diez vai domāsiet par Eiropas tehnoloģisko suverenitāti. Taču jums var būt ļoti svarīgi, ka skaitļošana maksā nelielu daļu no ierastās cenas.

Kur tas iederas

Pilna finansējuma un piekļuves aina aprakstīta mūsu ES tehnoloģiju finansējuma ceļvedī. Programma, kas finansē lielu daļu EuroHPC, aplūkota mūsu programmas „Digitālā Eiropa“ ceļvedī.

Kā mēs varam palīdzēt

Mēs veidojam datu platformas, MI datu plūsmas un skaitļošanas ietilpīgas sistēmas uzņēmumiem, kas darbojas Eiropā, tostarp darbu, kas pārceļ darba slodzi no klēpjdatora vai mākoņa GPU uz plānotu HPC piešķīrumu, nezaudējot tam veselu ceturksni.

Ja jums ir darba slodze, kuru ierobežo skaitļošanas jauda, un vēlaties reālistisku vērtējumu, vai EuroHPC piekļuve palīdzētu un ko prasītu pārnešana, rakstiet uz office@c9group.dev. Vairāk par mūsu infrastruktūras darbu lasiet AWS izmaksu optimizācijas lapā.