EuroHPC: kako v Evropi priti do superračunalnika in koliko to stane

Večina podjetij, ki bi jim resna računska moč koristila, EuroHPC nikoli ne premisli, ker superračunalništvo zveni kot nekaj za fizike. Pred desetletjem je to večinoma držalo. Zdaj ne drži več, poti dostopa pa so bolj odprte, kot si skoraj kdo predstavlja.

Skupno podjetje EuroHPC nabavlja in upravlja evropske superračunalnike, financira programsko opremo in veščine okoli njih in, kar je za podjetja najbolj uporabno, dodeljuje dostop do njih. Za pravo obremenitev je ta dostop dramatično cenejši od komercialnega oblaka, za nekatere obremenitve pa je brezplačen.

Kaj EuroHPC pravzaprav je

Skupno podjetje EU, sodelujočih držav in zasebnih članov, financirano iz programa Digitalna Evropa, Obzorja Evropa in instrumenta za povezovanje Evrope, ob nacionalnih prispevkih.

Njegovo delo se deli na tri dele:

Infrastruktura. Nabava in upravljanje superračunalnikov po vsej Evropi, od sistemov srednjega razreda do strojev eksaskalnega razreda, nameščenih na lokacijah v raznih državah članicah. Sem sodijo tudi tovarne umetne inteligence, ki jih opisuje naš vodnik po InvestAI in ki so za umetno inteligenco optimizirana zmogljivost, priključena na te lokacije.

Raziskave in inovacije. Financiranje programskega sklada, aplikacij in vse pogosteje evropske procesorske tehnologije.

Veščine in dostop. Kompetenčna središča, usposabljanja in razpisi za dodelitev, prek katerih pridete do uporabe strojev.

Prav ta zadnji del bi moral podjetja zanimati, pa večinoma sploh ne vedo, da obstaja.

Poti dostopa

Dostop se dodeljuje prek razpisov, teh pa je več in imajo zelo različne lastnosti. Izbrati pravega šteje bolj kot karkoli drugega.

Dostop za primerjalno merjenje in razvoj

Majhne dodelitve za preizkus, ali vaša koda teče in kako se razširja. Lahka prijava, hiter obrat, majhna količina računske moči.

To je pravo izhodišče za vsakogar, ki teh sistemov ni nikoli uporabil. Stane vas prijavni obrazec, pove pa vam dve stvari, ki ju morate vedeti: ali vaša obremenitev sploh teče in ali se koristno razširja.

Redni dostop

Glavna pot do znatnih dodelitev. Z recenzijo, z razpisi v rednem ciklu, usmerjeno v projekte z jasno znanstveno ali tehnično utemeljitvijo. Večje dodelitve v daljših obdobjih.

Ocena je resnična, predlog pa potrebuje tehnično utemeljitev: kaj računate, zakaj to zahteva prav ta obseg in dokaz, da vaša koda deluje učinkovito.

Dostop skrajnega obsega

Za projekte, ki potrebujejo zelo velike deleže največjih strojev. Redek, temeljito ocenjen in ne mesto, kjer večina podjetij začne.

Dostop za umetno inteligenco in industrijo

Novejši tiri, izrecno namenjeni obremenitvam umetne inteligence in industrijskim uporabnikom, tudi malim in srednjim ter zagonskim podjetjem. Postopki so lažji od tradicionalne znanstvene dodelitve in zasnovani za organizacije, ki niso raziskovalne ustanove.

Če ste podjetje in ne univerza, je to običajno vaša pot.

Dostop prek tovarn umetne inteligence

Tovarne umetne inteligence imajo lastne ureditve dostopa, običajno z več podpore za uporabnike, ki niso strokovnjaki za HPC. Če je vaša obremenitev učenje ali fino uglaševanje modelov in ne tradicionalna simulacija, začnite tu.

Koliko stane

Za raziskave in za mnoge industrijske uporabe je dodeljena računska moč na voljo brez plačila, ker so stroji javno financirani, razdeljuje pa se s postopkom dodelitve in ne s ceno.

Obstajajo tudi komercialne ureditve dostopa s plačilom, običajno za delo, ki je neposredno komercialno in brez zahteve po odprtosti. Tudi tedaj se cena pri trajnih velikih opravilih običajno lepo primerja s komercialnim oblakom, ker ne plačujete marže za prožno zmogljivost, ki je ne uporabljate.

Resničen strošek ni računska moč. Je inženirstvo.

Pošten del: to ni oblak

Tu je treba postaviti pričakovanja, ker prav zaradi tega podjetja EuroHPC poskusijo in odnehajo.

Ne dobite navideznega stroja z rootom. Dobite dodelitev na deljeni gruči z razporejevalnikom opravil, običajno Slurm. Opravila oddajate v vrsto. Zaženejo se, ko so viri na voljo. Interaktivno delo je omejeno.

Programsko okolje temelji na modulih, ne na kontejnerjih na prvem mestu, čeprav je podpora kontejnerjem vse bolj na voljo. Vaše odvisnosti bo morda treba zgraditi glede na knjižnice, značilne za lokacijo.

Datotečni sistem je deljen in ima pravila. Začasni prostor se redno čisti. Domači imeniki imajo kvote. Prenos podatkov noter in ven zahteva načrtovanje, za velike nabore pa resno načrtovanje.

Omrežje je optimizirano za tesno sklopljena vzporedna opravila, ne za mikrostoritve, ki se med seboj kličejo. Če je vaša obremenitev porazdeljen sistem in ne vzporedno računanje, je to napačno okolje.

Čakalni časi so resnični. Veliko opravilo lahko čaka. Če potrebujete rezultate v eni uri in na zahtevo, to ni vaša infrastruktura.

Prožnosti ni. Imate dodelitev. Ne morete se razširiti navzgor, ker je danes gneča.

Vse skupaj pomeni tole: EuroHPC je odličen za velike, načrtovane, vzporedne ali paketne obremenitve, kjer lahko načrtujete vnaprej. Slab je za interaktivne in prožne obremenitve na zahtevo ali za take, ki so oblikovane kot storitev.

Katere obremenitve zares ustrezajo

Učenje in fino uglaševanje modelov v obsegu. Očiten sodoben primer in tisto, za kar so tovarne umetne inteligence zgrajene.

Simulacije velikega obsega. Računalniška dinamika tekočin, molekularna dinamika, strukturna analiza, podnebje in vreme, elektromagnetika. Tradicionalni primeri in še vedno največji uporabniki.

Velika paketna inferenca ali obdelava naborov podatkov. Enkratna obdelava velikega korpusa, ustvarjanje vgraditev v obsegu, paketno točkovanje.

Vse, kjer zdaj resno trošite denar za oblačni čas grafičnih ali centralnih procesorjev v načrtovanih opravilih. To je komercialni preizkus. Če je vaš mesečni račun za računsko moč v oblaku za paketno delo pomemben in je opravila mogoče načrtovati, naredite primerjavo.

Vse, kjer podatki ne smejo zapustiti EU. Občutljivi podatki po sektorskih pravilih, zdravstveni podatki, podatki javnega sektorja. Računska moč znotraj EU in pod jurisdikcijo EU spremeni analizo in se povezuje z vprašanji prenosov, ki jih pokriva naš vodnik po GDPR.

Praktična pot vstopa

Začnite z dodelitvijo za primerjalno merjenje. Majhna je, hitra in odgovori, ali je to izvedljivo, preden vložite kaj več.

Pogovorite se z nacionalnim kompetenčnim središčem. Vsaka sodelujoča država ga ima. Obstajajo prav zato, da pomagajo organizacijam, ki so v HPC nove, brezplačni so in pošteno vam bodo povedali, ali vaša obremenitev ustreza.

Delo prenosa izrecno vključite v proračun. Če je vaša ekipa delala le na upravljanem oblaku, je spraviti obremenitev v učinkovito delovanje na dodelitvi HPC resničen inženirski projekt. Ni ogromen, a tudi ni nič. Prvi poskus, ki teče pri delcu dosegljive zmogljivosti, je nekaj običajnega.

Če ste podjetje, najprej preverite tire za umetno inteligenco in industrijo. Tradicionalen znanstveni postopek dodelitve ni zasnovan okoli vas.

Premikanje podatkov načrtujte zgodaj. Prenos terabajtov noter in ven je logistični problem z lastnim dobavnim rokom.

Kje to stoji strateško

EuroHPC je temeljna plast evropske računske strategije. Tovarne umetne inteligence, ki jih opisuje naš vodnik po InvestAI, se nanj priključujejo. Gigatovarne ga širijo. Delo na procesorjih v okviru akta o čipih sčasoma meri na zmanjšanje strojne odvisnosti pod njim. Akt o razvoju oblaka in umetne inteligence pa je regulativni okvir okoli celote.

Za podjetje je strateški pomen manjši od praktičnega. Ko boste izbirali, kje zagnati učno opravilo, vas evropska tehnološka suverenost najbrž ne bo zanimala. Zelo verjetno pa vas bo zanimalo, da računska moč stane delec cene.

Kam se to umešča

Celotno pokrajino financiranja in dostopa popisuje naš vodnik po financiranju tehnologije v EU. Program, ki financira velik del EuroHPC, pokriva naš vodnik po programu Digitalna Evropa.

Kako do pomoči

Gradimo podatkovne platforme, cevovode umetne inteligence in računsko intenzivne sisteme za podjetja, ki poslujejo v Evropi. Sem sodi tudi prenos obremenitve s prenosnika ali z oblačnega grafičnega procesorja na načrtovano dodelitev HPC, in to brez izgubljenega četrtletja.

Če imate obremenitev, omejeno z računsko močjo, in želite realno oceno, ali bi dostop do EuroHPC pomagal in koliko bi zahteval prenos, pišite na office@c9group.dev. Več o našem infrastrukturnem delu je na strani o optimizaciji stroškov AWS.