EuroHPC: kuidas saada Euroopas juurdepääs superarvutile ja mis see maksab

Enamik ettevõtteid, kes võiksid tõsisest arvutusvõimsusest kasu saada, ei mõtlegi EuroHPC peale, sest superarvutid kõlavad nagu midagi füüsikutele. Kümme aastat tagasi oli see suuresti tõsi. Praegu enam mitte, ja juurdepääsuteed on avatumad, kui peaaegu keegi arvab.

Euroopa kõrgjõudlusega andmetöötluse ühisettevõte (EuroHPC) hangib ja käitab Euroopa superarvuteid, rahastab nendega seotud tarkvara ja oskusi ning, mis on ettevõtetele kõige kasulikum, jagab neile juurdepääsu. Sobiva töökoormuse puhul on see juurdepääs kommertspilvest tunduvalt odavam ja mõne töökoormuse puhul tasuta.

Mis EuroHPC tegelikult on

ELi, osalevate riikide ja eraliikmete ühisettevõte, mida rahastatakse programmist „Digitaalne Euroopa“, programmist „Euroopa horisont“ ja Euroopa ühendamise rahastust ning lisaks riiklikest panustest.

Selle töö jaguneb kolmeks:

Taristu. Superarvutite hankimine ja käitamine üle Euroopa, alates keskmise suurusega süsteemidest kuni eksaskaala klassi masinateni, mis asuvad eri liikmesriikide keskustes. Samuti meie InvestAI juhendis kirjeldatud tehisintellekti tehased, mis on nende keskuste juurde ühendatud tehisintellekti jaoks optimeeritud võimsus. Määrus (EL) 2026/150, mis on jõus alates 20. jaanuarist 2026, laiendab seda tehisintellekti gigatehastele: suurtele rajatistele mudelite treenimiseks ja nende suures mahus käitamiseks.

Teadus- ja innovatsioonitegevus. Tarkvarakihi, rakenduste ja üha enam Euroopa protsessoritehnoloogia rahastamine. Sama määrus lisab kvantsamba, mis teeb ühisettevõtte vastutavaks ELi kvanttehnoloogia tegevuskava eest, sealhulgas kvanttehnoloogia juhtalgatuse eest.

Oskused ja juurdepääs. Pädevuskeskused, koolitused ja jaotusvoorud, mille kaudu masinaid päriselt kasutama pääseb.

Viimane osa on see, millest ettevõtted peaksid hoolima, ja enamasti nad ei teagi, et see olemas on.

Juurdepääsuteed

Juurdepääsu jagatakse taotlusvoorude kaudu ja neid on mitu, väga erinevate omadustega. Õige valimine on olulisem kui miski muu.

Võrdlustestide ja arenduse juurdepääs

Väikesed eraldised, et testida, kas teie kood töötab ja kuidas see skaleerub. Lihtne taotlus, kiire vastus, väike arvutusmaht.

See on õige alguspunkt kõigile, kes ei ole neid süsteeme kunagi kasutanud. See maksab teile ühe taotlusvormi ja annab vastuse kahele küsimusele, mida peate teadma: kas teie töökoormus üldse töötab ja kas see skaleerub kasulikult.

Tavajuurdepääs

Peamine tee mahukate eraldiste saamiseks. Eksperthinnanguga, regulaarse tsükliga taotlusvoorud, mõeldud selge teadusliku või tehnilise põhjendusega projektidele. Suuremad eraldised pikemaks ajaks.

Hindamine on päris ja taotluses peab olema tehniline põhjendus: mida te arvutate, miks see vajab sellist mastaapi ja tõendid, et teie kood töötab tõhusalt.

Äärmusmastaabis juurdepääs

Projektidele, mis vajavad väga suurt osa suurimatest masinatest. Harv, põhjalikult hinnatud ja mitte see, millest enamik ettevõtteid alustab.

Tehisintellekti ja tööstuse juurdepääs

Tehisintellekti tehastel on tööstuskasutajatele kolm rada. Need on tasuta innovatsiooniga tegelevatele tehisintellekti VKEdele ja idufirmadele; teised ettevõtted saavad osta kasutuspõhist kommertsjuurdepääsu. Playground on sisenemispunkt: taotleda saab igal ajal, järjekorra alusel, juurdepääs antakse kahe tööpäeva jooksul ühest kolme kuuni. Fast Lane on meeskondadele, kes HPC-d juba tunnevad ja vajavad kuni 50 000 GPU-tundi, samuti kuni kolmeks kuuks, juurdepääsuga nelja tööpäeva jooksul. Large Scale hõlmab üle 50 000 GPU-tunni kuni üheks aastaks.

Kui olete ettevõte, mitte ülikool, on see tavaliselt teie tee.

Juurdepääs tehisintellekti tehaste kaudu

Tehisintellekti tehastel on oma juurdepääsukorraldus, üldjuhul rohkema toega kasutajatele, kes ei ole HPC spetsialistid. Kui teie töökoormus on mudelite treenimine või peenhäälestamine, mitte traditsiooniline simulatsioon, alustage siit.

Mis see maksab

Teadustöö ja paljude tööstuslike kasutusviiside jaoks antakse eraldatud arvutusvõimsus tasuta, sest masinad on rahastatud avalikest vahenditest ning võimsust jaotatakse eraldusprotsessi, mitte hinna kaudu.

On ka kommertsjuurdepääsu korraldusi, mille puhul tuleb maksta, tavaliselt otseselt ärilise töö eest, millele ei kehti avatuse nõuet. Ka siis on hinnad pikaajaliste suurte tööde puhul kommertspilvega võrreldes tavaliselt soodsad, sest te ei maksa juurdehindlust paindliku võimsuse eest, mida te ei kasuta.

Tegelik kulu ei ole arvutusvõimsus. See on inseneritöö.

Aus osa: see ei ole pilv

Siin tuleb ootused paika panna, sest just sel põhjusel ettevõtted proovivad EuroHPC-d ja loobuvad.

Te ei saa root-õigustega virtuaalmasinat. Te saate eraldise jagatud klastris koos tööde ajastajaga, tavaliselt Slurmiga. Esitate töid järjekorda. Need käivituvad, kui ressursse on vaba. Interaktiivne töö on piiratud.

Tarkvarakeskkond põhineb moodulitel, mitte konteineritel, kuigi konteinerite tugi on üha laiemalt saadaval. Teie sõltuvused võib olla vaja ehitada keskuse oma teekide vastu.

Failisüsteem on jagatud ja sellel on reeglid. Ajutine kettaruum tühjendatakse. Kodukataloogidel on kvoodid. Andmete sisse ja välja liigutamine vajab planeerimist ning suurte andmekogumite puhul põhjalikku planeerimist.

Võrk on optimeeritud tihedalt seotud paralleeltöödele, mitte üksteist välja kutsuvatele mikroteenustele. Kui teie töökoormus on hajussüsteem, mitte paralleelarvutus, on see vale keskkond.

Järjekorrad on päris. Suur töö võib oodata. Kui vajate tulemusi nõudmisel tunni jooksul, ei ole see teie taristu.

Paindlikku skaleerimist ei ole. Teil on eraldis. Te ei saa võimsust juurde võtta selle pärast, et täna on kiire päev.

Kokkuvõttes: EuroHPC sobib suurepäraselt suurtele, ajastatud, paralleel- või pakktöödele, mida saab ette planeerida. Interaktiivsetele, paindlikele, nõudmisel käivitatavatele või teenusekujulistele töökoormustele sobib see halvasti.

Millised töökoormused tegelikult sobivad

Mudelite treenimine ja peenhäälestamine suures mahus. Ilmne tänapäevane kasutusjuht ja see, milleks tehisintellekti tehased on ehitatud.

Suuremahuline simulatsioon. Arvutuslik vedelikudünaamika, molekulaardünaamika, konstruktsioonianalüüs, kliima ja ilm, elektromagnetism. Traditsioonilised kasutusjuhud ja endiselt suurimad kasutajad.

Suured pakk-järeldamised või andmekogumite töötlemine. Suure tekstikorpuse ühekordne töötlemine, manuste genereerimine suures mahus, pakkhindamine.

Kõik, millele kulutate praegu ajastatud töödena tõsist raha pilve GPU- või CPU-ajale. See on äriline test. Kui teie igakuine pilvearve pakktööde eest on märkimisväärne ja tööd on planeeritavad, tehke võrdlus.

Kõik, mille puhul andmed ei tohi EList lahkuda. Valdkondlike reeglitega tundlikud andmed, terviseandmed, avaliku sektori andmed. ELis ja ELi jurisdiktsiooni all asuv arvutusvõimsus muudab analüüsi ning seondub edastamise küsimustega, mida käsitleb meie isikuandmete kaitse üldmääruse (GDPR) juhend.

Praktiline sisenemistee

Alustage võrdlustestide eraldisest. Väike, kiire ja see vastab enne investeerimist küsimusele, kas asi on elujõuline.

Võtke ühendust riikliku pädevuskeskusega. See on igas osalevas riigis. Need on olemas just selleks, et aidata HPC-ga alustavaid organisatsioone, need on tasuta ja ütlevad teile ausalt, kas teie töökoormus sobib.

Pange ülekandmise töö eelarvesse eraldi reana. Kui teie meeskond on töötanud ainult hallatud pilves, on töökoormuse tõhusalt käima saamine HPC eraldisel päris inseneriprojekt. Mitte tohutu, aga mitte ka null. Tavaline on, et esimene katse saavutab vaid murdosa võimalikust jõudlusest.

Kui olete ettevõte, vaadake esmalt tehisintellekti- ja tööstusradu. Traditsiooniline teadusarvutuse eraldusprotsess ei ole teie jaoks kavandatud.

Planeerige andmete liigutamine varakult. Terabaitide sisse ja välja viimine on logistikaülesanne, millel on oma ettevalmistusaeg.

Strateegiline koht

EuroHPC on Euroopa arvutusvõimsuse strateegia alustase. Meie InvestAI juhendis kirjeldatud tehisintellekti tehased ühenduvad sellega. Gigatehased laiendavad seda. Kiibimääruse alusel tehtav protsessoritöö püüab lõpuks vähendada selle all olevat riistvarasõltuvust. Ning pilve- ja tehisintellekti arendamise õigusakt on kogu selle süsteemi regulatiivne raamistik.

Ettevõtte jaoks on strateegiline tähtsus väiksem kui praktiline. Treeningtöö käivitamise koha valimisel ei huvita teid tõenäoliselt Euroopa tehnoloogiline suveräänsus. Küll aga võib teid huvitada, et arvutusvõimsus maksab murdosa tavahinnast.

Kuhu see sobitub

Kogu rahastuse ja juurdepääsu maastik on kaardistatud meie ELi tehnoloogia rahastusjuhendis. Programmi, mis rahastab suurt osa EuroHPC-st, käsitleb meie programmi „Digitaalne Euroopa“ juhend.

Abi saamine

Ehitame andmeplatvorme, tehisintellekti töövooge ja arvutusmahukaid süsteeme Euroopas tegutsevatele ettevõtetele, sealhulgas viime töökoormuse sülearvutist või pilve-GPU-lt ajastatud HPC eraldisele nii, et see ei võtaks teilt terve kvartali.

Kui teie töökoormust piirab arvutusvõimsus ja soovite realistlikku hinnangut, kas EuroHPC juurdepääs aitaks ja mida ülekandmine nõuaks, kirjutage aadressil office@c9group.dev. Rohkem meie taristutööst leiate AWS kulude optimeerimise lehelt.