EuroHPC: kaip Europoje gauti prieigą prie superkompiuterių ir kiek tai kainuoja

Dauguma įmonių, kurioms rimti skaičiavimo pajėgumai būtų naudingi, apie EuroHPC net nepagalvoja, nes superkompiuterija skamba kaip kažkas fizikams. Prieš dešimtmetį tai iš esmės buvo tiesa. Dabar nebe, o prieigos būdai atviresni, nei suvokia beveik bet kas.

Europos našiosios kompiuterijos bendroji įmonė (EuroHPC) įsigyja ir eksploatuoja Europos superkompiuterius, finansuoja aplink juos reikalingą programinę įrangą ir įgūdžius, o įmonėms naudingiausia tai, kad ji skirsto prieigą prie jų. Tinkamai užduočiai tokia prieiga yra gerokai pigesnė nei komercinė debesija, o kai kurioms užduotims ji nemokama.

Kas iš tikrųjų yra EuroHPC

Tai ES, dalyvaujančių valstybių ir privačių narių bendroji įmonė, finansuojama iš Skaitmeninės Europos programos, „Europos horizonto“ ir Europos infrastruktūros tinklų priemonės (EITP, angl. CEF), taip pat iš nacionalinių įnašų.

Jos darbas skirstomas į tris dalis:

Infrastruktūra. Superkompiuterių visoje Europoje įsigijimas ir eksploatavimas: nuo vidutinės klasės sistemų iki eksaskalės klasės mašinų, įrengtų įvairiose valstybėse narėse. Taip pat DI gamyklos, aprašytos mūsų InvestAI vadove, t. y. DI darbams optimizuoti pajėgumai prie šių centrų. Reglamentas (ES) 2026/150, galiojantis nuo 2026 m. sausio 20 d., tai išplečia iki DI gigagamyklų: didelių įrenginių modeliams mokyti ir dideliu mastu vykdyti.

Moksliniai tyrimai ir inovacijos. Programinės įrangos rinkinio, taikomųjų programų ir vis labiau Europos procesorių technologijų finansavimas. Tas pats reglamentas prideda kvantinių technologijų ramstį, ir bendroji įmonė tampa atsakinga už ES kvantinių technologijų darbotvarkę, įskaitant pavyzdinę iniciatyvą Quantum Flagship.

Įgūdžiai ir prieiga. Kompetencijų centrai, mokymai ir paskirstymo kvietimai, per kuriuos iš tikrųjų gaunate galimybę naudotis mašinomis.

Būtent paskutinė dalis turėtų rūpėti įmonėms, ir dauguma jų net nežino, kad ji egzistuoja.

Prieigos būdai

Prieiga skirstoma per kvietimus, o jų yra keli ir jie labai skiriasi. Pasirinkti tinkamą svarbiau už bet ką kita.

Lyginamųjų bandymų ir kūrimo prieiga

Nedideli paskirstymai patikrinti, ar jūsų kodas veikia ir kaip jis plečiasi. Paprasta paraiška, greitas atsakymas, nedidelis skaičiavimo pajėgumų kiekis.

Tai tinkamas pradžios taškas kiekvienam, kas niekada nesinaudojo šiomis sistemomis. Tai jums kainuoja vieną paraiškos formą ir atsako į du klausimus, kuriuos turite žinoti: ar jūsų užduotis apskritai veikia ir ar ji naudingai plečiasi.

Įprastinė prieiga

Pagrindinis būdas gauti didelius paskirstymus. Recenzuojama, kvietimai skelbiami reguliariu ciklu, skirta projektams su aiškiu moksliniu ar techniniu pagrindimu. Didesni paskirstymai ilgesniam laikotarpiui.

Vertinimas yra tikras, o pasiūlyme reikia techninio pagrindimo: ką skaičiuojate, kodėl tam reikia tokio masto ir įrodymų, kad jūsų kodas veikia efektyviai.

Ypač didelio masto prieiga

Projektams, kuriems reikia labai didelės didžiausių mašinų dalies. Retai, labai griežtai vertinama, ir dauguma įmonių ne nuo to pradeda.

DI ir pramonei skirta prieiga

DI gamyklos pramonės naudotojams siūlo tris kryptis. Inovacijas kuriantiems DI MVĮ ir startuoliams jos nemokamos; kitos įmonės gali įsigyti komercinę prieigą, mokėdamos pagal naudojimą. Playground yra įėjimo taškas: paraišką galite pateikti bet kada, aptarnaujama eilės tvarka, o prieiga suteikiama per dvi darbo dienas nuo vieno iki trijų mėnesių. Fast Lane skirta komandoms, kurios jau išmano HPC ir kurioms reikia iki 50 000 GPU valandų, taip pat iki trijų mėnesių, o prieiga suteikiama per keturias darbo dienas. Large Scale apima daugiau nei 50 000 GPU valandų iki vienerių metų.

Jei esate įmonė, o ne universitetas, paprastai tai jūsų kelias.

Prieiga per DI gamyklas

DI gamyklos turi savo prieigos tvarką, paprastai su didesne pagalba naudotojams, kurie nėra HPC specialistai. Jei jūsų užduotis yra modelių mokymas ar derinimas, o ne tradicinis modeliavimas, pradėkite čia.

Kiek tai kainuoja

Moksliniams tyrimams ir daugeliui pramoninių paskirčių paskirti skaičiavimo pajėgumai suteikiami nemokamai, nes mašinos finansuojamos viešomis lėšomis, o išteklius riboja paskirstymo procesas, ne kaina.

Yra ir komercinės prieigos galimybių, už kurias mokamas mokestis, paprastai už tiesiogiai komercinį darbą be atvirumo reikalavimo. Net ir tada kaina ilgalaikėms didelėms užduotims paprastai palanki, palyginti su komercine debesija, nes nemokate maržos už lanksčius pajėgumus, kurių nenaudojate.

Tikroji sąnauda yra ne skaičiavimo pajėgumai. Tai inžinerinis darbas.

Sąžininga dalis: tai ne debesija

Čia būtina nustatyti lūkesčius, nes būtent dėl to įmonės išbando EuroHPC ir pasiduoda.

Negaunate virtualios mašinos su root teisėmis. Gaunate paskirstymą bendrame klasteryje su užduočių planuokliu, paprastai Slurm. Užduotis pateikiate į eilę. Jos vykdomos, kai atsiranda išteklių. Interaktyvus darbas ribotas.

Programinės įrangos aplinka pagrįsta moduliais, o ne pirmiausia konteineriais, nors konteinerių palaikymas vis plačiau prieinamas. Jūsų priklausomybes gali tekti kompiliuoti su konkretaus centro bibliotekomis.

Failų sistema bendra ir turi taisykles. Laikinoji erdvė (scratch) išvaloma. Namų katalogams taikomos kvotos. Duomenų perdavimą į sistemą ir iš jos reikia planuoti, o dideliems duomenų rinkiniams reikia rimto planavimo.

Tinklas optimizuotas glaudžiai susietoms lygiagrečioms užduotims, o ne mikroservisams, kurie kreipiasi vieni į kitus. Jei jūsų užduotis yra paskirstytoji sistema, o ne lygiagretus skaičiavimas, tai netinkama aplinka.

Laukimas eilėje yra realus. Didelė užduotis gali palaukti. Jei rezultatų reikia per valandą pagal poreikį, tai ne jūsų infrastruktūra.

Lankstumo nėra. Turite paskirstymą. Negalite padidinti pajėgumų todėl, kad šiandien daug darbo.

Apibendrinant: EuroHPC puikiai tinka didelėms, planuotoms, lygiagrečioms ar paketinėms užduotims, kurias galite suplanuoti iš anksto. Interaktyvioms, lanksčioms, pagal poreikį vykdomoms ar paslaugos pobūdžio užduotims tinka prastai.

Kokios užduotys iš tikrųjų tinka

Modelių mokymas ir derinimas dideliu mastu. Akivaizdus šiuolaikinis atvejis, ir būtent tam kuriamos DI gamyklos.

Didelio masto modeliavimas. Skaičiuojamoji skysčių dinamika, molekulinė dinamika, konstrukcijų analizė, klimatas ir orai, elektromagnetika. Tradiciniai atvejai, ir vis dar didžiausi naudotojai.

Didelio masto paketinis išvedimas ar duomenų rinkinių apdorojimas. Vienkartinis didelio tekstyno apdorojimas, įterpinių generavimas dideliu mastu, paketinis vertinimas.

Viskas, kam dabar planuotoms užduotims išleidžiate rimtus pinigus už debesijos GPU ar CPU laiką. Tai komercinis testas. Jei jūsų mėnesio sąskaita už paketinio darbo skaičiavimus debesijoje yra reikšminga, o užduotis galima planuoti, palyginkite.

Viskas, kur duomenys negali palikti ES. Jautrūs duomenys, kuriems taikomos sektorinės taisyklės, sveikatos duomenys, viešojo sektoriaus duomenys. Skaičiavimai ES viduje, taikant ES jurisdikciją, keičia vertinimą, ir tai susiję su duomenų perdavimo klausimais, aptartais mūsų BDAR (GDPR) vadove.

Praktinis kelias

Pradėkite nuo lyginamųjų bandymų paskirstymo. Nedidelis, greitas, ir jis atsako, ar tai apskritai įmanoma, prieš jums investuojant.

Pasikalbėkite su nacionaliniu kompetencijų centru. Kiekviena dalyvaujanti šalis tokį turi. Jie įkurti būtent tam, kad padėtų su HPC dar nedirbusioms organizacijoms, jų paslaugos nemokamos, ir jie sąžiningai pasakys, ar jūsų užduotis tinka.

Aiškiai numatykite biudžetą perkėlimo darbams. Jei jūsų komanda dirbo tik su valdoma debesija, kad užduotis efektyviai veiktų HPC paskirstyme, reikės tikro inžinerinio projekto. Ne milžiniško, bet ir ne nulinio. Dažnai pirmasis bandymas pasiekia tik dalį įmanomo našumo.

Jei esate įmonė, pirmiausia pažiūrėkite DI ir pramonei skirtas kryptis. Tradicinis mokslinis paskirstymo procesas nėra kurtas jums.

Duomenų perkėlimą planuokite anksti. Terabaitų perkėlimas į sistemą ir iš jos yra logistikos uždavinys su savo pasirengimo laiku.

Strateginė vieta

EuroHPC yra Europos skaičiavimo pajėgumų strategijos pamatas. Prie jo jungiasi mūsų InvestAI vadove aprašytos DI gamyklos. Gigagamyklos jį išplečia. Procesorių darbai pagal Lustų aktą ilgainiui siekia sumažinti priklausomybę nuo po juo esančios aparatinės įrangos. O Debesijos ir DI plėtros aktas yra viso to reguliavimo sistema.

Įmonei strateginė reikšmė mažesnė nei praktinė. Rinkdamiesi, kur vykdyti mokymo užduotį, vargu ar galvosite apie Europos technologinį suverenumą. Bet visai tikėtina, kad jums rūpės, jog skaičiavimai kainuoja tik dalį įprastos kainos.

Kur tai įsikomponuoja

Visa finansavimo ir prieigos panorama aprašyta mūsų ES technologijų finansavimo vadove. Programa, iš kurios finansuojama didelė EuroHPC dalis, aptariama mūsų Skaitmeninės Europos programos vadove.

Pagalba

Kuriame duomenų platformas, DI duomenų srautus ir daug skaičiavimų reikalaujančias sistemas įmonėms, veikiančioms Europoje, įskaitant darbą, kai užduotį reikia perkelti iš nešiojamojo kompiuterio ar debesijos GPU į planuojamą HPC paskirstymą ir tam nepaaukoti viso ketvirčio.

Jei turite užduotį, kurią riboja skaičiavimo pajėgumai, ir norite realistiškai įvertinti, ar prieiga prie EuroHPC padėtų ir ko pareikalautų perkėlimas, rašykite office@c9group.dev. Daugiau apie mūsų infrastruktūros darbus rasite AWS išlaidų optimizavimo puslapyje.