EuroHPC: hogyan juthat szuperszámítógépes hozzáféréshez Európában, és mibe kerül

A cégek többsége, amelynek jól jönne a komoly számítási kapacitás, sosem gondol az EuroHPC-re, mert a szuperszámítástechnika fizikusok ügyének hangzik. Egy évtizede ez nagyrészt igaz is volt. Ma nem az, a hozzáférési utak pedig nyitottabbak, mint azt szinte bárki hinné.

Az EuroHPC közös vállalkozás európai szuperszámítógépeket szerez be és üzemeltet, finanszírozza a köréjük épülő szoftvereket és készségeket, és ami a cégeknek a leghasznosabb, hozzáférést oszt ki hozzájuk. A megfelelő munkaterheléshez ez a hozzáférés drámaian olcsóbb a kereskedelmi felhőnél, egyes munkaterhelésekhez pedig ingyenes.

Mi az EuroHPC valójában

Közös vállalkozás az EU, a részt vevő államok és magántagok között, amelyet a Digitális Európa program, a Horizont Európa, az Európai Hálózatfinanszírozási Eszköz és a nemzeti hozzájárulások finanszíroznak.

A munkája három részre oszlik:

Infrastruktúra. Szuperszámítógépek beszerzése és üzemeltetése Európa-szerte, a középkategóriás rendszerektől az exaszintű gépekig, különböző tagállamokban lévő helyszíneken. Idetartoznak az InvestAI-útmutatónkban leírt MI-gyárak is, vagyis az ezekhez a helyszínekhez kapcsolt, mesterséges intelligenciára optimalizált kapacitás.

Kutatás és innováció. A szoftverréteg, az alkalmazások és egyre inkább az európai processzortechnológia finanszírozása.

Készségek és hozzáférés. Kompetenciaközpontok, képzés, valamint azok a kiosztási felhívások, amelyeken keresztül ténylegesen használni lehet a gépeket.

Épp ez az utolsó rész az, amely a cégeket érdekelné, csak többnyire nem tudják, hogy létezik.

A hozzáférési utak

A hozzáférést felhívásokon keresztül osztják, és több út van, egészen eltérő jellemzőkkel. A megfelelő út eltalálása mindennél többet számít.

Teljesítménymérési és fejlesztési hozzáférés

Kis kiosztások annak tesztelésére, hogy fut-e a kódja, és hogyan skálázódik. Könnyű pályázat, gyors átfutás, kevés számítási kapacitás.

Ez a helyes kiindulópont mindenkinek, aki még sosem használta ezeket a rendszereket. Egy pályázati űrlapnyi munka, cserébe megtudja azt a két dolgot, amit tudnia kell: fut-e egyáltalán a munkaterhelése, és skálázódik-e értelmesen.

Rendes hozzáférés

A fő út a jelentős kiosztásokhoz. Szakmai bírálattal, rendszeres ciklusban meghirdetett felhívásokkal, olyan projekteknek szánva, amelyek mögött világos tudományos vagy műszaki indok áll. Nagyobb kiosztások, hosszabb időszakra.

A bírálat valódi, és a pályázathoz műszaki érvelés kell: mit számol, miért kell hozzá ekkora lépték, és mi bizonyítja, hogy a kódja teljesít.

Extrém léptékű hozzáférés

Olyan projekteknek, amelyek a legnagyobb gépek nagyon nagy hányadát igénylik. Ritka, szigorúan bírált, és a cégek többsége nem itt kezdi.

MI- és ipari hozzáférés

Újabb sávok, amelyek kifejezetten MI-munkaterhelésekre és ipari felhasználókra irányulnak, köztük a kkv-kra és a startupokra. Könnyebb az eljárásuk, mint a hagyományos tudományos kiosztásé, és nem kutatóintézetekre szabták őket.

Ha cégként és nem egyetemként pályázik, általában ez az ön útja.

Hozzáférés MI-gyárakon keresztül

Az MI-gyáraknak saját hozzáférési rendjük van, és jellemzően több támogatást adnak azoknak, akik nem HPC-szakértők. Ha a munkaterhelése modelltanítás vagy finomhangolás, nem pedig hagyományos szimuláció, itt kezdje.

Mibe kerül

Kutatásra és sok ipari felhasználásra a kiosztott számítási kapacitás díjmentes, mert a gépek közfinanszírozásúak, és az adagolást a kiosztási folyamat végzi, nem az ár.

Léteznek kereskedelmi hozzáférési konstrukciók is, ahol fizetni kell, jellemzően a közvetlenül üzleti célú, nyitottsági követelmény nélküli munkára. Az árazás még ilyenkor is kedvezően jön ki a kereskedelmi felhőhöz képest a tartós, nagy feladatoknál, mert nem fizet árrést olyan rugalmas kapacitásra, amelyet nem használ.

A valódi költség nem a számítási kapacitás. Hanem a mérnöki munka.

Az őszinte rész: ez nem felhő

Itt kell rendet tenni az elvárások között, mert emiatt szokták a cégek kipróbálni az EuroHPC-t, aztán feladni.

Nem kap root joggal bíró virtuális gépet. Kiosztást kap egy megosztott fürtön, feladatütemezővel, rendszerint Slurmmal. A feladatokat sorba adja be. Akkor futnak, amikor erőforrás szabadul fel. Az interaktív munka korlátozott.

A szoftverkörnyezet modulalapú, nem elsősorban konténeres, bár a konténertámogatás egyre elérhetőbb. A függőségeit könnyen lehet, hogy helyszínspecifikus könyvtárakhoz kell fordítania.

A fájlrendszer megosztott, és szabályok vonatkoznak rá. Az átmeneti tárterületet rendszeresen ürítik. A saját könyvtárakra kvóta van. Az adatok be- és kimozgatása tervezést kíván, nagy adathalmazoknál pedig komoly tervezést.

A hálózat szorosan csatolt párhuzamos feladatokra van optimalizálva, nem egymást hívogató mikroszolgáltatásokra. Ha a munkaterhelése inkább elosztott rendszer, mint párhuzamos számítás, ez rossz környezet lesz.

A sorban állás valós. Egy nagy feladat várhat. Ha egy órán belül, igény szerint kell az eredmény, ez nem az ön infrastruktúrája.

Rugalmasság nincs. Van egy kiosztása. Nem tud felskálázni azért, mert ma éppen sok a munka.

Összegezve: az EuroHPC kiváló a nagy, ütemezett, párhuzamos vagy kötegelt munkaterhelésekhez, ahol előre lehet tervezni. Gyenge az interaktív, rugalmas, igény szerinti vagy szolgáltatásjellegű munkaterhelésekhez.

Mely munkaterhelések illenek ide

Modelltanítás és finomhangolás nagy léptékben. A kézenfekvő modern eset, és pontosan ezért épültek az MI-gyárak.

Nagy léptékű szimuláció. Numerikus áramlástan, molekuladinamika, szerkezeti analízis, klíma és időjárás, elektromágnesesség. A hagyományos esetek, és még mindig a legnagyobb felhasználók.

Nagy kötegelt következtetés vagy adathalmaz-feldolgozás. Egy nagy korpusz egyszeri feldolgozása, beágyazások tömeges előállítása, kötegelt pontozás.

Bármi, amire ma komoly pénzt költ felhős GPU- vagy CPU-időre, ütemezett feladatoknál. Ez az üzleti próba. Ha a kötegelt munkára fordított havi felhőszámlája érdemi, és a feladatok tervezhetők, végezze el az összehasonlítást.

Bármi, ahol az adat nem hagyhatja el az EU-t. Ágazati szabályok alá eső érzékeny adat, egészségügyi adat, közszférabeli adat. Az EU-n belüli, uniós joghatóság alatt működő kapacitás átírja a mérlegelést, és kapcsolódik a GDPR-útmutatónkban tárgyalt adattovábbítási kérdésekhez.

Gyakorlati belépési út

Kezdje teljesítménymérési kiosztással. Kicsi, gyors, és megválaszolja, életképes-e ez az irány, mielőtt bármit beleölne.

Beszéljen a nemzeti kompetenciaközponttal. Minden részt vevő országban működik ilyen. Kifejezetten azért léteznek, hogy segítsenek a HPC-ben új szervezeteknek, ingyenesek, és őszintén megmondják, illik-e ide a munkaterhelése.

Számoljon külön a portolás munkájával. Ha a csapata eddig csak menedzselt felhőn futtatott, akkor egy munkaterhelés hatékony futtatása HPC-kiosztáson valódi mérnöki projekt. Nem hatalmas, de nem is nulla. Gyakori, hogy az első próbálkozás az elérhető teljesítmény töredékén fut.

Ha cégként pályázik, először az MI- és ipari sávokat nézze. A hagyományos tudományos kiosztási folyamatot nem ön köré tervezték.

Az adatmozgatást tervezze meg korán. Terabájtokat be- és kivinni logisztikai feladat, saját átfutási idővel.

Hol áll ez stratégiailag

Az EuroHPC az európai számítási stratégia alaprétege. Az InvestAI-útmutatónkban leírt MI-gyárak ehhez kapcsolódnak. A gigagyárak kiterjesztik ezt. A chiprendelet szerinti processzormunka pedig végső soron az alatta lévő hardverfüggést csökkentené. A felhő- és MI-fejlesztési rendelet az egész köré épülő szabályozási keret.

Egy cég számára a stratégiai jelentőség kisebb a gyakorlatinál. Aligha az európai technológiai szuverenitás fogja érdekelni, amikor eldönti, hol futtat egy tanítási feladatot. Az viszont könnyen érdekelheti, hogy a számítási kapacitás az árnak csak a töredékébe kerül.

Hova illik ez

A teljes finanszírozási és hozzáférési terepet a technológiai finanszírozási útmutatónk térképezi fel. Az EuroHPC nagy részét finanszírozó programot a Digitális Európa programról szóló útmutatónk mutatja be.

Hogyan kérhet segítséget

Adatplatformokat, MI-adatfeldolgozási láncokat és számításigényes rendszereket építünk Európában működő cégeknek, beleértve azt a munkát is, amely egy munkaterhelést laptopról vagy felhős GPU-ról ütemezett HPC-kiosztásra visz át úgy, hogy ne menjen rá egy negyedév.

Ha van olyan munkaterhelése, amely a számítási kapacitásba ütközik, és reális képet szeretne arról, segítene-e az EuroHPC-hozzáférés, illetve mennyibe kerülne a portolás, írjon az office@c9group.dev címre. Az infrastruktúrás munkánkról az AWS-költségoptimalizálás oldalon olvashat bővebben.