EuroHPC: näin pääset eurooppalaisen supertietokoneen käyttäjäksi ja mitä se maksaa

Useimmat yritykset, jotka hyötyisivät vakavasta laskentatehosta, eivät koskaan harkitse EuroHPC:tä, koska supertietokoneet kuulostavat joltain fyysikoille tarkoitetulta. Vuosikymmen sitten se piti suurelta osin paikkansa. Nyt ei pidä, ja pääsyreitit ovat avoimempia kuin lähes kukaan ymmärtää.

EuroHPC-yhteisyritys hankkii ja operoi eurooppalaisia supertietokoneita, rahoittaa niiden ympärillä olevaa ohjelmistoa ja osaamista ja, mikä on yrityksille hyödyllisintä, jakaa pääsyä niihin. Oikeanlaiselle kuormalle pääsy on selvästi halvempaa kuin kaupallinen pilvi, ja osalle kuormista se on maksutonta.

Mikä EuroHPC oikeastaan on

Yhteisyritys EU:n, osallistuvien valtioiden ja yksityisten jäsenten välillä, rahoitettuna Digitaalinen Eurooppa -ohjelmasta, Horisontti Euroopasta ja Verkkojen Eurooppa -välineestä sekä kansallisista osuuksista.

Sen työ jakautuu kolmeen osaan:

Infrastruktuuri. Supertietokoneiden hankinta ja operointi eri puolilla Eurooppaa, keskitason järjestelmistä exa-luokan koneisiin, sijoitettuina eri jäsenvaltioissa oleviin konesaleihin. Mukana ovat myös InvestAI-oppaassamme kuvatut tekoälytehtaat, jotka ovat näihin konesaleihin kytkettyä tekoälyyn optimoitua kapasiteettia.

Tutkimus ja innovointi. Ohjelmistopinon, sovellusten ja yhä useammin eurooppalaisen prosessoriteknologian rahoittaminen.

Osaaminen ja pääsy. Osaamiskeskukset, koulutus ja ne varaushaut, joiden kautta koneita todella pääsee käyttämään.

Viimeinen osa on se, jonka pitäisi kiinnostaa yrityksiä ja jonka olemassaolosta ne eivät enimmäkseen tiedä.

Pääsyreitit

Pääsy jaetaan hakujen kautta, ja hakuja on useita hyvin erilaisilla ehdoilla. Oikean haun löytäminen merkitsee enemmän kuin mikään muu.

Vertailu- ja kehityspääsy

Pieniä varauksia sen testaamiseen, ajaako koodisi ja miten se skaalautuu. Kevyt hakemus, nopea käsittely, pieni määrä laskentatehoa.

Tämä on oikea lähtökohta kaikille, jotka eivät ole koskaan käyttäneet näitä järjestelmiä. Se maksaa yhden hakulomakkeen, ja se kertoo ne kaksi asiaa, jotka pitää tietää: ajaako kuormasi lainkaan ja skaalautuuko se hyödyllisesti.

Tavallinen pääsy

Päätie merkittäviin varauksiin. Vertaisarvioitu, haut pyörivät säännöllisessä syklissä, ja kohteena ovat hankkeet, joilla on selkeä tieteellinen tai tekninen peruste. Suurempia varauksia pidemmille kausille.

Arviointi on todellinen, ja hakemus tarvitsee teknisen perustelun: mitä lasket, miksi se vaatii tätä mittakaavaa ja näyttöä siitä, että koodisi suoriutuu.

Äärimmäisen mittakaavan pääsy

Hankkeille, jotka tarvitsevat hyvin suuria osuuksia suurimmista koneista. Harvinaista, raskaasti arvioitua, eikä useimpien yritysten aloituspiste.

Tekoäly- ja teollisuuskohtainen pääsy

Uudempia väyliä, jotka on suunnattu nimenomaan tekoälykuormille ja teollisille käyttäjille, myös pk-yrityksille ja startupeille. Prosessit ovat kevyempiä kuin perinteisessä tieteellisessä varauksessa, ja ne on suunniteltu organisaatioille, jotka eivät ole tutkimuslaitoksia.

Jos olet yritys etkä yliopisto, tämä on yleensä sinun reittisi.

Pääsy tekoälytehtaiden kautta

Tekoälytehtailla on omat pääsyjärjestelynsä, ja niissä on yleensä enemmän tukea käyttäjille, jotka eivät ole HPC-asiantuntijoita. Jos kuormasi on mallin koulutusta tai hienosäätöä eikä perinteistä simulointia, aloita täältä.

Mitä se maksaa

Tutkimukselle ja monille teollisille käytöille varattu laskentateho tarjotaan maksutta, koska koneet on rahoitettu julkisesti ja varausprosessi on säännöstelymekanismi eikä hinta.

Tarjolla on myös kaupallisia pääsyjärjestelyjä, joissa peritään maksu, tyypillisesti suoraan kaupalliselle työlle ilman avoimuusvaatimusta. Silloinkin hinta vertautuu jatkuvissa suurissa töissä yleensä edullisesti kaupalliseen pilveen, koska et maksa katetta joustavasta kapasiteetista, jota et käytä.

Todellinen kustannus ei ole laskentateho. Se on insinöörityö.

Rehellinen osa: tämä ei ole pilvi

Tässä kohtaa odotukset on asetettava kohdalleen, koska juuri tämän takia yritykset kokeilevat EuroHPC:tä ja luovuttavat.

Et saa virtuaalikonetta root-oikeuksilla. Saat varauksen jaetulta klusterilta, ja päällä on tehtäväajastin, yleensä Slurm. Lähetät tehtäviä jonoon. Ne ajetaan, kun resursseja on vapaana. Interaktiivinen työ on rajoitettua.

Ohjelmistoympäristö on moduulipohjainen, ei konttivetoinen, vaikka konttitukea on yhä useammin saatavilla. Riippuvuutesi voi joutua kääntämään konesalikohtaisia kirjastoja vasten.

Tiedostojärjestelmä on jaettu, ja siinä on käytäntöjä. Työtila tyhjennetään. Kotihakemistoissa on kiintiöt. Datan siirto sisään ja ulos vaatii suunnittelua, ja suurille datajoukoille se vaatii todellista suunnittelua.

Verkko on optimoitu tiiviisti kytketyille rinnakkaistehtäville, ei toisiaan kutsuville mikropalveluille. Jos kuormasi on hajautettu järjestelmä eikä rinnakkaislaskenta, tämä on väärä ympäristö.

Jonoajat ovat todellisia. Suuri tehtävä voi joutua odottamaan. Jos tarvitset tuloksia tunnissa pyynnöstä, tämä ei ole sinun infrastruktuurisi.

Joustavuutta ei ole. Sinulla on varaus. Et voi skaalata ylöspäin siksi, että tänään on kiire.

Yhteenvetona: EuroHPC on erinomainen suurille, aikataulutetuille, rinnakkaisille tai eräkuormille, joita voi suunnitella etukäteen. Se on heikko interaktiivisille, joustaville, pyynnöstä toimiville tai palvelumaisille kuormille.

Mitkä kuormat todella sopivat

Mallien koulutus ja hienosäätö mittakaavassa. Ilmeinen nykyaikainen tapaus ja se, mitä varten tekoälytehtaat on rakennettu.

Suuren mittakaavan simulointi. Virtausdynamiikka, molekyylidynamiikka, rakenneanalyysi, ilmasto ja sää, sähkömagnetiikka. Perinteiset tapaukset ja yhä suurimmat käyttäjät.

Suuri eräpäättely tai datajoukon käsittely. Suuren korpuksen käsittely kerran, upotusten generointi mittakaavassa, eräpisteytys.

Kaikki, mihin nykyään palaa vakavaa rahaa pilven GPU- tai CPU-aikana aikataulutetuissa tehtävissä. Tämä on se kaupallinen testi. Jos kuukausittainen pilvilaskusi eräkuormasta on merkittävä ja tehtävät ovat suunniteltavissa, tee vertailu.

Kaikki, missä data ei voi poistua EU:sta. Arkaluonteinen data alakohtaisten sääntöjen alla, terveysdata, julkisen sektorin data. Laskentateho EU:n sisällä EU:n lainkäyttövallan alla muuttaa analyysin, ja se kytkeytyy tietosuojaoppaassamme käsiteltyihin siirtokysymyksiin.

Käytännön sisäänpääsyreitti

Aloita vertailuvarauksella. Pieni ja nopea, ja se kertoo, onko tämä toteutettavissa ennen kuin investoit.

Puhu kansallisen osaamiskeskuksen kanssa. Jokaisella osallistuvalla maalla on sellainen. Ne ovat olemassa nimenomaan auttamaan organisaatioita, joille HPC on uutta, ne ovat maksuttomia, ja ne kertovat rehellisesti sopiiko kuormasi.

Budjetoi siirtotyö erikseen. Jos tiimisi on ajanut vain hallitulla pilvellä, kuorman saaminen ajamaan tehokkaasti HPC-varauksella on todellinen insinöörihanke. Ei valtava, mutta ei myöskään nolla. On tavallista, että ensimmäinen yritys ajaa murto-osalla saavutettavissa olevasta suorituskyvystä.

Tarkista ensin tekoäly- ja teollisuusväylät, jos olet yritys. Perinteistä tieteellistä varausprosessia ei ole rakennettu sinua varten.

Suunnittele datan siirto ajoissa. Teratavujen siirtäminen sisään ja ulos on logistiikkaongelma omine läpimenoaikoineen.

Mihin tämä sijoittuu strategisesti

EuroHPC on eurooppalaisen laskentastrategian perustakerros. InvestAI-oppaassamme kuvatut tekoälytehtaat kytkeytyvät siihen. Gigatehtaat laajentavat sitä. Sirusäädöksen alainen prosessorityö tähtää lopulta sen alla olevan laitteistoriippuvuuden vähentämiseen. Ja pilvi- ja tekoälykehitysasetus on sääntelykehikko koko kokonaisuuden ympärillä.

Yritykselle strateginen merkitys on pienempi kuin käytännöllinen. Tuskin mietit eurooppalaista teknologista suvereniteettia valitessasi, missä ajat koulutustehtävän. Sen sijaan saatat hyvinkin välittää siitä, että laskentateho maksaa murto-osan hinnasta.

Mihin tämä sijoittuu

Koko rahoitus- ja pääsymaisema on kartoitettu EU:n teknologiarahoitusoppaassamme. Ohjelma, joka rahoittaa suuren osan EuroHPC:stä, on käsitelty Digitaalinen Eurooppa -ohjelman oppaassamme.

Näin saat apua

Rakennamme data-alustoja, tekoälyputkia ja laskentaintensiivisiä järjestelmiä Euroopassa toimiville yrityksille, ja siihen kuuluu se työ, jolla kuorma siirretään kannettavalta tai pilven GPU:lta aikataulutetulle HPC-varaukselle ilman että siihen palaa kokonainen neljännes.

Jos sinulla on laskentatehorajoitteinen kuorma ja haluat realistisen arvion siitä, auttaisiko EuroHPC-pääsy ja mitä siirto vaatisi, kirjoita osoitteeseen office@c9group.dev. Lisää infrastruktuurityöstämme AWS-kustannusoptimoinnin sivulla.