EuroHPC: come ottenere accesso ai supercomputer in Europa e quanto costa
La maggior parte delle aziende che trarrebbero vantaggio da un po' di calcolo serio non prende nemmeno in considerazione EuroHPC, perché «supercalcolo» suona come roba da fisici. Dieci anni fa era in buona parte vero. Oggi non lo è più, e le vie d'accesso sono molto più aperte di quanto chiunque immagini.
L'impresa comune EuroHPC acquista e gestisce i supercomputer europei, finanzia il software e le competenze che ci girano attorno e, cosa più utile per le aziende, ne assegna l'accesso. Per il tipo di carico giusto quell'accesso costa molto meno del cloud commerciale, e per certi carichi non costa nulla.
Cos'è EuroHPC
Un'impresa comune tra l'UE, gli Stati partecipanti e membri privati, finanziata dal programma Europa digitale, da Orizzonte Europa e dal meccanismo per collegare l'Europa, più i contributi nazionali.
Il suo lavoro si divide in tre parti:
Infrastruttura. Acquisto e gestione di supercomputer in tutta Europa, da sistemi di fascia media a macchine di classe exascale, ospitati in siti di vari Stati membri. Comprese le fabbriche di IA descritte nella nostra guida a InvestAI, cioè capacità ottimizzata per l'IA agganciata a questi siti.
Ricerca e innovazione. Finanziamento dello stack software, delle applicazioni e, sempre di più, della tecnologia europea dei processori.
Competenze e accesso. Centri di competenza, formazione e i bandi di assegnazione attraverso cui si arriva davvero a usare le macchine.
È quest'ultima parte quella che dovrebbe interessare le aziende, ed è quella che la maggior parte non sa nemmeno che esista.
Le vie d'accesso
L'accesso si assegna tramite bandi, e ce ne sono diversi con caratteristiche molto diverse tra loro. Azzeccare quello giusto conta più di ogni altra cosa.
Accesso di benchmark e sviluppo
Piccole assegnazioni per verificare se il vostro codice gira e come scala. Candidatura leggera, tempi rapidi, poco calcolo.
È il punto di partenza corretto per chi non ha mai messo mano a questi sistemi. Vi costa la compilazione di un modulo e vi dice le due cose che vi servono davvero: se il vostro carico gira, e se scala in modo utile.
Accesso regolare
La via principale per le assegnazioni consistenti. Con valutazione tra pari, bandi a cadenza regolare, rivolta a progetti con una chiara motivazione scientifica o tecnica. Assegnazioni più grandi, su periodi più lunghi.
La valutazione è seria e la proposta ha bisogno di una motivazione tecnica: cosa state calcolando, perché serve questa scala e le prove che il vostro codice regge.
Accesso su scala estrema
Per i progetti che richiedono fette molto grandi delle macchine più potenti. Raro, con una valutazione molto severa, e non è certo il punto da cui parte un'azienda.
Accesso per IA e per l'industria
Percorsi più recenti, rivolti in modo esplicito ai carichi di IA e agli utenti industriali, PMI e startup comprese. Hanno procedure più leggere dell'assegnazione scientifica classica e sono pensati per organizzazioni che non sono istituti di ricerca.
Se siete un'azienda e non un'università, di solito la strada è questa.
Accesso tramite le fabbriche di IA
Le fabbriche di IA hanno modalità di accesso proprie, in genere con più assistenza per chi non è uno specialista di HPC. Se il vostro carico è addestramento o affinamento di modelli e non simulazione classica, partite da qui.
Quanto costa
Per la ricerca e per parecchi usi industriali il calcolo assegnato non si paga, perché le macchine sono finanziate con soldi pubblici e a razionare la domanda è il processo di assegnazione, non il prezzo.
Esistono anche modalità di accesso commerciale a pagamento, di solito per lavori dichiaratamente commerciali senza obblighi di apertura. Anche in quel caso il prezzo regge bene il confronto con il cloud commerciale per i lavori grandi e prolungati, perché non state pagando un margine su capacità elastica che non usate.
Il costo vero non è il calcolo. È l'ingegneria.
La parte onesta: questo non è cloud
È qui che vanno tarate le aspettative, perché è il motivo per cui le aziende provano EuroHPC e poi mollano.
Non vi danno una macchina virtuale con i permessi di root. Vi danno un'assegnazione su un cluster condiviso con uno scheduler dei job, di solito Slurm. I job si mandano in coda. Girano quando ci sono risorse. Il lavoro interattivo è limitato.
L'ambiente software è basato su moduli, non è pensato prima di tutto per i container, anche se il supporto ai container c'è sempre di più. Le vostre dipendenze potrebbero dover essere ricompilate usando le librerie specifiche del sito.
Il filesystem è condiviso e ha le sue regole. Lo spazio scratch viene ripulito. Le home hanno le quote. Il trasferimento dei dati in entrata e in uscita va pianificato, e con dataset grandi va pianificato sul serio.
La rete è ottimizzata per job paralleli fortemente accoppiati, non per microservizi che si chiamano tra loro. Se il vostro carico è un sistema distribuito e non un calcolo parallelo, l'ambiente è sbagliato.
Le code esistono davvero. Un job grande può restare fermo un po'. Se vi servono risultati entro un'ora e su richiesta, non è questa la vostra infrastruttura.
L'elasticità non esiste. Avete un'assegnazione. Non potete allargarvi solo perché oggi il carico è alto.
Tirando le somme: EuroHPC va benissimo per carichi grandi, pianificati, paralleli o batch, dove si può programmare in anticipo. Va male per tutto ciò che è interattivo, elastico, su richiesta o che si comporta come un servizio sempre acceso.
Quali carichi ci stanno davvero
Addestramento e affinamento di modelli su larga scala. Il caso moderno più ovvio, ed è per questo che le fabbriche di IA esistono.
Simulazione su larga scala. Fluidodinamica computazionale, dinamica molecolare, analisi strutturale, clima e meteo, elettromagnetismo. I casi classici, e tuttora i maggiori utilizzatori.
Inferenza batch o elaborazione di grandi dataset. Macinare un grande corpus una volta sola, generare embedding su larga scala, assegnare punteggi in batch.
Tutto ciò per cui oggi spendete cifre serie in ore GPU o CPU in cloud su job pianificati. È questo il test commerciale. Se la bolletta cloud mensile per il lavoro batch pesa e i job sono pianificabili, fatevi il confronto.
Tutto ciò in cui i dati non possono uscire dall'UE. Dati sensibili soggetti a regole settoriali, dati sanitari, dati del settore pubblico. Calcolare dentro l'UE e sotto giurisdizione europea cambia i termini del problema, e si aggancia alle questioni di trasferimento trattate nella nostra guida al GDPR.
Come entrare, in pratica
Cominciate da un'assegnazione di benchmark. Piccola, veloce, e vi dice se la cosa è fattibile prima che ci investiate davvero.
Parlate con il centro nazionale di competenza. Ogni Paese partecipante ne ha uno. Esistono proprio per aiutare chi si affaccia all'HPC per la prima volta, sono gratuiti e vi diranno con franchezza se il vostro carico ci sta.
Mettete a budget il lavoro di porting, in modo esplicito. Se il vostro team ha lavorato solo su cloud gestito, far girare un carico in modo efficiente su un'assegnazione HPC è un progetto di ingegneria a tutti gli effetti. Non enorme, ma nemmeno gratis. Capita spesso che il primo tentativo renda una frazione di quello che la macchina potrebbe dare.
Se siete un'azienda, guardate prima i percorsi per IA e industria. La procedura classica di assegnazione scientifica non è pensata per voi.
Pianificate per tempo lo spostamento dei dati. Muovere terabyte in entrata e in uscita è un problema logistico con i suoi tempi.
Il quadro strategico
EuroHPC è lo strato di base della strategia europea sul calcolo. Le fabbriche di IA descritte nella nostra guida a InvestAI ci si agganciano sopra. Le gigafabbriche lo estendono. Il lavoro sui processori nell'ambito del Chips Act punta, sul lungo periodo, a ridurre la dipendenza hardware che ci sta sotto. E il Cloud and AI Development Act è la cornice regolatoria attorno a tutto quanto.
Per un'azienda il significato strategico conta meno di quello pratico. Difficilmente vi importerà della sovranità tecnologica europea quando dovete decidere dove far girare un addestramento. Vi importerà molto di più che il calcolo costi una frazione.
Dove si colloca
Il panorama completo di finanziamenti e accessi è mappato nella nostra guida ai finanziamenti tecnologici UE. Il programma che finanzia buona parte di EuroHPC è trattato nella guida al programma Europa digitale.
Ottenere aiuto
Costruiamo piattaforme di dati, pipeline di IA e sistemi ad alta intensità di calcolo per aziende che operano in Europa, compreso il lavoro di portare un carico da un portatile o da una GPU in cloud a un'assegnazione HPC pianificata senza bruciarci un trimestre.
Se avete un carico di lavoro limitato dalla potenza di calcolo e volete una valutazione realistica di quanto vi aiuterebbe l'accesso a EuroHPC e di cosa costerebbe portarcelo, scrivete a office@c9group.dev. Trovate altro sul nostro lavoro infrastrutturale alla pagina sull'ottimizzazione dei costi AWS.