EuroHPC: jak uzyskać dostęp do superkomputera w Europie i ile to kosztuje

Większość firm, które skorzystałyby na poważnej mocy obliczeniowej, nigdy nie bierze EuroHPC pod uwagę, bo superkomputery brzmią jak coś dla fizyków. Dekadę temu było w tym sporo prawdy. Dziś już nie ma, a drogi dostępu są dużo bardziej otwarte, niż komukolwiek się wydaje.

Wspólne Przedsięwzięcie EuroHPC kupuje i eksploatuje europejskie superkomputery, finansuje oprogramowanie i kompetencje wokół nich, a co dla firm najważniejsze, przydziela do nich dostęp. Przy odpowiednim obciążeniu ten dostęp jest nieporównywalnie tańszy niż chmura komercyjna, a przy części obciążeń jest bezpłatny.

Czym EuroHPC naprawdę jest

To wspólne przedsięwzięcie UE, państw uczestniczących i członków prywatnych, finansowane z programu Cyfrowa Europa, Horyzontu Europa i instrumentu Łącząc Europę, plus wkłady krajowe.

Jego prace dzielą się na trzy części:

Infrastruktura. Zakup i eksploatacja superkomputerów w całej Europie, od systemów średniej klasy po maszyny klasy eksaskalowej, umieszczonych w ośrodkach w różnych państwach członkowskich. Do tego fabryki sztucznej inteligencji opisane w naszym przewodniku po InvestAI, czyli moc zoptymalizowana pod sztuczną inteligencję i podpięta do tych ośrodków.

Badania i innowacje. Finansowanie stosu oprogramowania, aplikacji i coraz częściej europejskiej technologii procesorowej.

Kompetencje i dostęp. Centra kompetencji, szkolenia i nabory przydziałowe, dzięki którym możesz z tych maszyn realnie skorzystać.

Ta ostatnia część powinna interesować firmy najbardziej, a większość z nich nawet nie wie, że istnieje.

Drogi dostępu

Dostęp przydziela się przez nabory, a te różnią się między sobą bardzo mocno. Trafienie we właściwy ma większe znaczenie niż cokolwiek innego.

Dostęp testowy i deweloperski

Małe przydziały na sprawdzenie, czy twój kod w ogóle chodzi i jak się skaluje. Lekki wniosek, szybka decyzja, niewielka moc.

To właściwy punkt startu dla każdego, kto nigdy z tych systemów nie korzystał. Kosztuje tyle, co wypełnienie formularza, a odpowiada na dwa pytania, które musisz mieć rozstrzygnięte: czy twoje obciążenie w ogóle się uruchomi i czy sensownie się skaluje.

Dostęp regularny

Główna droga do poważniejszych przydziałów. Z recenzją merytoryczną, z naborami w regularnym cyklu, dla projektów z wyraźnym uzasadnieniem naukowym albo technicznym. Większe przydziały na dłuższe okresy.

Ocena jest rzetelna, a wniosek musi mieć uzasadnienie techniczne: co liczysz, dlaczego potrzebujesz tej skali i dowody, że twój kod działa wydajnie.

Dostęp ekstremalnej skali

Dla projektów, które potrzebują sporej części największych maszyn. Rzadki, ostro oceniany i zdecydowanie nie tu zaczyna większość firm.

Dostęp dla sztucznej inteligencji i przemysłu

Nowsze ścieżki, adresowane wprost do obciążeń sztucznej inteligencji i użytkowników przemysłowych, w tym MŚP i startupów. Mają lżejsze procedury niż tradycyjny przydział naukowy i zaprojektowano je dla organizacji, które nie są instytutami badawczymi.

Jeśli jesteś firmą, a nie uczelnią, to zwykle twoja droga.

Dostęp przez fabryki sztucznej inteligencji

Fabryki sztucznej inteligencji mają własne zasady dostępu, zwykle z większym wsparciem dla użytkowników, którzy nie są specjalistami od HPC. Jeśli twoje obciążenie to trenowanie albo dostrajanie modeli, a nie klasyczna symulacja, zacznij właśnie tutaj.

Ile to kosztuje

W badaniach i w wielu zastosowaniach przemysłowych przydzieloną moc dostaje się bezpłatnie, bo maszyny są finansowane publicznie, a mechanizmem reglamentacji jest proces przydziału, nie cena.

Istnieją też komercyjne zasady dostępu z opłatą, zwykle dla prac czysto komercyjnych, bez wymogu otwartości. Nawet wtedy cena wypada zwykle korzystnie na tle chmury komercyjnej przy dużych, długo trwających zadaniach, bo nie płacisz marży za elastyczną moc, której i tak nie używasz.

Prawdziwym kosztem nie jest moc obliczeniowa. Jest nim inżynieria.

Uczciwa część: to nie jest chmura

Tu trzeba ustawić oczekiwania, bo to właśnie dlatego firmy próbują EuroHPC i odpuszczają.

Nie dostajesz maszyny wirtualnej z rootem. Dostajesz przydział na współdzielonym klastrze ze schedulerem zadań, zwykle Slurmem. Zadania wrzucasz do kolejki. Ruszają, kiedy zwolnią się zasoby. Praca interaktywna jest ograniczona.

Środowisko oprogramowania jest modułowe, a nie kontenerowe, choć wsparcie dla kontenerów bywa coraz szersze. Twoje zależności może trzeba będzie zbudować pod biblioteki charakterystyczne dla danego ośrodka.

System plików jest współdzielony i obwarowany politykami. Przestrzeń robocza jest czyszczona. Katalogi domowe mają limity. Przesyłanie danych w obie strony wymaga planowania, a przy dużych zbiorach planowania poważnego.

Sieć jest zoptymalizowana pod silnie sprzężone zadania równoległe, a nie pod mikroserwisy wołające się nawzajem. Jeśli twoje obciążenie to system rozproszony, a nie obliczenie równoległe, trafiłeś w złe miejsce.

Kolejki są prawdziwe. Duże zadanie może poczekać. Jeśli potrzebujesz wyników w godzinę i na żądanie, to nie jest twoja infrastruktura.

Elastyczność nie istnieje. Masz przydział. Nie doskalujesz się dlatego, że akurat dziś jest ruch.

Podsumowując: EuroHPC świetnie sprawdza się przy dużych, zaplanowanych obciążeniach równoległych albo wsadowych, które da się przewidzieć z wyprzedzeniem. Kiepsko wypada przy obciążeniach interaktywnych, elastycznych, na żądanie albo działających jak usługa.

Jakie obciążenia naprawdę pasują

Trenowanie i dostrajanie modeli na dużą skalę. Przypadek oczywisty i to właśnie pod niego zbudowano fabryki sztucznej inteligencji.

Symulacje wielkoskalowe. Obliczeniowa mechanika płynów, dynamika molekularna, analiza konstrukcyjna, klimat i pogoda, elektromagnetyzm. Zastosowania klasyczne i wciąż najwięksi użytkownicy.

Duża inferencja wsadowa albo przetwarzanie zbiorów danych. Jednorazowe przetworzenie dużego korpusu, generowanie embeddingów na dużą skalę, wsadowe scorowanie.

Wszystko, na co dziś wydajesz poważne pieniądze przy zaplanowanych zadaniach na GPU albo CPU w chmurze. To jest ten test komercyjny. Jeśli miesięczny rachunek za moc obliczeniową do prac wsadowych jest zauważalny, a zadania da się zaplanować, zrób porównanie.

Wszystko, gdzie dane nie mogą opuścić UE. Dane wrażliwe objęte przepisami sektorowymi, dane zdrowotne, dane sektora publicznego. Moc obliczeniowa na terenie UE i pod jurysdykcją UE zmienia całą analizę, a łączy się to z pytaniami o przekazywanie danych z naszego przewodnika po RODO.

Praktyczna droga wejścia

Zacznij od przydziału testowego. Mały, szybki, a odpowiada na pytanie o wykonalność, zanim cokolwiek zainwestujesz.

Porozmawiaj z krajowym centrum kompetencji. Ma je każdy uczestniczący kraj. Istnieją dokładnie po to, żeby pomagać organizacjom bez doświadczenia w HPC, są bezpłatne i uczciwie powiedzą ci, czy twoje obciążenie pasuje.

Zabudżetuj przeniesienie kodu wprost. Jeśli twój zespół pracował dotąd wyłącznie na zarządzanej chmurze, doprowadzenie obciążenia do wydajnego działania na przydziale HPC to prawdziwy projekt inżynierski. Nie gigantyczny, ale na pewno nie zerowy. Pierwsze podejście, które chodzi na ułamku osiągalnej wydajności, to standard.

Jeśli jesteś firmą, sprawdź najpierw ścieżki dla sztucznej inteligencji i przemysłu. Klasyczny naukowy proces przydziału nie był projektowany z myślą o tobie.

Zaplanuj przenoszenie danych odpowiednio wcześnie. Przerzucenie terabajtów w jedną i w drugą stronę to problem logistyczny z własnym czasem realizacji.

Gdzie to stoi strategicznie

EuroHPC to warstwa fundamentowa europejskiej strategii obliczeniowej. Podpinają się do niej fabryki sztucznej inteligencji opisane w naszym przewodniku po InvestAI. Gigafabryki ją rozszerzają. Prace nad procesorami w ramach aktu o chipach mają docelowo zmniejszyć zależność sprzętową, która leży pod spodem. A akt o rozwoju chmury i sztucznej inteligencji jest ramą regulacyjną wokół całości.

Dla firmy znaczenie strategiczne jest mniejsze niż praktyczne. Wybierając miejsce na zadanie treningowe, raczej nie będziesz się przejmował europejską suwerennością technologiczną. Możesz się za to przejąć tym, że moc kosztuje ułamek ceny.

Gdzie to się mieści

Cały krajobraz finansowania i dostępu opisujemy w przewodniku po finansowaniu technologii w UE. Program, z którego idzie duża część pieniędzy dla EuroHPC, opisuje przewodnik po programie Cyfrowa Europa.

Jak uzyskać pomoc

Budujemy platformy danych, potoki sztucznej inteligencji i systemy intensywne obliczeniowo dla firm działających w Europie, łącznie z przeniesieniem obciążenia z laptopa albo z GPU w chmurze na zaplanowany przydział HPC, bez tracenia na to całego kwartału.

Jeśli masz obciążenie ograniczone mocą obliczeniową i chcesz realnie ocenić, czy dostęp do EuroHPC coś tu da i ile kosztowałoby przeniesienie, napisz na office@c9group.dev. Więcej o naszej pracy przy infrastrukturze na stronie optymalizacji kosztów AWS.