EuroHPC: како да дојдете до суперкомпјутер во Европа и колку чини тоа

Повеќето компании на кои сериозна пресметковна моќ би им користела никогаш не го разгледуваат EuroHPC, бидејќи суперкомпјутерството звучи како нешто за физичари. Пред една деценија тоа во голем дел беше точно. Сега не е, а патиштата за пристап се поотворени отколку што речиси кој било сфаќа.

Заедничкото претпријатие EuroHPC набавува и управува европски суперкомпјутери, го финансира софтверот и вештините околу нив и, што е најкорисно за компаниите, доделува пристап до нив. За соодветно оптоварување тој пристап е драматично поевтин од комерцијалниот облак, а за некои оптоварувања е бесплатен.

Што е EuroHPC всушност

Заедничко претпријатие меѓу ЕУ, земјите учеснички и приватни членови, финансирано од програмата Дигитална Европа, Хоризонт Европа и Инструментот за поврзување на Европа, плус национални придонеси.

Неговата работа се дели на три дела:

Инфраструктура. Набавка и управување со суперкомпјутери низ цела Европа, од системи од средна класа до машини од егзаскаларна класа, сместени на локации во разни земји членки. Исто така и фабриките за вештачка интелигенција опишани во нашиот водич за InvestAI, што се капацитет оптимизиран за вештачка интелигенција прикачен на тие локации.

Истражување и иновации. Финансирање на софтверскиот склоп, апликациите и сè почесто европската процесорска технологија.

Вештини и пристап. Центри за компетенции, обуки и повици за доделба преку кои навистина стигнувате до користење на машините.

Тој последен дел е оној што треба да ги интересира компаниите, а тие претежно не знаат дека постои.

Патиштата за пристап

Пристапот се доделува преку повици, а има повеќе од нив со многу различни особини. Да го погодите вистинскиот значи повеќе од сè друго.

Пристап за мерење и развој

Мали доделби за проверка дали вашиот код работи и како се скалира. Лесна пријава, брз обрт, мала количина пресметковна моќ.

Тоа е вистинската појдовна точка за секој што никогаш не ги користел овие системи. Ве чини пријавен формулар, а ви кажува две работи што треба да ги знаете: дали вашето оптоварување воопшто работи и дали корисно се скалира.

Редовен пристап

Главниот пат до значајни доделби. Со стручна рецензија, со повици во редовен циклус, насочен кон проекти со јасно научно или техничко образложение. Поголеми доделби за подолги периоди.

Оценката е вистинска, а на предлогот му треба техничко образложение: што пресметувате, зошто бара ваков размер и доказ дека вашиот код работи ефикасно.

Пристап од екстремен размер

За проекти на кои им требаат многу големи делови од најголемите машини. Редок, темелно оценуван и не е местото каде што повеќето компании почнуваат.

Пристап за вештачка интелигенција и индустрија

Понови патеки насочени изречно кон оптоварувања со вештачка интелигенција и кон индустриски корисници, вклучувајќи мали и средни претпријатија и старт-апи. Имаат полесни постапки од традиционалната научна доделба и се осмислени за организации што не се истражувачки установи.

Ако сте компанија, а не универзитет, тоа обично е вашиот пат.

Пристап преку фабриките за вештачка интелигенција

Фабриките за вештачка интелигенција имаат сопствени аранжмани за пристап, обично со повеќе поддршка за корисници што не се HPC специјалисти. Ако вашето оптоварување е обука или фино дотерување модели, а не традиционална симулација, почнете тука.

Колку чини

За истражување и за многу индустриски примени доделената пресметковна моќ се дава без надоместок, бидејќи машините се јавно финансирани, а механизмот за рационирање е постапката за доделба, а не цената.

Постојат и комерцијални аранжмани за пристап со надоместок, обично за работа што е непосредно комерцијална без барање за отвореност. И тогаш цената обично поволно се споредува со комерцијалниот облак кај трајни големи задачи, бидејќи не плаќате маржа за еластичен капацитет што не го користите.

Вистинскиот трошок не е пресметковната моќ. Тоа е инженерството.

Искрениот дел: ова не е облак

Тука треба да се постават очекувањата, бидејќи тоа е причината поради која компаниите го пробуваат EuroHPC и се откажуваат.

Не добивате виртуелна машина со root. Добивате доделба на споделен кластер со распоредувач на задачи, обично Slurm. Задачите ги поднесувате во редица. Се извршуваат кога има достапни ресурси. Интерактивната работа е ограничена.

Софтверската средина е заснована на модули, а не пред сè на контејнери, иако поддршката за контејнери е сè подостапна. Вашите зависности можеби ќе треба да се градат наспроти библиотеки специфични за локацијата.

Датотечниот систем е споделен и има правила. Привремениот работен простор редовно се брише. Домашните директориуми имаат квоти. Пренесувањето податоци внатре и надвор бара планирање, а за големи множества бара сериозно планирање.

Мрежата е оптимизирана за тесно спрегнати паралелни задачи, а не за микросервиси што се повикуваат меѓусебно. Ако вашето оптоварување е дистрибуиран систем, а не паралелна пресметка, тоа е погрешната средина.

Времињата на чекање во редицата се вистински. Голема задача може да чека. Ако ви требаат резултати за еден час на барање, тоа не е вашата инфраструктура.

Еластичност не постои. Имате доделба. Не можете да скалирате нагоре бидејќи денес има гужва.

На што се сведува тоа: EuroHPC е одличен за големи, планирани, паралелни или пакетни оптоварувања каде што можете да планирате однапред. Слаб е за интерактивни, еластични оптоварувања на барање или такви обликувани како услуга.

Кои оптоварувања навистина се вклопуваат

Обука и фино дотерување модели во размер. Очигледниот современ случај и она поради што се изградени фабриките за вештачка интелигенција.

Симулации од голем размер. Пресметковна динамика на флуиди, молекуларна динамика, структурна анализа, клима и време, електромагнетика. Традиционалните случаи и сè уште најголемите корисници.

Голема пакетна инференција или обработка на множества податоци. Еднократна обработка на голем корпус, генерирање вградувања во размер, пакетно бодување.

Сè за што сега трошите сериозни пари за GPU или CPU време во облак кај планирани задачи. Тоа е комерцијалниот тест. Ако вашата месечна сметка за пресметковна моќ во облак за пакетна работа е значајна, а задачите можат да се планираат, направете ја споредбата.

Сè каде што податоците не смеат да ја напуштат ЕУ. Чувствителни податоци по секторски правила, здравствени податоци, податоци од јавниот сектор. Пресметковна моќ во ЕУ под јурисдикција на ЕУ ја менува анализата и се поврзува со прашањата за пренос покриени во нашиот водич за ГДПР.

Практичен пат за влез

Почнете со доделба за мерење. Мала, брза и одговара дали ова е изводливо пред да вложите.

Разговарајте со националниот центар за компетенции. Секоја земја учесничка има еден. Постојат токму за да им помогнат на организациите што се нови во HPC, бесплатни се и искрено ќе ви кажат дали вашето оптоварување се вклопува.

Ставете ја работата на пренесување во буџетот изречно. Ако вашиот тим работел само на управуван облак, доведувањето на оптоварување до ефикасна работа на HPC доделба е вистински инженерски проект. Не е огромен, но не е ни нула. Честа е ситуацијата кога првиот обид работи со дел од достижните перформанси.

Ако сте компанија, прво проверете ги патеките за вештачка интелигенција и индустрија. Традиционалната научна постапка за доделба не е осмислена околу вас.

Планирајте го движењето на податоците рано. Пренесувањето терабајти внатре и надвор е логистички проблем со сопствено време на подготовка.

Каде стои ова стратешки

EuroHPC е темелниот слој на европската пресметковна стратегија. Фабриките за вештачка интелигенција опишани во нашиот водич за InvestAI се прикачуваат на него. Гигафабриките го прошируваат. Работата на процесори во рамките на актот за чипови со време цели кон намалување на хардверската зависност под него. А актот за развој на облак и вештачка интелигенција е регулаторната рамка околу целината.

За компанија стратешкото значење е помало од практичното. Малку е веројатно дека европскиот технолошки суверенитет ќе ве интересира при изборот каде да пуштите обучувачка задача. Сосема е можно да ве интересира тоа што пресметковната моќ чини дел од цената.

Каде се вклопува ова

Целиот пејзаж на финансирање и пристап е мапиран во нашиот водич за финансирање технологија во ЕУ. Програмата што финансира голем дел од EuroHPC е покриена во нашиот водич за програмата Дигитална Европа.

Како до помош

Градиме платформи за податоци, текови за вештачка интелигенција и пресметковно интензивни системи за компании што работат во Европа, вклучувајќи ја работата на пренесување оптоварување од лаптоп или GPU во облак на планирана HPC доделба без да изгубите квартал на тоа.

Ако имате оптоварување ограничено од пресметковна моќ и сакате реална оценка дали пристапот до EuroHPC би помогнал и колку би барало пренесувањето, пишете на office@c9group.dev. Повеќе за нашата инфраструктурна работа на страницата за оптимизација на трошоците за AWS.