EuroHPC: 유럽에서 슈퍼컴퓨터를 쓰는 법과 그 비용

제대로 된 연산 자원이 필요한 회사 대부분은 EuroHPC를 고려조차 하지 않습니다. 슈퍼컴퓨팅이 물리학자들의 물건처럼 들리기 때문입니다. 10년 전에는 대체로 맞는 인상이었습니다. 지금은 아니고, 이용 경로도 거의 알려지지 않았을 뿐 꽤 넓게 열려 있습니다.

EuroHPC 공동사업은 유럽 슈퍼컴퓨터를 조달하고 운영하며, 그 주변의 소프트웨어와 인력 양성에 돈을 대고, 기업에 가장 중요하게는 그 기계를 쓸 권한을 배분합니다. 맞는 워크로드라면 상업 클라우드보다 훨씬 싸고, 어떤 워크로드에는 무료입니다.

EuroHPC란 실제로 무엇인가

EU와 참여국, 민간 회원이 함께 꾸린 공동사업입니다. 디지털 유럽 프로그램과 호라이즌 유럽, 유럽연결기금, 그리고 각국 기여금으로 재원을 마련합니다.

하는 일은 세 갈래로 나뉩니다.

인프라. 유럽 전역에서 슈퍼컴퓨터를 조달하고 운영합니다. 중급 시스템부터 엑사급 기계까지 있고, 여러 회원국의 거점에 놓입니다. InvestAI 가이드에서 설명한 AI 팩토리도 여기 속하는데, 이 거점들에 붙는 AI 최적화 용량입니다.

연구와 혁신. 소프트웨어 스택과 애플리케이션, 그리고 비중이 커지고 있는 유럽산 프로세서 기술에 돈을 댑니다.

인력과 이용. 역량센터와 교육, 그리고 실제로 기계를 쓰기 위해 거쳐야 하는 할당 공모입니다.

기업이 신경 써야 할 것은 마지막 갈래인데, 대개 존재하는지도 모릅니다.

이용 경로

이용 권한은 공모를 통해 배분되고, 성격이 아주 다른 공모가 여럿 있습니다. 맞는 공모를 고르는 것이 다른 무엇보다 중요합니다.

벤치마크·개발 이용

코드가 돌아가는지, 얼마나 확장되는지 시험해 보기 위한 소규모 할당입니다. 신청은 가볍고 회신은 빠르며 연산량은 적습니다.

이 시스템을 써 본 적 없다면 여기서 시작하는 것이 맞습니다. 신청서 한 장으로 꼭 알아야 할 두 가지를 알려 줍니다. 워크로드가 아예 돌아가는지, 그리고 쓸 만하게 확장되는지입니다.

일반 이용

규모 있는 할당을 받는 주요 경로입니다. 동료 심사를 거치고, 정기 주기로 공모가 열리며, 과학적 또는 기술적 근거가 분명한 프로젝트를 겨냥합니다. 할당량이 더 크고 기간도 더 깁니다.

심사는 형식이 아닙니다. 제안서에는 기술적 근거가 있어야 합니다. 무엇을 계산하는지, 왜 이 규모가 필요한지, 그리고 코드가 실제로 성능을 낸다는 증거입니다.

극한 규모 이용

가장 큰 기계의 상당 부분을 필요로 하는 프로젝트용입니다. 드물고 심사가 무겁습니다. 기업이 처음 문을 두드릴 곳은 아닙니다.

AI·산업 전용 이용

AI 워크로드와, 중소기업·스타트업을 포함한 산업 이용자를 겨냥해 비교적 최근에 생긴 트랙입니다. 전통적인 과학 할당보다 절차가 가볍고, 연구기관이 아닌 조직을 염두에 두고 설계되었습니다.

대학이 아니라 기업이라면 대개 이 경로가 맞습니다.

AI 팩토리를 통한 이용

AI 팩토리에는 자체 이용 규정이 있고, HPC 전문가가 아닌 이용자에게 지원이 더 두텁습니다. 워크로드가 전통적인 시뮬레이션이 아니라 모델 학습이나 미세조정이라면 여기서 시작하십시오.

비용

연구 목적과 상당수 산업 용도에서는 배분받은 연산을 무상으로 씁니다. 기계가 공적 자금으로 마련되었고, 가격이 아니라 할당 절차가 수요를 조절하는 장치이기 때문입니다.

수수료가 붙는 상업 이용 규정도 있습니다. 공개 의무 없이 곧바로 상업적으로 쓰는 작업이 대상입니다. 그런 경우에도 오래 도는 대형 작업이라면 상업 클라우드보다 가격이 유리한 편입니다. 쓰지도 않는 탄력 용량에 마진을 얹어 내지 않기 때문입니다.

진짜 비용은 연산이 아닙니다. 엔지니어링입니다.

솔직히 말해, 이것은 클라우드가 아닙니다

여기서 기대치를 맞춰야 합니다. 기업들이 EuroHPC를 써 보다가 포기하는 이유가 바로 이것이기 때문입니다.

root 권한이 있는 가상머신이 나오지 않습니다. 받는 것은 작업 스케줄러, 보통 Slurm이 붙은 공유 클러스터의 할당입니다. 작업은 큐에 넣습니다. 자원이 나면 돌아갑니다. 대화형 작업은 제한적입니다.

소프트웨어 환경은 컨테이너 우선이 아니라 모듈 기반입니다. 컨테이너 지원이 늘고는 있지만, 의존성을 그 사이트에 설치된 라이브러리에 맞춰 빌드해야 할 수도 있습니다.

파일시스템은 공유이고 정책이 붙어 있습니다. 스크래치 공간은 주기적으로 지워집니다. 홈 디렉터리에는 용량 제한이 있습니다. 데이터를 넣고 빼는 데 계획이 필요하고, 데이터셋이 크면 계획이 아주 필요합니다.

네트워크는 서로 호출하는 마이크로서비스가 아니라 밀결합 병렬 작업에 맞춰져 있습니다. 워크로드가 병렬 계산이 아니라 분산 시스템이라면 환경이 잘못 골라진 것입니다.

대기 시간은 실제로 있습니다. 큰 작업은 기다립니다. 필요할 때 한 시간 안에 결과를 받아야 한다면 여기가 맞는 인프라가 아닙니다.

탄력성은 없습니다. 할당받은 만큼만 있습니다. 오늘 바쁘다고 늘릴 수 없습니다.

정리하면 이렇습니다. EuroHPC는 미리 계획할 수 있는 크고 정해진 병렬 또는 배치 워크로드에 훌륭합니다. 대화형이거나 탄력적이거나 온디맨드이거나 서비스 형태인 워크로드에는 맞지 않습니다.

실제로 잘 맞는 워크로드

대규모 모델 학습과 미세조정. 요즘 가장 뚜렷한 사례이고, AI 팩토리가 만들어진 이유이기도 합니다.

대규모 시뮬레이션. 전산유체역학과 분자동역학, 구조해석, 기후·기상, 전자기학입니다. 전통적인 사례이고 지금도 가장 큰 이용자입니다.

대규모 배치 추론이나 데이터셋 처리. 큰 말뭉치를 한 번 훑는 작업, 대량 임베딩 생성, 배치 스코어링이 여기 들어갑니다.

정해진 작업에 클라우드 GPU나 CPU 시간을 상당히 쓰고 있는 경우. 이것이 상업적인 판단 기준입니다. 배치 작업의 월 클라우드 연산 비용이 무시할 수 없고 작업 일정을 미리 잡을 수 있다면 비교해 보십시오.

데이터가 EU를 떠날 수 없는 경우. 분야별 규칙이 걸린 민감 데이터, 보건 데이터, 공공부문 데이터가 그렇습니다. EU 관할권 안에서 도는 연산은 검토의 전제를 바꾸고, GDPR 가이드에서 다룬 국외 이전 문제와도 이어집니다.

실무적인 진입 경로

벤치마크 할당으로 시작하십시오. 작고 빠르며, 본격적으로 투자하기 전에 이 길이 성립하는지 답을 줍니다.

국가 역량센터와 이야기하십시오. 참여국마다 하나씩 있습니다. HPC가 처음인 조직을 돕기 위해 존재하고, 무료이며, 워크로드가 맞는지 솔직히 말해 줍니다.

이식 작업 예산을 따로 잡으십시오. 관리형 클라우드에서만 돌려 본 팀이라면 HPC 할당에서 워크로드를 효율적으로 돌리는 일은 그 자체로 엔지니어링 프로젝트입니다. 엄청난 규모는 아니지만 비용이 0이라고 볼 수도 없습니다. 첫 시도가 낼 수 있는 성능의 일부만 내는 일은 흔합니다.

기업이라면 AI 전용 트랙과 산업 트랙을 먼저 보십시오. 전통적인 과학 할당 절차는 기업을 염두에 두고 만들어지지 않았습니다.

데이터 이동 계획을 일찍 세우십시오. 테라바이트 단위를 넣고 빼는 일은 그 자체로 리드타임이 있는 물류 문제입니다.

전략적으로 어디에 놓이나

EuroHPC는 유럽 연산 전략의 바닥 층입니다. InvestAI 가이드에서 설명한 AI 팩토리가 여기에 붙습니다. 기가팩토리는 이를 확장합니다. 반도체법이 떠받치는 프로세서 작업은 결국 그 아래의 하드웨어 의존을 줄이는 것을 겨냥합니다. 그리고 클라우드 및 AI 개발법이 이 전체를 감싸는 규제 틀입니다.

기업 입장에서는 전략적 의미보다 실질적 의미가 큽니다. 학습 작업을 어디서 돌릴지 정할 때 유럽의 기술주권까지 생각할 일은 별로 없습니다. 다만 연산 비용이 몇 분의 일로 떨어진다는 점에는 충분히 마음이 갈 것입니다.

이 사업이 놓인 자리

전체 자금과 이용 지형은 EU 기술 자금 가이드에 지도로 그려 두었습니다. EuroHPC의 상당 부분에 재원을 대는 프로그램은 디지털 유럽 프로그램 가이드에서 다룹니다.

도움이 필요할 때

저희는 유럽에서 사업하는 회사를 위해 데이터 플랫폼과 AI 파이프라인, 연산 집약 시스템을 만듭니다. 노트북이나 클라우드 GPU에서 돌던 워크로드를 한 분기를 통째로 날리지 않고 HPC 할당으로 옮기는 작업도 함께 합니다.

연산에 발목이 잡힌 워크로드가 있고 EuroHPC 이용이 도움이 될지, 이식에 무엇이 필요할지 현실적인 판단이 필요하시면 office@c9group.dev로 연락 주십시오. 인프라 작업은 AWS 비용 최적화 페이지에 더 정리해 두었습니다.