EuroHPC：欧州でスーパーコンピュータを使う方法と、その費用
本格的な計算能力から恩恵を受けられるはずの企業の大半は、EuroHPCを検討したことがありません。スーパーコンピューティングが物理学者のためのものに聞こえるからです。10年前はおおむねそのとおりでした。いまは違いますし、利用の経路はほとんど誰も気づいていないほど開かれています。
EuroHPC共同事業は欧州のスーパーコンピュータを調達し運用し、その周りのソフトウェアとスキルに資金を出し、そして企業にとって最も有用なことに、その利用枠を配分します。適した負荷なら、利用は商用クラウドより劇的に安く、負荷によっては無償です。
EuroHPCとは実際に何か
EU、参加国、民間メンバーによる共同事業で、デジタル・ヨーロッパ・プログラム、ホライズン・ヨーロッパ、欧州接続ファシリティ、そして各国拠出から資金を得ています。
仕事は三つに分かれます。
インフラ。 欧州各地でスーパーコンピュータを調達し運用すること。中規模のシステムからエクサ級の機械まで、さまざまな加盟国の拠点にホストされています。私たちの InvestAIガイド で説明しているAIファクトリーも含みます。これらの拠点に付随するAI最適化された容量です。
研究とイノベーション。 ソフトウェアスタック、アプリケーション、そしてますます欧州のプロセッサ技術に資金を出すこと。
スキルと利用。 コンピテンスセンター、訓練、そして実際に機械を使うために通る割当の公募です。
企業が気にすべきなのは最後の部分で、たいていはその存在すら知られていません。
利用の経路
利用は公募を通じて配分され、性格の大きく異なるものが複数あります。正しいものを選ぶことが何より重要です。
ベンチマークおよび開発利用
コードが動くか、どうスケールするかを試すための小さな割当です。軽い応募、速い回答、小さな計算量。
これらのシステムを使ったことがないなら、正しい出発点はここです。応募書類ひとつのコストで、知るべき二つのこと、すなわち負荷がそもそも動くか、そして有用にスケールするかを教えてくれます。
通常利用
相応の割当を得る主要な経路です。査読があり、定期的な周期で公募があり、明確な科学的または技術的な根拠を持つプロジェクトを対象とします。より大きな割当をより長い期間で得られます。
審査は本物で、提案には技術的な根拠が要ります。何を計算するのか、なぜこの規模が要るのか、そしてコードが性能を出す証拠です。
エクストリームスケール利用
最大級の機械の非常に大きな割合を必要とする案件向けです。まれで、審査は重く、たいていの企業が始める場所ではありません。
AIおよび産業向けの利用
AI負荷と、中小企業やスタートアップを含む産業利用者を明示的に対象とする新しめのトラックです。従来の科学的割当より手続が軽く、研究機関ではない組織向けに設計されています。
大学ではなく企業なら、たいていはこれが経路です。
AIファクトリー経由の利用
AIファクトリーには独自の利用の取り決めがあり、一般にHPCの専門家ではない利用者への支援が手厚いです。負荷が従来のシミュレーションではなくモデル学習や微調整なら、ここから始めてください。
費用
研究と多くの産業利用について、割り当てられた計算能力は無償で提供されます。機械は公的資金で賄われており、価格ではなく割当の手続が配給の仕組みだからです。
対価が発生する商業利用の取り決めもあり、通常は公開の要件がない直接商業的な仕事向けです。それでも、持続的な大規模ジョブなら価格は商用クラウドと比べて有利になりがちです。使っていない弾力的な容量に上乗せを払わずに済むからです。
本当のコストは計算能力ではありません。エンジニアリングです。
率直な部分：これはクラウドではない
ここで期待を調整しておく必要があります。企業がEuroHPCを試して諦める理由がこれだからです。
root権限つきの仮想マシンは得られません。 得られるのは、ジョブスケジューラ、たいていはSlurmを備えた共有クラスタ上の割当です。ジョブをキューに投入します。資源が空いたときに走ります。対話的な作業は限られます。
ソフトウェア環境はモジュール方式で、コンテナ優先ではありません。コンテナ対応は増えていますが、依存関係を拠点固有のライブラリに対してビルドする必要があるかもしれません。
ファイルシステムは共有でポリシーがあります。 スクラッチ領域は削除されます。ホーム領域には割当量があります。データの出し入れには計画が要り、大きなデータセットには本気の計画が要ります。
ネットワークは密結合の並列ジョブ向けに最適化されており、互いを呼び合うマイクロサービス向けではありません。負荷が並列計算ではなく分散システムなら、環境が違います。
キューの待ち時間は本物です。 大きなジョブは待つかもしれません。オンデマンドで1時間以内に結果が要るなら、ここは使うインフラではありません。
弾力性は存在しません。 あるのは割当です。今日は混んでいるからといってスケールアップはできません。
まとめるとこうです。EuroHPCは、事前に計画できる大規模で計画的な並列またはバッチの負荷に非常に適しています。対話的、弾力的、オンデマンド、あるいはサービス型の負荷には向きません。
実際に適合する負荷
大規模なモデル学習と微調整。 現代の分かりやすい事例であり、AIファクトリーが作られた目的です。
大規模シミュレーション。 数値流体力学、分子動力学、構造解析、気候と気象、電磁界解析。従来の事例で、いまも最大の利用者です。
大規模なバッチ推論やデータセット処理。 大きなコーパスの一括処理、大規模な埋め込み生成、バッチでのスコアリング。
計画的なジョブのためにクラウドのGPUやCPU時間へ相応の金額を使っている場合すべて。 これが商業的な検証です。バッチ処理の月次クラウド計算費が意味のある額で、ジョブが計画可能なら、比較してみてください。
データがEUを出られない場合すべて。 分野別ルールの下の機微なデータ、医療データ、公共部門のデータ。EU域内のEU管轄下の計算能力は分析を変え、私たちの GDPRガイド で扱っている越境移転の問いにつながります。
実務的な入り口
ベンチマーク割当から始める。 小さく速く、投資する前にこれが成り立つかを答えてくれます。
各国のコンピテンスセンターに相談する。 参加国にはそれぞれあります。HPCが初めての組織を助けるためにまさに存在しており、無料で、負荷が適合するかを率直に教えてくれます。
移植作業の予算を明示的に取る。 マネージドクラウドしか動かしたことがないチームなら、HPCの割当上で負荷を効率よく走らせるのは本物のエンジニアリング案件です。膨大ではありませんが、ゼロでもありません。最初の試行が到達可能な性能のごく一部しか出さないのは、よくあることです。
企業ならAI向けと産業向けのトラックを先に見る。 従来の科学的割当の手続は、企業を想定して設計されていません。
データ移動を早めに計画する。 テラバイト単位の出し入れは、独自のリードタイムを持つ物流の問題です。
戦略上の位置
EuroHPCは欧州の計算戦略の基盤層です。私たちの InvestAIガイド で説明しているAIファクトリーはこれに付随します。ギガファクトリーはこれを拡張します。半導体法 の下のプロセッサの仕事は、最終的にはこの下にあるハードウェア依存を減らすことを狙います。そして クラウドおよびAI開発法 が全体を包む規制の枠組みです。
企業にとっては、戦略上の意義より実務上の意義のほうが大きくなります。学習ジョブをどこで走らせるか選ぶとき、欧州の技術主権を気にすることはまずないでしょう。計算能力の値段がごく一部で済むことは気にするかもしれません。
この話の位置
資金と利用の全体像は私たちの EU技術資金ガイド に整理しています。EuroHPCの多くに資金を出しているプログラムは デジタル・ヨーロッパ・プログラム・ガイド で扱っています。
支援が必要なとき
私たちは欧州で事業を行う企業向けにデータ基盤、AIパイプライン、計算集約型のシステムを構築しています。ノートPCやクラウドGPU上の負荷を、四半期を失わずに計画的なHPC割当へ載せる作業も含みます。
計算能力に律速された負荷があり、EuroHPCの利用が役立つか、移植に何が必要かの現実的な評価が欲しいなら、office@c9group.dev までご連絡ください。インフラの取り組みについては AWSコスト最適化のページ をご覧ください。