EuroHPC: cómo conseguir acceso a supercomputación en Europa y cuánto cuesta
Casi ninguna de las empresas que sacarían provecho de un cómputo serio se plantea EuroHPC, porque la supercomputación suena a cosa de físicos. Hace diez años eso era en buena medida cierto. Ya no lo es, y las vías de acceso están mucho más abiertas de lo que casi nadie imagina.
La Empresa Común EuroHPC compra y opera los supercomputadores europeos, financia el software y la formación que hay alrededor y, lo que más le interesa a una empresa, reparte el acceso a esas máquinas. Para la carga de trabajo adecuada, ese acceso sale muchísimo más barato que la nube comercial, y para algunas cargas es gratis.
Qué es EuroHPC
Una empresa común entre la UE, los Estados participantes y unos socios privados, financiada con cargo al programa Europa Digital, a Horizonte Europa y al Mecanismo Conectar Europa, más las aportaciones nacionales.
Su trabajo se reparte en tres bloques:
Infraestructura. Comprar y operar supercomputadores por toda Europa, desde sistemas de gama media hasta máquinas de clase exaescala, alojados en centros de varios Estados miembros. También las fábricas de IA que describimos en nuestra guía de InvestAI, que son capacidad optimizada para IA adosada a esos mismos centros.
Investigación e innovación. Financiar la pila de software, las aplicaciones y, cada vez más, la tecnología europea de procesadores.
Formación y acceso. Centros de competencia, formación y las convocatorias de asignación por las que uno llega de verdad a usar las máquinas.
Esa última parte es la que debería interesar a las empresas y la que casi ninguna sabe que existe.
Las vías de acceso
El acceso se reparte por convocatoria y hay varias con características muy distintas. Acertar con la que le toca importa más que cualquier otra cosa.
Acceso para pruebas y desarrollo
Asignaciones pequeñas para comprobar si su código funciona y cómo escala. Solicitud ligera, respuesta rápida, poco cómputo.
Es el punto de partida correcto para quien no haya usado nunca estos sistemas. Le cuesta rellenar un formulario y le responde las dos cosas que necesita saber: si su carga arranca siquiera y si escala de forma útil.
Acceso ordinario
La vía principal para asignaciones de tamaño serio. Con revisión por pares, con convocatorias en un ciclo regular y dirigida a proyectos con una justificación científica o técnica clara. Asignaciones mayores y durante periodos más largos.
La revisión va en serio y la propuesta necesita una justificación técnica: qué está calculando, por qué le hace falta esta escala y pruebas de que su código rinde.
Acceso a escala extrema
Para proyectos que necesitan una fracción muy grande de las máquinas más potentes. Es poco frecuente, se revisa a fondo y no es por donde empieza casi ninguna empresa.
Acceso específico para IA e industria
Vías más recientes dirigidas expresamente a cargas de IA y a usuarios industriales, pymes y startups incluidas. Tienen procesos más ligeros que la asignación científica clásica y están pensadas para organizaciones que no son centros de investigación.
Si es una empresa y no una universidad, esta suele ser su vía.
Acceso a través de las fábricas de IA
Las fábricas de IA tienen sus propias reglas de acceso y, por lo general, más apoyo para quien no es especialista en HPC. Si su carga es entrenamiento o ajuste fino de modelos y no simulación clásica, empiece por aquí.
Cuánto cuesta
Para investigación y para muchos usos industriales, el cómputo asignado no se cobra, porque las máquinas están pagadas con fondos públicos y lo que raciona el recurso es el proceso de asignación y no el precio.
Existen además acuerdos de acceso comercial con tarifa, normalmente para trabajo puramente comercial y sin obligación de apertura. Incluso así, para trabajos grandes y sostenidos los precios salen bien parados frente a la nube comercial, porque uno no paga margen por una capacidad elástica que no está usando.
El coste de verdad no es el cómputo. Es la ingeniería.
La parte honesta: esto no es la nube
Aquí hay que ajustar expectativas, porque es justo el motivo por el que muchas empresas prueban EuroHPC y lo dejan.
No le dan una máquina virtual con root. Le dan una asignación en un clúster compartido con un planificador de trabajos, normalmente Slurm. Usted manda trabajos a una cola y se ejecutan cuando hay recursos libres. El trabajo interactivo es limitado.
El entorno de software va por módulos, y no está pensado primero para contenedores, aunque cada vez hay más soporte de contenedores. Puede que tenga que compilar sus dependencias contra las bibliotecas propias del centro.
El sistema de ficheros es compartido y tiene sus normas. El espacio temporal se purga. Los directorios de usuario tienen cuota. Mover datos hacia dentro y hacia fuera exige planificación, y con conjuntos grandes exige planificación de la buena.
La red está optimizada para trabajos paralelos fuertemente acoplados, no para microservicios que se llaman entre sí. Si su carga es un sistema distribuido y no un cálculo paralelo, este no es su entorno.
Las colas existen y se notan. Un trabajo grande puede quedarse esperando. Si necesita resultados en una hora y bajo demanda, esta no es su infraestructura.
La elasticidad no existe. Usted tiene una asignación. No puede crecer porque hoy le venga mucho trabajo.
En resumen: EuroHPC es excelente para cargas grandes, programadas, paralelas o por lotes, cuando se puede planificar con antelación. Es una mala elección para lo interactivo, lo elástico, lo que va bajo demanda y lo que tiene forma de servicio.
Qué cargas encajan de verdad
Entrenamiento y ajuste fino de modelos a escala. El caso moderno evidente, y aquello para lo que se han levantado las fábricas de IA.
Simulación a gran escala. Dinámica de fluidos computacional, dinámica molecular, análisis estructural, clima y meteorología, electromagnetismo. Los casos de toda la vida, y todavía los que más máquina consumen.
Inferencia por lotes o procesado de conjuntos de datos enormes. Procesar un corpus grande una vez, generar embeddings a escala, puntuar por lotes.
Cualquier cosa en la que hoy se le vaya dinero serio en horas de GPU o de CPU en la nube para trabajos programados. Esta es la prueba comercial. Si su factura mensual de nube para trabajo por lotes es apreciable y los trabajos se pueden planificar, haga la comparación.
Cualquier cosa cuyos datos no puedan salir de la UE. Datos sensibles sujetos a normas sectoriales, datos sanitarios, datos del sector público. Que el cómputo esté dentro de la UE y bajo jurisdicción europea cambia el análisis, y enlaza con las cuestiones de transferencia que tratamos en nuestra guía del RGPD.
Por dónde entrar en la práctica
Empiece por una asignación de prueba. Pequeña, rápida, y le dice si esto es viable antes de que invierta nada.
Hable con el centro nacional de competencia. Cada país participante tiene el suyo. Existen precisamente para ayudar a organizaciones que no han pisado nunca el HPC, son gratuitos y le dirán con franqueza si su carga encaja o no.
Presupueste el trabajo de adaptación de forma explícita. Si su equipo solo ha trabajado con nube gestionada, dejar una carga funcionando con eficiencia sobre una asignación de HPC es un proyecto de ingeniería en toda regla. No enorme, pero tampoco cero. Lo normal es que el primer intento rinda una fracción de lo que la máquina puede dar.
Si es una empresa, mire primero las vías específicas de IA e industria. El proceso de asignación científica clásico no está pensado para usted.
Planifique pronto el movimiento de datos. Meter y sacar terabytes es un problema logístico con su propio plazo.
Dónde se sitúa esto estratégicamente
EuroHPC es la capa de base de la estrategia europea de cómputo. Las fábricas de IA que describimos en nuestra guía de InvestAI se enganchan a ella. Las gigafábricas la amplían. El trabajo en procesadores del Chips Act apunta a reducir, a muy largo plazo, la dependencia de hardware que hay debajo. Y el Cloud and AI Development Act es el marco regulatorio que envuelve todo el conjunto.
Para una empresa, el peso estratégico importa menos que el práctico. Es poco probable que le quite el sueño la soberanía tecnológica europea a la hora de decidir dónde lanzar un entrenamiento. Lo que sí puede importarle es que el cómputo cueste una fracción de lo que paga ahora.
Dónde encaja
El panorama completo de financiación y de acceso lo tiene en nuestra guía de financiación tecnológica de la UE. El programa que financia buena parte de EuroHPC lo tratamos en la guía del programa Europa Digital.
Obtener ayuda
Desarrollamos plataformas de datos, pipelines de IA y sistemas intensivos en cómputo para empresas que operan en Europa, incluido el trabajo de llevar una carga desde un portátil o una GPU en la nube hasta una asignación programada de HPC sin dejarse un trimestre por el camino.
Si tiene una carga limitada por el cómputo y quiere una valoración realista de si el acceso a EuroHPC le compensa y qué costaría adaptarla, escriba a office@c9group.dev. Más sobre nuestro trabajo de infraestructura en la página de optimización de costes de AWS.