Dissertation/ Thesis
Evaluation and methods to increase efficiency of HPC systems with different maturity levels
| Τίτλος: | Evaluation and methods to increase efficiency of HPC systems with different maturity levels |
|---|---|
| Συγγραφείς: | Banchelli Gracia, Fabio |
| Συνεισφορές: | University/Department: Universitat Politècnica de Catalunya. Departament d'Arquitectura de Computadors |
| Thesis Advisors: | Mantovani, Filippo, Garcia Gasulla, Marta, Labarta Mancho, Jesús José |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Politècnica de Catalunya, 2025. |
| Έτος έκδοσης: | 2025 |
| Φυσική περιγραφή: | 221 p. |
| Θεματικοί όροι: | High-Performance Computing, Benchmarking, Performance Analysis, Performance Models, Efficiency Models, Technology Readiness Levels, Roofline, Top-Down, Software Development Vehicles, x86, Arm, Nvidia, RISC-V, Àrees temàtiques de la UPC::Informàtica, 004 - Informàtica |
| Περιγραφή: | (English) High-Performance Computing (HPC) has entered an era of increasing architectural diversity and complexity, with systems ranging from experimental prototypes to large-scale production machines. This evolution presents a fundamental challenge: how to consistently evaluate performance, scalability, and efficiency across platforms with varying levels of technological maturity. Traditional benchmarking methods, while effective for fully deployed systems, often fall short when applied to early-stage prototypes where software stacks are incomplete or hardware is still under development. This thesis proposes and develops a comprehensive evaluation methodology capable of addressing these challenges. The approach gives a multi-layered perspective on performance, and it is structured around three complementary levels: micro-benchmarks, standard HPC benchmarks, and full scientific applications. Technology Readiness Levels (TRLs) are introduced as a guiding concept, allowing the methodology to be adapted according to the maturity of the system under study. At high TRL, the methodology enables comparative assessments of production supercomputers, while at low TRL, it helps identify bottlenecks and optimization opportunities early in the design cycle. The thesis contributes both conceptual and practical tools. It formalizes performance and efficiency models (including Roofline, Top-Down, and efficiency metrics) and demonstrates their use across multiple architectures. It further extends tracing and monitoring capabilities for emerging processors, introduces methods to access and interpret hardware counters on novel architectures such as \riscv, and evaluates the integration of experimental hardware through Software Development Vehicles (SDVs) and FPGA-based emulation. These tools are validated through case studies on production systems, such as the MareNostrum 5 supercomputer and other HPC clusters deployed at the Barcelona Supercomputing Center (BSC), as well as on prototypes from European projects, such as EPAC. Results show that the proposed methodology provides actionable insights at all maturity levels: from guiding hardware-software co-design in early-stage processors to enabling reproducible performance comparisons across pre-exascale systems. Beyond benchmarking, it provides valuable feedback for hardware architects, system software developers, and application scientists alike. By bridging the gap between low-TRL prototypes and production-ready HPC systems, this work contributes to building a consistent framework for evaluating and improving the efficiency of future European and global supercomputers. |
| Description (Translated): | (Català) La Computació d'Alta Rendiment (HPC) ha entrat en una era de creixent diversitat i complexitat arquitectònica, amb sistemes que van des de prototips experimentals fins a màquines de producció a gran escala. Aquesta evolució presenta un repte fonamental: com avaluar de manera consistent el rendiment, l'escalabilitat i l'eficiència a través de plataformes amb diferents nivells de maduresa tecnològica. Els mètodes d'avaluació tradicionals, tot i ser efectius per a sistemes completament desplegats, sovint no són suficients quan s'apliquen a prototips en etapes primerenques on les piles de programari estan incompletes o el maquinari encara està en desenvolupament. Aquesta tesi proposa i desenvolupa una metodologia d'avaluació integral capaç d'abordar aquests reptes. L'enfocament ofereix una perspectiva en múltiples capes sobre el rendiment i està estructurat al voltant de tres nivells complementaris: micro-benchmarks, benchmarks estàndard de HPC i aplicacions científiques completes. S'introdueixen els Nivells de Preparació Tecnològica (TRL) com a concepte orientador, permetent que la metodologia s'adapti segons la maduresa del sistema en estudi. En nivells alts de TRL, la metodologia permet avaluacions comparatives de supercomputadores de producció, mentre que en nivells baixos de TRL, ajuda a identificar coll d'ampolla i oportunitats d'optimització en les primeres etapes del cicle de disseny. La tesi contribueix tant amb eines conceptuals com pràctiques. Formalitza models de rendiment i eficiència (incloent Roofline, Top-Down i mètriques d'eficiència) i demostra el seu ús a través de múltiples arquitectures. A més, amplia les capacitats de traçabilitat i monitoratge per a processadors emergents, introdueix mètodes per accedir i interpretar comptadors de maquinari en arquitectures noves com \riscv, i avalua la integració de maquinari experimental a través de Vehicles de Desenvolupament de Programari (SDVs) i emulació basada en FPGA. Aquestes eines es validen a través d'estudis de cas en sistemes de producció, com la supercomputadora MareNostrum 5 i altres clústers de HPC desplegats al Centre de Supercomputació de Barcelona (BSC), així com en prototips de projectes europeus, com EPAC. Els resultats mostren que la metodologia proposada proporciona informació útil en tots els nivells de maduresa: des de guiar el co-disseny de maquinari i programari en processadors en etapes primerenques fins a permetre comparacions de rendiment reproductibles en sistemes pre-exascale. Més enllà de l'avaluació, proporciona retroalimentació valuosa per a arquitectes de maquinari, desenvolupadors de programari de sistema i científics d'aplicacions per igual. En tancar la bretxa entre prototips de baix TRL i sistemes de HPC llestos per a producció, aquest treball contribueix a construir un marc consistent per a avaluar i millorar l'eficiència de les futures supercomputadores europees i globals. (Español) La Computación de Alto Rendimiento (HPC) ha entrado en una era de creciente diversidad y complejidad arquitectónica, con sistemas que van desde prototipos experimentales hasta máquinas de producción a gran escala. Esta evolución presenta un desafío fundamental: cómo evaluar de manera consistente el rendimiento, la escalabilidad y la eficiencia en plataformas con diferentes niveles de madurez tecnológica. Los métodos de evaluación tradicionales, aunque efectivos para sistemas completamente desplegados, a menudo no son suficientes cuando se aplican a prototipos en etapas tempranas donde las pilas de software están incompletas o el hardware aún está en desarrollo. Esta tesis propone y desarrolla una metodología de evaluación integral capaz de abordar estos desafíos. El enfoque ofrece una perspectiva en múltiples capas sobre el rendimiento y está estructurado en torno a tres niveles complementarios: micro-benchmarks, benchmarks estándar de HPC y aplicaciones científicas completas. Se introducen los Niveles de Preparación Tecnológica (TRL) como un concepto orientador, lo que permite adaptar la metodología según la madurez del sistema en estudio. En niveles altos de TRL, la metodología permite evaluaciones comparativas de supercomputadoras de producción, mientras que en niveles bajos de TRL, ayuda a identificar cuellos de botella y oportunidades de optimización en las primeras etapas del ciclo de diseño. La tesis contribuye tanto con herramientas conceptuales como prácticas. Formaliza modelos de rendimiento y eficiencia (incluyendo Roofline, Top-Down y métricas de eficiencia) y demuestra su uso en múltiples arquitecturas. Además, amplía las capacidades de trazado y monitoreo para procesadores emergentes, introduce métodos para acceder e interpretar contadores de hardware en arquitecturas novedosas como \riscv, y evalúa la integración de hardware experimental a través de Vehículos de Desarrollo de Software (SDVs) y emulación basada en FPGA. Estas herramientas se validan a través de estudios de caso en sistemas de producción, como la supercomputadora MareNostrum 5 y otros clústeres de HPC desplegados en el Centro de Supercomputación de Barcelona (BSC), así como en prototipos de proyectos europeos, como EPAC. Los resultados muestran que la metodología propuesta proporciona información útil en todos los niveles de madurez: desde guiar el co-diseño de hardware y software en procesadores en etapas tempranas hasta permitir comparaciones de rendimiento reproducibles en sistemas pre-exascale. Más allá de la evaluación, proporciona retroalimentación valiosa para arquitectos de hardware, desarrolladores de software de sistema y científicos de aplicaciones por igual. Al cerrar la brecha entre prototipos de bajo TRL y sistemas de HPC listos para producción, este trabajo contribuye a construir un marco consistente para evaluar y mejorar la eficiencia de las futuras supercomputadoras europeas y globales. DOCTORAT EN ARQUITECTURA DE COMPUTADORS (Pla 2012) |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | English |
| DOI: | 10.5821/dissertation-2117-449863 |
| Σύνδεσμος πρόσβασης: | http://hdl.handle.net/10803/696272 https://dx.doi.org/10.5821/dissertation-2117-449863 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by/4.0/ |
| Αριθμός Καταχώρησης: | edstdx.10803.696272 |
| Βάση Δεδομένων: | TDX |
καταχωρήστε σχόλιο πρώτοι!