Dissertation/ Thesis
Applying Machine Learning for Developing an Efficient Parallel Applications Autotuning Methodology Based on Performance Counters
| Τίτλος: | Applying Machine Learning for Developing an Efficient Parallel Applications Autotuning Methodology Based on Performance Counters |
|---|---|
| Συγγραφείς: | Harutyunyan Gevorgyan, Suren |
| Thesis Advisors: | César Galobardes, Eduardo, Sikora , Anna Barbara |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Autònoma de Barcelona, 2026. |
| Έτος έκδοσης: | 2026 |
| Φυσική περιγραφή: | 177 p. |
| Θεματικοί όροι: | Comptadors de rendiment, Hardware performance counters, Contadores de rendimiento, Reducció de dimensionalitat, Automatic dimension reduction, Reducción de dimensionalidad, Conjunts d'aprenentatge, Machine learning ensembles, Conjuntos de aprendizaje, Tecnologies |
| Περιγραφή: | Els sistemes moderns de computació d'alt rendiment han crescut en complexitat, amb processadors que compten amb fins a 96 nuclis i arquitectures heterogènies que incorporen GPUs i acceleradors especialitzats. Aquests sistemes exposen centenars de Comptadors de Rendiment Hardware (HwPCs) que proporcionen informació detallada sobre el comportament en temps d'execució, tanmateix, la seva utilització efectiva per a l'optimització del rendiment presenta desafiaments significatius. Les limitacions hardware impedeixen el monitoratge simultani de tots els comptadors, el volum massiu de dades crea problemes d'escalabilitat, i els entorns d'execució exigeixen anàlisis ràpides per a l'ajust dinàmic. L'ajust de rendiment tradicional basat en experts s'ha tornat impracticable donats els vastos espais de paràmetres i les intrincades interaccions hardware-software. Tot i que l'Aprenentatge Automàtic (ML) ofereix promeses per automatitzar aquest procés, els enfocaments existents pateixen de portabilitat limitada, precisió de predicció inconsistent entre patrons computacionals, i manca d'automatització d'extrem a extrem que integri la identificació de regions de codi amb l'optimització de Paràmetres d'Ajust (TP). En aquesta tesi abordem aquests problemes per a aplicacions paral·leles mitjançant el desenvolupament d'un enfocament automatitzat integrat que opera eficaçment en diverses arquitectures incloent tant CPUs com GPUs. L'enfocament consisteix en dues fases que treballen conjuntament per proporcionar optimització automàtica d'extrem a extrem. Primer, una fase offline de reducció de HwPCs utilitza tècniques d'apre\-nentatge automàtic per determinar el subconjunt mínim però informatiu de HwPCs necessaris tant per a la identificació de regions de codi com per a l'optimització de TP. Aquesta fase es realitza una vegada per a una arquitectura específica i analitza un conjunt de dades d'entrenament que conté etiquetes de regions de codi, mesuraments de HwPCs i valors de TP per identificar quins HwPCs són més rellevants. Mitjançant aquesta anàlisi, el nombre de HwPCs requerits per a una optimització efectiva es redueix substancialment, disminuint la sobrecàrrega de monitoratge i permetent una recol·lecció de dades més eficient mentre es manté alta precisió en la caracterització del rendiment. La segona fase és la fase d'execució online de l'aplicació que aplica els conjunts reduïts de HwPCs i els models entrenats identificats en la fase offline a aplicacions reals en temps d'execució. Durant l'execució, aquesta fase identifica les regions de codi en execució i determina automàticament els valors òptims de TP per a cada regió usant només el conjunt mínim de HwPCs seleccionats durant la fase offline. Aquest enfocament redueix significativament la sobrecàrrega del monitoratge de rendiment mentre manté alta precisió tant en la classificació de regions de codi com en l'optimització del rendiment, eliminant així l'esforç manual en l'anàlisi de rendiment i permetent una adaptació eficient en temps d'execució. Una característica crítica d'aquest enfocament integrat és la seva portabilitat arquitectònica, determinant automàticament els HwPCs més rellevants per a cada arquitectura objectiu durant la fase offline i assegurant una precisió de predicció consistent entre plataformes sense requerir modificacions manuals específiques de l'arquitectura. Aquest disseny agnòstic d'arquitectura s'adapta a diferents característiques arquitectòniques mentre assegura una optimització robusta de paràmetres d'ajust, permetent que el mateix enfocament s'apliqui a noves arquitectures sense intervenció manual. La validació exhaustiva realitzada en múltiples plataformes hardware i càrregues de treball computacionals diverses demostra que la metodologia aborda eficaçment els desafiaments fonamentals dels entorns moderns de computació paral·lela. Els resultats experimentals mostren alta precisió en la predicció de configuracions òptimes de TP en diverses regions de codi i arquitectures, amb puntuacions de precisió K-fold que freqüentment superen 0.90 i puntuacions ROC AUC consistentment per sobre de 0.99, requerint únicament entre 3 i 7 HwPCs per regió de codi de CPU, i les comparacions amb OpenTuner demostren millores en el temps d'execució de fins a 30x. |
| Description (Translated): | Los sistemas modernos de computación de alto rendimiento han crecido en complejidad, con procesadores que cuentan con hasta 96 núcleos y arquitecturas heterogéneas que incorporan GPUs y aceleradores especializados. Estos sistemas exponen cientos de Contadores de Rendimiento Hardware (HwPCs) que proporcionan información detallada sobre el comportamiento en tiempo de ejecución; sin embargo, su utilización efectiva para la optimización del rendimiento presenta desafíos significativos. Las limitaciones hardware impiden el monitoreo simultáneo de todos los contadores, el volumen masivo de datos crea problemas de escalabilidad, y los entornos de ejecución exigen análisis rápidos para el ajuste dinámico. El ajuste de rendimiento tradicional basado en expertos se ha vuelto impracticable dados los vastos espacios de parámetros y las intrincadas interacciones hardware-software. Aunque el Aprendizaje Automático (ML) ofrece promesas para automatizar este proceso, los enfoques existentes sufren de portabilidad limitada, precisión de predicción inconsistente entre patrones computacionales y falta de automatización de extremo a extremo que integre la identificación de regiones de código con la optimización de Parámetros de Ajuste (TP). En esta tesis abordamos estos problemas para aplicaciones paralelas mediante el desarrollo de un enfoque automatizado integrado que opera eficazmente en diversas arquitecturas incluyendo tanto CPUs como GPUs. El enfoque consiste en dos fases que trabajan conjuntamente para proporcionar optimización automática de extremo a extremo. Primero, una fase offline de reducción de HwPCs utiliza técnicas de aprendizaje automático para determinar el subconjunto mínimo pero informativo de HwPCs necesarios tanto para la identificación de regiones de código como para la optimización de TP. Esta fase se realiza una vez para una arquitectura específica y analiza un conjunto de datos de entrenamiento que contiene etiquetas de regiones de código, mediciones de HwPCs y valores de TP para identificar qué HwPCs son más relevantes. Mediante este análisis, el número de HwPCs requeridos para una optimización efectiva se reduce sustancialmente, disminuyendo la sobrecarga de monitoreo y permitiendo una recolección de datos más eficiente mientras se mantiene alta precisión en la caracterización del rendimiento. La segunda fase es la fase de ejecución online de la aplicación que aplica los conjuntos reducidos de HwPCs y los modelos entrenados identificados en la fase offline a aplicaciones reales en tiempo de ejecución. Durante la ejecución, esta fase identifica las regiones de código en ejecución y determina automáticamente los valores óptimos de TP para cada región usando solo el conjunto mínimo de HwPCs seleccionados durante la fase offline. Este enfoque reduce significativamente la sobrecarga del monitoreo de rendimiento mientras mantiene alta precisión tanto en la clasificación de regiones de código como en la optimización del rendimiento, eliminando así el esfuerzo manual en el análisis de rendimiento y permitiendo una adaptación eficiente en tiempo de ejecución. Una característica crítica de este enfoque integrado es su portabilidad arquitectónica, determinando automáticamente los HwPCs más relevantes para cada arquitectura objetivo durante la fase offline y asegurando una precisión de predicción consistente entre plataformas sin requerir modificaciones manuales específicas de la arquitectura. Este diseño agnóstico de arquitectura se adapta a diferentes características arquitectónicas mientras asegura una optimización robusta de parámetros de ajuste, permitiendo que el mismo enfoque se aplique a nuevas arquitecturas sin intervención manual. La validación exhaustiva realizada en múltiples plataformas hardware y cargas de trabajo computacionales diversas demuestra que la metodología aborda eficazmente los desafíos fundamentales de los entornos modernos de computación paralela. Los resultados experimentales muestran alta precisión en la predicción de configuraciones óptimas de TP en diversas regiones de código y arquitecturas, con puntuaciones de precisión K-fold que frecuentemente superan 0.90 y puntuaciones ROC AUC consistentemente por encima de 0.99, requiriendo únicamente entre 3 y 7 HwPCs por región de código de CPU. Modern High Performance Computing (HPC) systems have grown increasingly complex, with processors featuring up to 96 cores and heterogeneous architectures incorporating GPUs and specialized accelerators. These systems expose hundreds of Hardware Performance Counters (HwPCs) that provide detailed insights into runtime behavior; yet their effective utilization for performance optimization presents significant challenges. Hardware limitations prevent simultaneous monitoring of all counters, the massive data volume creates scalability issues, and runtime environments demand rapid analysis for dynamic tuning. Traditional expert-driven performance tuning has become impractical given the vast parameter spaces and intricate hardware-software interactions. While Machine Learning (ML) offers promise for automating this process, existing approaches suffer from limited portability, inconsistent prediction accuracy across computational patterns, and lack of end-to-end automation integrating code-region identification with Tuning Parameter (TP) optimization. In this thesis we tackle these problems for parallel applications through the development of an integrated automated approach that operates effectively across diverse architectures including both CPUs and GPUs. The approach consists of two phases that work together to provide end-to-end automatic optimization. First, an offline HwPC reduction phase uses ML techniques to determine the minimal yet informative subset of HwPCs necessary for both code-region identification and TP optimization. This phase is performed once for a specific architecture and analyzes a training dataset containing code-region labels, HwPC measurements, and TP values to identify which HwPCs are most relevant. Through this analysis, the number of HwPCs required for effective optimization is substantially reduced, decreasing monitoring overhead and enabling more efficient data collection while maintaining high accuracy in performance characterization. The second phase is the online application execution phase that applies the reduced HwPC sets and trained models identified in the offline phase to real applications at runtime. During execution, this phase identifies executing code-regions and automatically determines optimal TP values for each region using only the minimal set of HwPCs selected during the offline phase. This approach significantly reduces the overhead of performance monitoring while maintaining high accuracy in both code-region classification and performance optimization, thereby removing manual effort in performance analysis and enabling efficient runtime adaptation. A critical characteristic of this integrated approach is its architectural portability, automatically determining the most relevant HwPCs for each target architecture during the offline phase and ensuring consistent prediction accuracy across platforms without requiring manual architecture-specific modifications. This architecture-agnostic design adapts to different architectural characteristics while ensuring robust tuning parameter optimization, enabling the same approach to be applied to new architectures without manual intervention. Comprehensive validation conducted across multiple hardware platforms and diverse computational workloads demonstrates that the me\-thodology effectively addresses the fundamental challenges of modern parallel computing environments. Experimental results show high accuracy in predicting optimal TP configurations across diverse code-regions and architectures, with K-fold accuracy scores frequently exceeding 0.90 and ROC AUC scores consistently above 0.99, while requiring only 3--7 HwPCs per CPU code-region, and benchmarks against OpenTuner demonstrate execution time improvements of up to 30x. Validation across six GPU generations (Kepler through Ada Lovelace) further confirms broad architectural portability, achieving above 0.80 accuracy while requiring only 2--11 HwPCs per GPU kernel. The integration of ML-based HwPC analysis with efficient optimization strategies provides a methodology for automated performance tuning that eliminates manual analysis effort while maintaining or improving optimization effectiveness compared to traditional approaches, representing an advancement in automated performance optimization for parallel applications in heterogeneous HPC environments. Universitat Autònoma de Barcelona. Programa de Doctorat en Informàtica |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | English |
| Σύνδεσμος πρόσβασης: | https://hdl.handle.net/10803/698147 |
| Rights: | ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs. |
| Αριθμός Καταχώρησης: | edstdx.10803.698147 |
| Βάση Δεδομένων: | TDX |
| FullText | Text: Availability: 0 CustomLinks: – Url: https://hdl.handle.net/10803/698147# Name: EDS - TDX (ns324271) Category: fullText Text: View record in TDX |
|---|---|
| Header | DbId: edstdx DbLabel: TDX An: edstdx.10803.698147 RelevancyScore: 1447 AccessLevel: 3 PubType: Dissertation/ Thesis PubTypeId: dissertation PreciseRelevancyScore: 1446.97595214844 |
| IllustrationInfo | |
| Items | – Name: Title Label: Title Group: Ti Data: Applying Machine Learning for Developing an Efficient Parallel Applications Autotuning Methodology Based on Performance Counters – Name: Author Label: Authors Group: Au Data: <searchLink fieldCode="AR" term="%22Harutyunyan+Gevorgyan%2C+Suren%22">Harutyunyan Gevorgyan, Suren</searchLink> – Name: Author Label: Thesis Advisors Group: Au Data: César Galobardes, Eduardo<br />Sikora , Anna Barbara – Name: TitleSource Label: Source Group: Src Data: TDX (Tesis Doctorals en Xarxa) – Name: Publisher Label: Publisher Information Group: PubInfo Data: Universitat Autònoma de Barcelona, 2026. – Name: DatePubCY Label: Publication Year Group: Date Data: 2026 – Name: PhysDesc Label: Physical Description Group: PhysDesc Data: 177 p. – Name: Subject Label: Subject Terms Group: Su Data: <searchLink fieldCode="DE" term="%22Comptadors+de+rendiment%22">Comptadors de rendiment</searchLink><br /><searchLink fieldCode="DE" term="%22Hardware+performance+counters%22">Hardware performance counters</searchLink><br /><searchLink fieldCode="DE" term="%22Contadores+de+rendimiento%22">Contadores de rendimiento</searchLink><br /><searchLink fieldCode="DE" term="%22Reducció+de+dimensionalitat%22">Reducció de dimensionalitat</searchLink><br /><searchLink fieldCode="DE" term="%22Automatic+dimension+reduction%22">Automatic dimension reduction</searchLink><br /><searchLink fieldCode="DE" term="%22Reducción+de+dimensionalidad%22">Reducción de dimensionalidad</searchLink><br /><searchLink fieldCode="DE" term="%22Conjunts+d'aprenentatge%22">Conjunts d'aprenentatge</searchLink><br /><searchLink fieldCode="DE" term="%22Machine+learning+ensembles%22">Machine learning ensembles</searchLink><br /><searchLink fieldCode="DE" term="%22Conjuntos+de+aprendizaje%22">Conjuntos de aprendizaje</searchLink><br /><searchLink fieldCode="DE" term="%22Tecnologies%22">Tecnologies</searchLink> – Name: Abstract Label: Description Group: Ab Data: Els sistemes moderns de computació d'alt rendiment han crescut en complexitat, amb processadors que compten amb fins a 96 nuclis i arquitectures heterogènies que incorporen GPUs i acceleradors especialitzats. Aquests sistemes exposen centenars de Comptadors de Rendiment Hardware (HwPCs) que proporcionen informació detallada sobre el comportament en temps d'execució, tanmateix, la seva utilització efectiva per a l'optimització del rendiment presenta desafiaments significatius. Les limitacions hardware impedeixen el monitoratge simultani de tots els comptadors, el volum massiu de dades crea problemes d'escalabilitat, i els entorns d'execució exigeixen anàlisis ràpides per a l'ajust dinàmic. L'ajust de rendiment tradicional basat en experts s'ha tornat impracticable donats els vastos espais de paràmetres i les intrincades interaccions hardware-software. Tot i que l'Aprenentatge Automàtic (ML) ofereix promeses per automatitzar aquest procés, els enfocaments existents pateixen de portabilitat limitada, precisió de predicció inconsistent entre patrons computacionals, i manca d'automatització d'extrem a extrem que integri la identificació de regions de codi amb l'optimització de Paràmetres d'Ajust (TP). En aquesta tesi abordem aquests problemes per a aplicacions paral·leles mitjançant el desenvolupament d'un enfocament automatitzat integrat que opera eficaçment en diverses arquitectures incloent tant CPUs com GPUs. L'enfocament consisteix en dues fases que treballen conjuntament per proporcionar optimització automàtica d'extrem a extrem. Primer, una fase offline de reducció de HwPCs utilitza tècniques d'apre\-nentatge automàtic per determinar el subconjunt mínim però informatiu de HwPCs necessaris tant per a la identificació de regions de codi com per a l'optimització de TP. Aquesta fase es realitza una vegada per a una arquitectura específica i analitza un conjunt de dades d'entrenament que conté etiquetes de regions de codi, mesuraments de HwPCs i valors de TP per identificar quins HwPCs són més rellevants. Mitjançant aquesta anàlisi, el nombre de HwPCs requerits per a una optimització efectiva es redueix substancialment, disminuint la sobrecàrrega de monitoratge i permetent una recol·lecció de dades més eficient mentre es manté alta precisió en la caracterització del rendiment. La segona fase és la fase d'execució online de l'aplicació que aplica els conjunts reduïts de HwPCs i els models entrenats identificats en la fase offline a aplicacions reals en temps d'execució. Durant l'execució, aquesta fase identifica les regions de codi en execució i determina automàticament els valors òptims de TP per a cada regió usant només el conjunt mínim de HwPCs seleccionats durant la fase offline. Aquest enfocament redueix significativament la sobrecàrrega del monitoratge de rendiment mentre manté alta precisió tant en la classificació de regions de codi com en l'optimització del rendiment, eliminant així l'esforç manual en l'anàlisi de rendiment i permetent una adaptació eficient en temps d'execució. Una característica crítica d'aquest enfocament integrat és la seva portabilitat arquitectònica, determinant automàticament els HwPCs més rellevants per a cada arquitectura objectiu durant la fase offline i assegurant una precisió de predicció consistent entre plataformes sense requerir modificacions manuals específiques de l'arquitectura. Aquest disseny agnòstic d'arquitectura s'adapta a diferents característiques arquitectòniques mentre assegura una optimització robusta de paràmetres d'ajust, permetent que el mateix enfocament s'apliqui a noves arquitectures sense intervenció manual. La validació exhaustiva realitzada en múltiples plataformes hardware i càrregues de treball computacionals diverses demostra que la metodologia aborda eficaçment els desafiaments fonamentals dels entorns moderns de computació paral·lela. Els resultats experimentals mostren alta precisió en la predicció de configuracions òptimes de TP en diverses regions de codi i arquitectures, amb puntuacions de precisió K-fold que freqüentment superen 0.90 i puntuacions ROC AUC consistentment per sobre de 0.99, requerint únicament entre 3 i 7 HwPCs per regió de codi de CPU, i les comparacions amb OpenTuner demostren millores en el temps d'execució de fins a 30x. – Name: Abstract Label: Description (Translated) Group: Ab Data: Los sistemas modernos de computación de alto rendimiento han crecido en complejidad, con procesadores que cuentan con hasta 96 núcleos y arquitecturas heterogéneas que incorporan GPUs y aceleradores especializados. Estos sistemas exponen cientos de Contadores de Rendimiento Hardware (HwPCs) que proporcionan información detallada sobre el comportamiento en tiempo de ejecución; sin embargo, su utilización efectiva para la optimización del rendimiento presenta desafíos significativos. Las limitaciones hardware impiden el monitoreo simultáneo de todos los contadores, el volumen masivo de datos crea problemas de escalabilidad, y los entornos de ejecución exigen análisis rápidos para el ajuste dinámico. El ajuste de rendimiento tradicional basado en expertos se ha vuelto impracticable dados los vastos espacios de parámetros y las intrincadas interacciones hardware-software. Aunque el Aprendizaje Automático (ML) ofrece promesas para automatizar este proceso, los enfoques existentes sufren de portabilidad limitada, precisión de predicción inconsistente entre patrones computacionales y falta de automatización de extremo a extremo que integre la identificación de regiones de código con la optimización de Parámetros de Ajuste (TP). En esta tesis abordamos estos problemas para aplicaciones paralelas mediante el desarrollo de un enfoque automatizado integrado que opera eficazmente en diversas arquitecturas incluyendo tanto CPUs como GPUs. El enfoque consiste en dos fases que trabajan conjuntamente para proporcionar optimización automática de extremo a extremo. Primero, una fase offline de reducción de HwPCs utiliza técnicas de aprendizaje automático para determinar el subconjunto mínimo pero informativo de HwPCs necesarios tanto para la identificación de regiones de código como para la optimización de TP. Esta fase se realiza una vez para una arquitectura específica y analiza un conjunto de datos de entrenamiento que contiene etiquetas de regiones de código, mediciones de HwPCs y valores de TP para identificar qué HwPCs son más relevantes. Mediante este análisis, el número de HwPCs requeridos para una optimización efectiva se reduce sustancialmente, disminuyendo la sobrecarga de monitoreo y permitiendo una recolección de datos más eficiente mientras se mantiene alta precisión en la caracterización del rendimiento. La segunda fase es la fase de ejecución online de la aplicación que aplica los conjuntos reducidos de HwPCs y los modelos entrenados identificados en la fase offline a aplicaciones reales en tiempo de ejecución. Durante la ejecución, esta fase identifica las regiones de código en ejecución y determina automáticamente los valores óptimos de TP para cada región usando solo el conjunto mínimo de HwPCs seleccionados durante la fase offline. Este enfoque reduce significativamente la sobrecarga del monitoreo de rendimiento mientras mantiene alta precisión tanto en la clasificación de regiones de código como en la optimización del rendimiento, eliminando así el esfuerzo manual en el análisis de rendimiento y permitiendo una adaptación eficiente en tiempo de ejecución. Una característica crítica de este enfoque integrado es su portabilidad arquitectónica, determinando automáticamente los HwPCs más relevantes para cada arquitectura objetivo durante la fase offline y asegurando una precisión de predicción consistente entre plataformas sin requerir modificaciones manuales específicas de la arquitectura. Este diseño agnóstico de arquitectura se adapta a diferentes características arquitectónicas mientras asegura una optimización robusta de parámetros de ajuste, permitiendo que el mismo enfoque se aplique a nuevas arquitecturas sin intervención manual. La validación exhaustiva realizada en múltiples plataformas hardware y cargas de trabajo computacionales diversas demuestra que la metodología aborda eficazmente los desafíos fundamentales de los entornos modernos de computación paralela. Los resultados experimentales muestran alta precisión en la predicción de configuraciones óptimas de TP en diversas regiones de código y arquitecturas, con puntuaciones de precisión K-fold que frecuentemente superan 0.90 y puntuaciones ROC AUC consistentemente por encima de 0.99, requiriendo únicamente entre 3 y 7 HwPCs por región de código de CPU.<br />Modern High Performance Computing (HPC) systems have grown increasingly complex, with processors featuring up to 96 cores and heterogeneous architectures incorporating GPUs and specialized accelerators. These systems expose hundreds of Hardware Performance Counters (HwPCs) that provide detailed insights into runtime behavior; yet their effective utilization for performance optimization presents significant challenges. Hardware limitations prevent simultaneous monitoring of all counters, the massive data volume creates scalability issues, and runtime environments demand rapid analysis for dynamic tuning. Traditional expert-driven performance tuning has become impractical given the vast parameter spaces and intricate hardware-software interactions. While Machine Learning (ML) offers promise for automating this process, existing approaches suffer from limited portability, inconsistent prediction accuracy across computational patterns, and lack of end-to-end automation integrating code-region identification with Tuning Parameter (TP) optimization. In this thesis we tackle these problems for parallel applications through the development of an integrated automated approach that operates effectively across diverse architectures including both CPUs and GPUs. The approach consists of two phases that work together to provide end-to-end automatic optimization. First, an offline HwPC reduction phase uses ML techniques to determine the minimal yet informative subset of HwPCs necessary for both code-region identification and TP optimization. This phase is performed once for a specific architecture and analyzes a training dataset containing code-region labels, HwPC measurements, and TP values to identify which HwPCs are most relevant. Through this analysis, the number of HwPCs required for effective optimization is substantially reduced, decreasing monitoring overhead and enabling more efficient data collection while maintaining high accuracy in performance characterization. The second phase is the online application execution phase that applies the reduced HwPC sets and trained models identified in the offline phase to real applications at runtime. During execution, this phase identifies executing code-regions and automatically determines optimal TP values for each region using only the minimal set of HwPCs selected during the offline phase. This approach significantly reduces the overhead of performance monitoring while maintaining high accuracy in both code-region classification and performance optimization, thereby removing manual effort in performance analysis and enabling efficient runtime adaptation. A critical characteristic of this integrated approach is its architectural portability, automatically determining the most relevant HwPCs for each target architecture during the offline phase and ensuring consistent prediction accuracy across platforms without requiring manual architecture-specific modifications. This architecture-agnostic design adapts to different architectural characteristics while ensuring robust tuning parameter optimization, enabling the same approach to be applied to new architectures without manual intervention. Comprehensive validation conducted across multiple hardware platforms and diverse computational workloads demonstrates that the me\-thodology effectively addresses the fundamental challenges of modern parallel computing environments. Experimental results show high accuracy in predicting optimal TP configurations across diverse code-regions and architectures, with K-fold accuracy scores frequently exceeding 0.90 and ROC AUC scores consistently above 0.99, while requiring only 3--7 HwPCs per CPU code-region, and benchmarks against OpenTuner demonstrate execution time improvements of up to 30x. Validation across six GPU generations (Kepler through Ada Lovelace) further confirms broad architectural portability, achieving above 0.80 accuracy while requiring only 2--11 HwPCs per GPU kernel. The integration of ML-based HwPC analysis with efficient optimization strategies provides a methodology for automated performance tuning that eliminates manual analysis effort while maintaining or improving optimization effectiveness compared to traditional approaches, representing an advancement in automated performance optimization for parallel applications in heterogeneous HPC environments.<br />Universitat Autònoma de Barcelona. Programa de Doctorat en Informàtica – Name: TypeDocument Label: Document Type Group: TypDoc Data: Dissertation/Thesis – Name: Format Label: File Description Group: SrcInfo Data: application/pdf – Name: Language Label: Language Group: Lang Data: English – Name: URL Label: Access URL Group: URL Data: <link linkTarget="URL" linkTerm="https://hdl.handle.net/10803/698147" linkWindow="_blank">https://hdl.handle.net/10803/698147</link> – Name: Copyright Label: Rights Group: Cpyrght Data: ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs. – Name: AN Label: Accession Number Group: ID Data: edstdx.10803.698147 |
| PLink | https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edstdx&AN=edstdx.10803.698147 |
| RecordInfo | BibRecord: BibEntity: Languages: – Text: English PhysicalDescription: Pagination: PageCount: 177 Subjects: – SubjectFull: Comptadors de rendiment Type: general – SubjectFull: Hardware performance counters Type: general – SubjectFull: Contadores de rendimiento Type: general – SubjectFull: Reducció de dimensionalitat Type: general – SubjectFull: Automatic dimension reduction Type: general – SubjectFull: Reducción de dimensionalidad Type: general – SubjectFull: Conjunts d'aprenentatge Type: general – SubjectFull: Machine learning ensembles Type: general – SubjectFull: Conjuntos de aprendizaje Type: general – SubjectFull: Tecnologies Type: general Titles: – TitleFull: Applying Machine Learning for Developing an Efficient Parallel Applications Autotuning Methodology Based on Performance Counters Type: main BibRelationships: HasContributorRelationships: – PersonEntity: Name: NameFull: Harutyunyan Gevorgyan, Suren IsPartOfRelationships: – BibEntity: Dates: – D: 17 M: 07 Type: published Y: 2026 |
| ResultId | 1 |