Dissertation/ Thesis
Optimizing efficiency and integrity in collaborative AI systems
| Τίτλος: | Optimizing efficiency and integrity in collaborative AI systems |
|---|---|
| Συγγραφείς: | Garcia Recasens, Pol |
| Συνεισφορές: | University/Department: Universitat Politècnica de Catalunya. Departament d'Arquitectura de Computadors |
| Thesis Advisors: | Berral García, Josep Lluís, Torres Viñals, Jordi |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Politècnica de Catalunya, 2026. |
| Έτος έκδοσης: | 2026 |
| Φυσική περιγραφή: | 130 p. |
| Θεματικοί όροι: | cloud computing, large language models, resource management, federated learning, free-riding, privacy attacks, in-context learning, bias mitigation, synthetic data generation, Àrees temàtiques de la UPC::Informàtica, 004 - Informàtica |
| Περιγραφή: | Tesi amb menció de Doctorat Internacional |
| Description (Translated): | (English) Modern AI systems are increasingly deployed in collaborative settings where multiple users share data, compute or infrastructure. The design of these systems relies on cooperative assumptions that are routinely violated in practice. These violations degrade both efficiency and integrity across the AI lifecycle, wasting computational resources and corrupting system outputs. For example, participants may not contribute honestly to federated training, memory may be over-allocated in service environments shared by multiple users, and in-context examples used for data generation may be biased or adversarially manipulated. This thesis demonstrates that by designing mechanisms that remain effective when cooperative assumptions fail, the AI lifecycle can be adapted to decentralized deployments while remaining robust to misaligned or adversarial participants. We prove this statement through three contributions that target training, serving, and data generation respectively. First, this thesis proposes FRIDA, a framework that repurposes adversarial privacy attacks to detect free-riders in Federated Learning. Rather than relying on indirect statistical signals that advanced free-riders can mimic, FRIDA directly measures evidence of genuine local training. Our evaluation shows that FRIDA detects adaptive free-riders that evade existing feature-based defenses. Second, this thesis characterizes the throughput-latency frontier of Small Language Model serving and identifies that the Pareto-optimal throughput plateau is reachable within a single accelerator. Through low-level GPU profiling, we show that the plateau is caused by DRAM bandwidth saturation within the attention mechanism, not compute saturation as commonly assumed. Based on this finding, we introduce the Batching Configuration Advisor, which recommends batch sizes and memory allocations that respect latency constraints without over-provisioning, freeing resources for concurrent workloads and achieving throughput improvements of up to 33.7\%. Third, this thesis characterizes adversarial in-context bias propagation as a new attack surface in collaborative LLM-based tabular data generation. We show that statistical biases in prompt examples systematically propagate to generated synthetic data, and that a malicious actor can amplify this effect by injecting feature-aligned examples to target specific subgroups without degrading standard utility metrics. We evaluate mitigation strategies including statistical parity constraints and frequency balancing, showing that while they attenuate bias propagation, the sensitivity of LLMs to adversarial in-context examples remains a persistent challenge. These results demonstrate that explicitly accounting for the failure of cooperative assumptions enables meaningfully more efficient and trustworthy AI systems across training, serving, and data generation. (Català) Els sistemes moderns d'intel·ligència artificial (IA) es despleguen cada vegada més en entorns col·laboratius on usuaris comparteixen dades, computació o infraestructura. El disseny d'aquests sistemes es basa en assumpcions cooperatives que s'incompleixen rutinàriament a la pràctica. Aquestes infraccions degraden tant l'eficiència com la integritat al llarg de tot el cicle de la IA, malgastant recursos computacionals i corrompent els resultats del sistema. Per exemple, els participants poden no contribuir de manera honesta a l'aprenentatge federat, la memòria pot sobreassignar-se en entorns de servei a múltiples usuaris, i els exemples utilitzats per a la generació de dades poden estar esbiaixats o manipulats de manera adversària. Aquesta tesi demostra que dissenyant mecanismes que continuen sent efectius quan fallen les assumpcions cooperatives, el cicle de vida de la IA es pot adaptar a desplegaments descentralitzats tot mantenint la robustesa davant participants desalineats o maliciosos. Demostrem aquesta afirmació mitjançant tres contribucions orientades a l'entrenament, el servei i la generació de dades, respectivament. En primer lloc, aquesta tesi proposa FRIDA, un sistema de detecció que readapta els atacs maliciosos de privacitat per detectar usuaris aprofitats (free-riders) en l'aprenentatge federat. En lloc de fer servir senyals estadístics indirectes que els free-riders avançats poden imitar, FRIDA mesura directament l'evidència d'un entrenament local genuí. La nostra avaluació mostra que FRIDA detecta free-riders adaptatius que evadeixen les defenses existents basades en característiques. En segon lloc, aquesta tesi caracteritza la frontera de rendiment-latència en el servei de models de llenguatge petits (SLM) i identifica que el límit de rendiment òptim de Pareto és assolible dins d'un únic accelerador. Mitjançant una anàlisi de baix nivell de la GPU, demostrem que aquest límit és causat per la saturació de les comunicacions a la memòria DRAM quan s'executa el mecanisme d'atenció, i no per la saturació de còmput com s'assumeix habitualment. Partint d'aquesta anàlisi, introduïm l'Assessor de Configuració de Lots (Batching Configuration Advisor), que recomana mides de lot i assignacions de memòria que respecten les restriccions de latència sense sobreaprovisionar, alliberant recursos per a càrregues de treball concurrents i assolint millores de rendiment de fins al 33,7%. En tercer lloc, aquesta tesi caracteritza la propagació de biaixos maliciosos en context com una nova superfície d'atac en la generació de dades tabulars de forma col·laborativa basades en grans models de llenguatge (LLM). Demostrem que els biaixos estadístics en els exemples del prompt es propaguen sistemàticament a les dades sintètiques generades, i que un usuari maliciós pot amplificar aquest efecte injectant exemples alineats amb les característiques per atacar subgrups específics sense degradar les mètriques d'utilitat estàndard. Avaluem estratègies de mitigació, incloent-hi restriccions de paritat estadística i l'equilibri de freqüències, demostrant que, si bé atenuen la propagació del biaix, la sensibilitat dels LLM als exemples maliciosos en context continua sent un repte persistent. Aquests resultats demostren que tenir en compte explícitament el fracàs de les suposicions cooperatives permet obtenir sistemes d'IA significativament més eficients i fiables en la totalitat de l'entrenament, l'execució i la generació de dades. (Español) Los sistemas modernos de inteligencia artificial (IA) se despliegan cada vez más en entornos colaborativos donde los usuarios comparten datos, computación o infraestructura. El diseño de estos sistemas se basa en premisas cooperativas que se incumplen rutinariamente en la práctica. Estas infracciones degradan tanto la eficiencia como la integridad a lo largo de todo el ciclo de vida de la IA, malgastando recursos computacionales y corrompiendo los resultados del sistema. Por ejemplo, los participantes pueden no contribuir de manera honesta al aprendizaje federado, la memoria puede sobreasignarse en entornos de servicio para múltiples usuarios, y los ejemplos utilizados para la generación de datos pueden estar sesgados o manipulados de forma adversaria. Esta tesis demuestra que, diseñando mecanismos que siguen siendo efectivos cuando fallan las premisas cooperativas, el ciclo de vida de la IA se puede adaptar a despliegues descentralizados manteniendo la robustez ante participantes desalineados o adversariales. Demostramos esta afirmación mediante tres contribuciones orientadas al entrenamiento, el servicio y la generación de datos, respectivamente. En primer lugar, esta tesis propone FRIDA, un sistema de detección que readapta los ataques adversariales de privacidad para detectar usuarios aprovechados (free-riders) en el aprendizaje federado. En lugar de utilizar señales estadísticas indirectas que los free-riders avanzados pueden imitar, FRIDA mide directamente la evidencia de un entrenamiento local genuino. Nuestra evaluación muestra que FRIDA detecta free-riders adaptativos que evaden las defensas existentes basadas en características. En segundo lugar, esta tesis caracteriza la frontera de rendimiento-latencia en el servicio de modelos de lenguaje pequeños (SLM) e identifica que el límite de rendimiento óptimo de Pareto es alcanzable dentro de un único acelerador. Mediante un análisis de bajo nivel de la GPU, demostramos que este límite es causado por la saturación de las comunicaciones en la memoria DRAM cuando se ejecuta el mecanismo de atención, y no por la saturación de cómputo como se asume habitualmente. Partiendo de este análisis, introducimos el Asesor de Configuración de Lotes (Batching Configuration Advisor), que recomienda tamaños de lote y asignaciones de memoria que respetan las restricciones de latencia sin sobreaprovisionar, liberando recursos para cargas de trabajo concurrentes y alcanzando mejoras de rendimiento de hasta el 33,7\%. En tercer lugar, esta tesis caracteriza la propagación de sesgos adversariales en contexto como una nueva superficie de ataque en la generación de datos tabulares de forma colaborativa basada en grandes modelos de lenguaje (LLM). Demostramos que los sesgos estadísticos en los ejemplos del prompt se propagan sistemáticamente a los datos sintéticos generados, y que un usuario malicioso puede amplificar este efecto inyectando ejemplos alineados con las características para atacar subgrupos específicos sin degradar las métricas de utilidad estándar. Evaluamos estrategias de mitigación, incluyendo restricciones de paridad estadística y el equilibrio de frecuencias, demostrando que, si bien atenúan la propagación del sesgo, la sensibilidad de los LLM a los ejemplos adversariales en contexto sigue siendo un reto persistente. Estos resultados demuestran que tener en cuenta explícitamente el fracaso de las premisas cooperativas permite obtener sistemas de IA significativamente más eficientes y fiables en la totalidad del entrenamiento, la ejecución y la generación de datos. DOCTORAT EN ARQUITECTURA DE COMPUTADORS (Pla 2012) |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | English |
| DOI: | 10.5821/dissertation-2117-472554 |
| Σύνδεσμος πρόσβασης: | https://hdl.handle.net/10803/698050 https://dx.doi.org/10.5821/dissertation-2117-472554 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by/4.0/ |
| Αριθμός Καταχώρησης: | edstdx.10803.698050 |
| Βάση Δεδομένων: | TDX |
| DOI: | 10.5821/dissertation-2117-472554 |
|---|