Dissertation/ Thesis
Accelerating the cloud: an application-agnostic approach to network and compute optimization
| Τίτλος: | Accelerating the cloud: an application-agnostic approach to network and compute optimization |
|---|---|
| Συγγραφείς: | Serracanta Pujol, Berta |
| Συνεισφορές: | University/Department: Universitat Politècnica de Catalunya. Departament d'Arquitectura de Computadors |
| Thesis Advisors: | Cabellos Aparicio, Alberto, Rodríguez Natal, Alberto |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Politècnica de Catalunya, 2025. |
| Έτος έκδοσης: | 2025 |
| Φυσική περιγραφή: | 89 p. |
| Θεματικοί όροι: | Cloud computing, Distributed systems, Microservices, Kubernetes, Autoscaling, Software-defined networking (SDN), Wide Area Networks (WAN), Container Orchestration, Network-Applicaation Integration, Àrees temàtiques de la UPC::Informàtica, 004 - Informàtica |
| Περιγραφή: | Tesi amb menció de Doctorat Internacional |
| Description (Translated): | (English) This thesis explores how to enhance the performance of cloud applications by addressing inefficiencies across both the network and compute layers of modern distributed systems. As cloud-native applications grow more complex and are deployed across heterogeneous, geographically distributed infrastructures, traditional abstractions, though foundational for scalability and modularity, have begun to constrain opportunities for global coordination and responsiveness. To overcome these limitations, this work introduces two complementary approaches: one that improves network resource utilization without requiring developer involvement, and another that enhances compute-side elasticity through a smarter, more proactive autoscaling mechanism. Both approaches are guided by a common design philosophy: introducing context-aware intelligence in a minimally disruptive way, maintaining full compatibility with existing architectures, infrastructure, and developer workflows. The first part of the thesis focuses on Network-Application Integration (NAI), specifically targeting performance improvements in inter-datacenter communication. To this end, it proposes an application-agnostic solution based on extended Berkeley Packet Filter (eBPF) and eXpress Data Path (XDP) technologies. By dynamically identifying and separating short and long Transmission Control Protocol (TCP) flows at the network ingress, the system enables differentiated routing through distinct network tunnels, thereby mitigating queuing delays and reducing flow completion times. A key advantage of this approach is that it operates transparently, requiring no modifications to applications or developer-provided annotations, making it highly deployable within existing environments. Testbed experiments demonstrate that this technique significantly reduces latency and improves resource utilization in hybrid, multi-datacenter scenarios. The second part of the thesis turns to the compute domain, focusing on autoscaling mechanisms in Kubernetes-managed microservice environments. Recognizing the limitations of existing reactive scaling strategies, the work develops a control-theoretic model of the Kubernetes Horizontal Pod Autoscaler (HPA), formally analyzing its stability and responsiveness. Based on these insights, a new context-aware HPA is introduced, which incorporates upstream CPU metrics from the application’s service graph to anticipate downstream load changes. This proactive strategy enables more efficient and stable scaling decisions, improving responsiveness and reducing latency during traffic spikes. Notably, it achieves these gains without relying on complex performance models or machine learning, preserving simplicity and compatibility with standard Kubernetes tooling. Overall, the two approaches presented in this thesis offer practical methods for improving the performance and efficiency of distributed cloud applications, with a focus on compatibility with existing systems and workflows. Rather than proposing disruptive architectural changes, both solutions extend current abstractions to introduce additional context-awareness where it can be most effective. The results suggest that incremental, deployable enhancements to orchestration and networking layers can help address emerging challenges in scalability and responsiveness, making them suitable candidates for integration into real-world cloud-native environments. (Català) Aquesta tesi explora com millorar el rendiment de les aplicacions al núvol abordant ineficiències tant a la capa de xarxa com a la capa de computació en sistemes distribuïts moderns. A mesura que les aplicacions natives del núvol es tornen més complexes i es despleguen en infraestructures heterogènies i geogràficament distribuïdes, les abstraccions tradicionals, tot i ser fonamentals per a l'escalabilitat i la modularitat, comencen a limitar les oportunitats de coordinació global i capacitat de resposta. Per superar aquestes limitacions, aquest treball introdueix dues aproximacions complementàries: una que millora la utilització dels recursos de xarxa sense necessitat d'intervenció dels desenvolupadors, i una altra que augmenta l’elasticitat a la banda de computació mitjançant un mecanisme més intel·ligent i proactiu d’autoescalat. Ambdues aproximacions segueixen una filosofia de disseny comuna: introduir intel·ligència sensible al context de manera mínimament disruptiva, mantenint total compatibilitat amb les arquitectures, infraestructures i fluxos de treball de desenvolupament existents. La primera part de la tesi se centra en la Integració Xarxa-Aplicació (NAI), dirigint-se específicament a millorar el rendiment en la comunicació entre centres de dades. Per fer-ho, proposa una solució agnòstica a l’aplicació basada en les tecnologies extended Berkeley Packet Filter (eBPF) i eXpress Data Path (XDP). En identificar dinàmicament i separar fluxos curts i llargs de Transmission Control Protocol (TCP) a l’entrada de la xarxa, el sistema permet un encaminament diferenciat mitjançant túnels de xarxa separats, mitigant així retards en cua i reduint el temps de finalització dels fluxos. Un avantatge clau d’aquesta aproximació és que opera de manera transparent, sense necessitat de modificacions en les aplicacions o anotacions per part dels desenvolupadors, facilitant així el desplegament en entorns existents. Experiments en bancs de proves demostren que aquesta tècnica redueix significativament la latència i millora l'ús de recursos en escenaris híbrids multi-centre de dades. La segona part de la tesi aborda el domini de computació, centrant-se en mecanismes d'autoescalat en entorns de microserveis gestionats per Kubernetes. Reconeixent les limitacions de les estratègies existents d'escalat reactiu, el treball desenvolupa un model teòric de control per al Kubernetes Horizontal Pod Autoscaler (HPA), analitzant formalment la seva estabilitat i capacitat de resposta. Basant-se en aquests coneixements, s'introdueix un nou HPA sensible al context, que incorpora mètriques de CPU provinents de serveis anteriors del graf de l'aplicació per anticipar canvis de càrrega en serveis posteriors. Aquesta estratègia proactiva permet decisions d’escalat més eficients i estables, millorant la resposta i reduint la latència en pics de tràfic. Destaca que s'assoleixen aquestes millores sense recórrer a models complexos de rendiment o aprenentatge automàtic, preservant així la simplicitat i la compatibilitat amb les eines estàndard de Kubernetes. En conjunt, les dues aproximacions presentades en aquesta tesi ofereixen mètodes pràctics per millorar el rendiment i l'eficiència d'aplicacions distribuïdes al núvol, amb un èmfasi en la compatibilitat amb sistemes i fluxos de treball existents. En comptes de proposar canvis arquitectònics disruptius, ambdues solucions amplien les abstraccions actuals per introduir sensibilitat al context allà on pot ser més efectiva. Els resultats suggereixen que millores incrementals i desplegables a les capes d’orquestració i xarxa poden ajudar a abordar els reptes emergents en escalabilitat i capacitat de resposta, fent-les candidates idònies per integrar-se en entorns reals d'aplicacions natives del núvol. (Español) Esta tesis explora cómo mejorar el rendimiento de las aplicaciones en la nube abordando ineficiencias tanto en la capa de red como en la capa de cómputo en sistemas distribuidos modernos. A medida que las aplicaciones nativas de la nube se vuelven más complejas y se despliegan en infraestructuras heterogéneas y geográficamente distribuidas, las abstracciones tradicionales, aunque fundamentales para la escalabilidad y modularidad, empiezan a limitar las oportunidades para la coordinación global y la capacidad de respuesta. Para superar estas limitaciones, este trabajo introduce dos enfoques complementarios: uno que mejora la utilización de recursos de red sin requerir intervención de los desarrolladores, y otro que incrementa la elasticidad del lado del cómputo mediante un mecanismo más inteligente y proactivo de autoescalado. Ambos enfoques siguen una filosofía de diseño común: introducir inteligencia consciente del contexto de manera mínimamente disruptiva, manteniendo total compatibilidad con las arquitecturas, infraestructuras y flujos de trabajo de desarrollo existentes. La primera parte de la tesis se centra en la Integración Red-Aplicación (NAI), apuntando específicamente a mejorar el rendimiento en la comunicación inter-centro de datos. Para ello, propone una solución agnóstica a la aplicación basada en las tecnologías extended Berkeley Packet Filter (eBPF) y eXpress Data Path (XDP). Al identificar dinámicamente y separar flujos cortos y largos de Transmission Control Protocol (TCP) en el ingreso de la red, el sistema permite un enrutamiento diferenciado a través de túneles de red distintos, mitigando retrasos en cola y reduciendo los tiempos de finalización de los flujos. Una ventaja clave de este enfoque es que opera de manera transparente, sin requerir modificaciones en las aplicaciones ni anotaciones proporcionadas por los desarrolladores, facilitando su despliegue en entornos existentes. Experimentos en banco de pruebas demuestran que esta técnica reduce significativamente la latencia y mejora el uso de recursos en escenarios híbridos multi-centro de datos. La segunda parte de la tesis aborda el dominio de cómputo, centrándose en mecanismos de autoescalado en entornos de microservicios gestionados por Kubernetes. Reconociendo las limitaciones de las estrategias existentes de escalado reactivo, el trabajo desarrolla un modelo teórico de control del Horizontal Pod Autoscaler (HPA) de Kubernetes, analizando formalmente su estabilidad y capacidad de respuesta. Basándose en estas observaciones, introduce un nuevo HPA consciente del contexto, que incorpora métricas de CPU procedentes de servicios previos del grafo de la aplicación para anticipar cambios de carga en servicios posteriores. Esta estrategia proactiva permite decisiones de escalado más eficientes y estables, mejorando la respuesta y reduciendo la latencia en picos de tráfico. Destaca que logra estas mejoras sin recurrir a modelos complejos de rendimiento o aprendizaje automático, preservando la simplicidad y la compatibilidad con las herramientas estándar de Kubernetes. DOCTORAT EN ARQUITECTURA DE COMPUTADORS (Pla 2012) |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | English |
| DOI: | 10.5821/dissertation-2117-449620 |
| Σύνδεσμος πρόσβασης: | http://hdl.handle.net/10803/696205 https://dx.doi.org/10.5821/dissertation-2117-449620 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by/4.0/ |
| Αριθμός Καταχώρησης: | edstdx.10803.696205 |
| Βάση Δεδομένων: | TDX |
καταχωρήστε σχόλιο πρώτοι!