Dissertation/ Thesis
Generalizable time series classification models for complex real-world applications
| Title: | Generalizable time series classification models for complex real-world applications |
|---|---|
| Authors: | Hernàndez Carnerero, Àlvar |
| Contributors: | University/Department: Universitat Politècnica de Catalunya. Departament de Ciències de la Computació |
| Thesis Advisors: | Sànchez-Marrè, Miquel, Vázquez Salceda, Javier |
| Source: | TDX (Tesis Doctorals en Xarxa) |
| Publisher Information: | Universitat Politècnica de Catalunya, 2026. |
| Publication Year: | 2026 |
| Physical Description: | 376 p. |
| Subject Terms: | time series classification, time series analysis, feature engineering and selection, temporal windowing and decay weighting, machine learning, deep learning, hybrid deep learning architectures, adaptive inductive biases, CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer), temporal modelling, Àrees temàtiques de la UPC::Informàtica, Àrees temàtiques de la UPC::Matemàtiques i estadística, 004 - Informàtica, 51 - Matemàtiques |
| Description: | (English) This thesis develops a comprehensive framework for Time Series Classification (TSC) focused on real-world applications characterized by limited data availability, heterogeneous datasets, and complex temporal structure, which concludes with a generalizable and adaptive modelling approach. This research conducts a comprehensive survey of state-of-the-art methods, identifying their strengths and limitations, with a focus on specific domains such as antimicrobial prediction, astronomy, and physiological monitoring. Building on these insights, preprocessing pipelines are developed for the considered time series, including new temporally informed feature generation grounded in domain knowledge, robust feature importance estimation, and wrapper-based feature selection. Methodologically, windowing strategies are engineered to mitigate data scarcity and temporal distribution shifts, a hybrid modular architecture is proposed to integrate mechanisms suited to the specific needs of the data, and an adaptation of additive attention is formulated. The methodology employs ensembles to enhance predictive stability and evaluates model interpretability by analyzing how the trained models prioritize features and by visualizing attention patterns across the sequence to reveal temporal relevance patterns. A central contribution of the thesis is CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer), a novel architecture for TSC that synthesizes insights from our research and from recent advances in sequence modelling. CLAIM combines content-modulated dynamic mixing, adaptive inductive biases, and a low-rank isotropic block design, resulting in an efficient and interpretable model. Experiments across heterogeneous datasets (including intensive care unit patient trajectories, exoplanet transit signals, and electrocardiogram waveforms) show that CLAIM frequently achieves the best performance in small-data regimes compared to temporal transformer and Multilayer Perceptron Mixer (MLP-Mixer) baselines. CLAIM also offers practical advantages in interpretability, due to its dynamic weights and explicit inductive-bias components. In addition, it demonstrates strong computational efficiency, particularly at inference time. The model modulates structural priors such as locality, causality, and location invariance in a data-driven manner, aligning with effective contemporary design principles for temporal modelling. Furthermore, it adapts its focus across domains, as reflected in the dynamic weighting of temporal components, which corresponds with established domain knowledge. The thesis contributes a unified perspective on real-world TSC, pairing domain-guided pipelines with a generalizable modelling approach. The resulting CLAIM architecture offers an interpretable, efficient, and adaptive solution that advances the state of the art in small-data TSC. |
| Description (Translated): | (Català) Aquesta tesi desenvolupa un marc integral per a la Classificació de Sèries Temporals (TSC, per les seves sigles en anglès), centrat en aplicacions del món real caracteritzades per una disponibilitat de dades limitada, conjunts de dades heterogenis i una estructura temporal complexa, que culmina amb el disseny d'una arquitectura generalitzable i adaptativa. Aquesta recerca duu a terme una revisió exhaustiva dels mètodes recents, identificant-ne els punts forts i les limitacions, amb un enfocament en dominis específics com ara la predicció de resistència als antimicrobians, l'astronomia i la monitorització fisiològica. A partir d’aquests coneixements, es desenvolupen tècniques de preprocessament per a les sèries temporals considerades, incloent-hi la generació de noves característiques amb informació temporal basada en coneixement del domini, una estimació robusta de la importància de les característiques i una selecció de característiques basada en mètodes wrapper. Metodològicament, es desenvolupen estratègies de segmentació (windowing) per mitigar l’escassetat de dades i els canvis de distribució temporal, es proposa una arquitectura modular híbrida que integra mecanismes adaptats a les necessitats específiques de les dades, i es formula una adaptació del mecanisme d’atenció additiva. La metodologia empra conjunts de models (ensembles) per millorar l’estabilitat predictiva i avalua la interpretabilitat del model analitzant com els models entrenats prioritzen les característiques i visualitzant valors d’atenció al llarg de la seqüència per revelar patrons de rellevància temporal. Una contribució central de la tesi és CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer), una arquitectura nova per a TSC que sintetitza coneixements derivats de la nostra recerca i d’avenços recents en el modelatge de seqüències. CLAIM combina la mescla dinàmica (de punts temporals i característiques) modulada pel contingut, biaixos inductius adaptatius i un disseny de blocs isòtrops de baix rang, que dona com a resultat un model eficient i interpretable. Experiments realitzats en conjunts de dades heterogenis (incloent trajectòries de pacients d’unitats de cures intensives, senyals de trànsit exoplanetari i formes d’ona d’electrocardiogrames) mostren que CLAIM sovint obté el millor rendiment en escenaris amb poques dades, en comparació amb transformers temporals i amb Multilayer Perceptron Mixers (MLP-Mixers). CLAIM també ofereix avantatges pràctics en interpretabilitat, gràcies als seus pesos dinàmics i als components de biaix inductiu explícits. A més, presenta una gran eficiència computacional, especialment durant la inferència. El model modula biaixos estructurals, com ara la localitat, la causalitat i la invariància espacial, d’una manera guiada per les dades, alineant-se amb els principis de disseny recents més efectius per al modelatge temporal. Així mateix, adapta la seva atenció segons el domini, tal com es reflecteix en la ponderació dinàmica dels components temporals, que concorda amb el coneixement consolidat dels dominis. La tesi contribueix una perspectiva unificada de la TSC de dades del món real, combinant mètodes guiats pel domini amb un enfocament de disseny generalitzable. L’arquitectura CLAIM resultant ofereix una solució interpretable, eficient i adaptativa que fa avançar el camp de TSC amb conjunts de dades limitats. (Español) Esta tesis desarrolla un marco integral para la Clasificación de Series Temporales (TSC, por sus siglas en inglés) centrado en aplicaciones del mundo real caracterizadas por una disponibilidad limitada de datos, conjuntos de datos heterogéneos y una estructura temporal compleja, que culmina en un enfoque de modelado generalizable y adaptativo. Esta investigación lleva a cabo una revisión exhaustiva de los métodos recientes, identificando sus fortalezas y limitaciones, con especial atención a dominios específicos como la predicción de resistencia a antimicrobianos, la astronomía y la monitorización fisiológica. A partir de estos conocimientos, se desarrollan métodos de preprocesamiento para las series temporales consideradas, que incluyen la generación de nuevas características con información temporal basada en conocimiento experto, estimaciones robustas de importancia de características y selección de características basada en métodos wrapper. Metodológicamente, se diseñan estrategias de segmentación (windowing) para mitigar la escasez de datos y los cambios en la distribución temporal, se propone una arquitectura modular híbrida que integra mecanismos adecuados a las necesidades específicas de los datos, y se formula una adaptación del mecanismo de atención aditiva. La metodología emplea conjuntos de modelos (ensembles) para mejorar la estabilidad predictiva y evalúa la interpretabilidad del modelo analizando cómo los modelos entrenados priorizan las características y visualizando los valores de atención a lo largo de la secuencia para revelar patrones de relevancia temporal. Una contribución central de la tesis es CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer), una nueva arquitectura para TSC que sintetiza los conocimientos derivados de nuestra investigación y de los avances recientes en el modelado de secuencias. CLAIM combina la mezcla dinámica (de puntos temporales y características) modulada por el contenido, sesgos inductivos adaptativos y un diseño de bloques isotrópicos de bajo rango, lo que da lugar a un modelo eficiente e interpretable. Los experimentos llevados a cabo en conjuntos de datos heterogéneos (incluyendo trayectorias de pacientes en unidades de cuidados intensivos, señales de tránsito de exoplanetas y formas de onda de electrocardiogramas) muestran que CLAIM suele lograr el mejor rendimiento en escenarios con pocos datos en comparación con transformers temporales y con los modelos basados en Multilayer Perceptron Mixer (MLP-Mixer). CLAIM también ofrece ventajas prácticas en interpretabilidad, gracias a sus pesos dinámicos y a sus componentes con sesgos inductivos explícitos. Además, demuestra una gran eficiencia computacional, especialmente en el momento de la inferencia. El modelo modula sesgos estructurales, como la localidad, la causalidad y la invariancia espacial, de una manera guiada por los datos, alineándose con los principios de diseño recientes más efectivos para el modelado temporal. Asimismo, adapta su atención según el dominio, tal como se refleja en la ponderación dinámica de los componentes temporales, que corresponde con el conocimiento experto establecido. La tesis aporta una perspectiva unificada sobre la TSC de datos de mundo real, combinando métodos guiados por el dominio con un enfoque de modelado generalizable. La arquitectura CLAIM resultante ofrece una solución interpretable, eficiente y adaptativa que avanza el campo de TSC con conjuntos de datos limitados. DOCTORAT EN INTEL·LIGÈNCIA ARTIFICIAL (Pla 2012) |
| Document Type: | Dissertation/Thesis |
| File Description: | application/pdf |
| Language: | English |
| DOI: | 10.5821/dissertation-2117-464422 |
| Access URL: | https://hdl.handle.net/10803/697710 https://dx.doi.org/10.5821/dissertation-2117-464422 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc/4.0/ |
| Accession Number: | edstdx.10803.697710 |
| Database: | TDX |
| FullText | Text: Availability: 0 CustomLinks: – Url: https://hdl.handle.net/10803/697710# Name: EDS - TDX (ns324271) Category: fullText Text: View record in TDX |
|---|---|
| Header | DbId: edstdx DbLabel: TDX An: edstdx.10803.697710 RelevancyScore: 1447 AccessLevel: 3 PubType: Dissertation/ Thesis PubTypeId: dissertation PreciseRelevancyScore: 1446.96374511719 |
| IllustrationInfo | |
| Items | – Name: Title Label: Title Group: Ti Data: Generalizable time series classification models for complex real-world applications – Name: Author Label: Authors Group: Au Data: <searchLink fieldCode="AR" term="%22Hernàndez+Carnerero%2C+Àlvar%22">Hernàndez Carnerero, Àlvar</searchLink> – Name: Author Label: Contributors Group: Au Data: University/Department: Universitat Politècnica de Catalunya. Departament de Ciències de la Computació – Name: Author Label: Thesis Advisors Group: Au Data: Sànchez-Marrè, Miquel<br />Vázquez Salceda, Javier – Name: TitleSource Label: Source Group: Src Data: TDX (Tesis Doctorals en Xarxa) – Name: Publisher Label: Publisher Information Group: PubInfo Data: Universitat Politècnica de Catalunya, 2026. – Name: DatePubCY Label: Publication Year Group: Date Data: 2026 – Name: PhysDesc Label: Physical Description Group: PhysDesc Data: 376 p. – Name: Subject Label: Subject Terms Group: Su Data: <searchLink fieldCode="DE" term="%22time+series+classification%22">time series classification</searchLink><br /><searchLink fieldCode="DE" term="%22time+series+analysis%22">time series analysis</searchLink><br /><searchLink fieldCode="DE" term="%22feature+engineering+and+selection%22">feature engineering and selection</searchLink><br /><searchLink fieldCode="DE" term="%22temporal+windowing+and+decay+weighting%22">temporal windowing and decay weighting</searchLink><br /><searchLink fieldCode="DE" term="%22machine+learning%22">machine learning</searchLink><br /><searchLink fieldCode="DE" term="%22deep+learning%22">deep learning</searchLink><br /><searchLink fieldCode="DE" term="%22hybrid+deep+learning+architectures%22">hybrid deep learning architectures</searchLink><br /><searchLink fieldCode="DE" term="%22adaptive+inductive+biases%22">adaptive inductive biases</searchLink><br /><searchLink fieldCode="DE" term="%22CLAIM+%28Content-modulated+Low-rank+Adaptive+Isotropic+Mixer%29%22">CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer)</searchLink><br /><searchLink fieldCode="DE" term="%22temporal+modelling%22">temporal modelling</searchLink><br /><searchLink fieldCode="DE" term="%22Àrees+temàtiques+de+la+UPC%3A%3AInformàtica%22">Àrees temàtiques de la UPC::Informàtica</searchLink><br /><searchLink fieldCode="DE" term="%22Àrees+temàtiques+de+la+UPC%3A%3AMatemàtiques+i+estadística%22">Àrees temàtiques de la UPC::Matemàtiques i estadística</searchLink><br /><searchLink fieldCode="DE" term="%22004+-+Informàtica%22">004 - Informàtica</searchLink><br /><searchLink fieldCode="DE" term="%2251+-+Matemàtiques%22">51 - Matemàtiques</searchLink> – Name: Abstract Label: Description Group: Ab Data: (English) This thesis develops a comprehensive framework for Time Series Classification (TSC) focused on real-world applications characterized by limited data availability, heterogeneous datasets, and complex temporal structure, which concludes with a generalizable and adaptive modelling approach. This research conducts a comprehensive survey of state-of-the-art methods, identifying their strengths and limitations, with a focus on specific domains such as antimicrobial prediction, astronomy, and physiological monitoring. Building on these insights, preprocessing pipelines are developed for the considered time series, including new temporally informed feature generation grounded in domain knowledge, robust feature importance estimation, and wrapper-based feature selection. Methodologically, windowing strategies are engineered to mitigate data scarcity and temporal distribution shifts, a hybrid modular architecture is proposed to integrate mechanisms suited to the specific needs of the data, and an adaptation of additive attention is formulated. The methodology employs ensembles to enhance predictive stability and evaluates model interpretability by analyzing how the trained models prioritize features and by visualizing attention patterns across the sequence to reveal temporal relevance patterns. A central contribution of the thesis is CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer), a novel architecture for TSC that synthesizes insights from our research and from recent advances in sequence modelling. CLAIM combines content-modulated dynamic mixing, adaptive inductive biases, and a low-rank isotropic block design, resulting in an efficient and interpretable model. Experiments across heterogeneous datasets (including intensive care unit patient trajectories, exoplanet transit signals, and electrocardiogram waveforms) show that CLAIM frequently achieves the best performance in small-data regimes compared to temporal transformer and Multilayer Perceptron Mixer (MLP-Mixer) baselines. CLAIM also offers practical advantages in interpretability, due to its dynamic weights and explicit inductive-bias components. In addition, it demonstrates strong computational efficiency, particularly at inference time. The model modulates structural priors such as locality, causality, and location invariance in a data-driven manner, aligning with effective contemporary design principles for temporal modelling. Furthermore, it adapts its focus across domains, as reflected in the dynamic weighting of temporal components, which corresponds with established domain knowledge. The thesis contributes a unified perspective on real-world TSC, pairing domain-guided pipelines with a generalizable modelling approach. The resulting CLAIM architecture offers an interpretable, efficient, and adaptive solution that advances the state of the art in small-data TSC. – Name: Abstract Label: Description (Translated) Group: Ab Data: (Català) Aquesta tesi desenvolupa un marc integral per a la Classificació de Sèries Temporals (TSC, per les seves sigles en anglès), centrat en aplicacions del món real caracteritzades per una disponibilitat de dades limitada, conjunts de dades heterogenis i una estructura temporal complexa, que culmina amb el disseny d'una arquitectura generalitzable i adaptativa. Aquesta recerca duu a terme una revisió exhaustiva dels mètodes recents, identificant-ne els punts forts i les limitacions, amb un enfocament en dominis específics com ara la predicció de resistència als antimicrobians, l'astronomia i la monitorització fisiològica. A partir d’aquests coneixements, es desenvolupen tècniques de preprocessament per a les sèries temporals considerades, incloent-hi la generació de noves característiques amb informació temporal basada en coneixement del domini, una estimació robusta de la importància de les característiques i una selecció de característiques basada en mètodes wrapper. Metodològicament, es desenvolupen estratègies de segmentació (windowing) per mitigar l’escassetat de dades i els canvis de distribució temporal, es proposa una arquitectura modular híbrida que integra mecanismes adaptats a les necessitats específiques de les dades, i es formula una adaptació del mecanisme d’atenció additiva. La metodologia empra conjunts de models (ensembles) per millorar l’estabilitat predictiva i avalua la interpretabilitat del model analitzant com els models entrenats prioritzen les característiques i visualitzant valors d’atenció al llarg de la seqüència per revelar patrons de rellevància temporal. Una contribució central de la tesi és CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer), una arquitectura nova per a TSC que sintetitza coneixements derivats de la nostra recerca i d’avenços recents en el modelatge de seqüències. CLAIM combina la mescla dinàmica (de punts temporals i característiques) modulada pel contingut, biaixos inductius adaptatius i un disseny de blocs isòtrops de baix rang, que dona com a resultat un model eficient i interpretable. Experiments realitzats en conjunts de dades heterogenis (incloent trajectòries de pacients d’unitats de cures intensives, senyals de trànsit exoplanetari i formes d’ona d’electrocardiogrames) mostren que CLAIM sovint obté el millor rendiment en escenaris amb poques dades, en comparació amb transformers temporals i amb Multilayer Perceptron Mixers (MLP-Mixers). CLAIM també ofereix avantatges pràctics en interpretabilitat, gràcies als seus pesos dinàmics i als components de biaix inductiu explícits. A més, presenta una gran eficiència computacional, especialment durant la inferència. El model modula biaixos estructurals, com ara la localitat, la causalitat i la invariància espacial, d’una manera guiada per les dades, alineant-se amb els principis de disseny recents més efectius per al modelatge temporal. Així mateix, adapta la seva atenció segons el domini, tal com es reflecteix en la ponderació dinàmica dels components temporals, que concorda amb el coneixement consolidat dels dominis. La tesi contribueix una perspectiva unificada de la TSC de dades del món real, combinant mètodes guiats pel domini amb un enfocament de disseny generalitzable. L’arquitectura CLAIM resultant ofereix una solució interpretable, eficient i adaptativa que fa avançar el camp de TSC amb conjunts de dades limitats.<br />(Español) Esta tesis desarrolla un marco integral para la Clasificación de Series Temporales (TSC, por sus siglas en inglés) centrado en aplicaciones del mundo real caracterizadas por una disponibilidad limitada de datos, conjuntos de datos heterogéneos y una estructura temporal compleja, que culmina en un enfoque de modelado generalizable y adaptativo. Esta investigación lleva a cabo una revisión exhaustiva de los métodos recientes, identificando sus fortalezas y limitaciones, con especial atención a dominios específicos como la predicción de resistencia a antimicrobianos, la astronomía y la monitorización fisiológica. A partir de estos conocimientos, se desarrollan métodos de preprocesamiento para las series temporales consideradas, que incluyen la generación de nuevas características con información temporal basada en conocimiento experto, estimaciones robustas de importancia de características y selección de características basada en métodos wrapper. Metodológicamente, se diseñan estrategias de segmentación (windowing) para mitigar la escasez de datos y los cambios en la distribución temporal, se propone una arquitectura modular híbrida que integra mecanismos adecuados a las necesidades específicas de los datos, y se formula una adaptación del mecanismo de atención aditiva. La metodología emplea conjuntos de modelos (ensembles) para mejorar la estabilidad predictiva y evalúa la interpretabilidad del modelo analizando cómo los modelos entrenados priorizan las características y visualizando los valores de atención a lo largo de la secuencia para revelar patrones de relevancia temporal. Una contribución central de la tesis es CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer), una nueva arquitectura para TSC que sintetiza los conocimientos derivados de nuestra investigación y de los avances recientes en el modelado de secuencias. CLAIM combina la mezcla dinámica (de puntos temporales y características) modulada por el contenido, sesgos inductivos adaptativos y un diseño de bloques isotrópicos de bajo rango, lo que da lugar a un modelo eficiente e interpretable. Los experimentos llevados a cabo en conjuntos de datos heterogéneos (incluyendo trayectorias de pacientes en unidades de cuidados intensivos, señales de tránsito de exoplanetas y formas de onda de electrocardiogramas) muestran que CLAIM suele lograr el mejor rendimiento en escenarios con pocos datos en comparación con transformers temporales y con los modelos basados en Multilayer Perceptron Mixer (MLP-Mixer). CLAIM también ofrece ventajas prácticas en interpretabilidad, gracias a sus pesos dinámicos y a sus componentes con sesgos inductivos explícitos. Además, demuestra una gran eficiencia computacional, especialmente en el momento de la inferencia. El modelo modula sesgos estructurales, como la localidad, la causalidad y la invariancia espacial, de una manera guiada por los datos, alineándose con los principios de diseño recientes más efectivos para el modelado temporal. Asimismo, adapta su atención según el dominio, tal como se refleja en la ponderación dinámica de los componentes temporales, que corresponde con el conocimiento experto establecido. La tesis aporta una perspectiva unificada sobre la TSC de datos de mundo real, combinando métodos guiados por el dominio con un enfoque de modelado generalizable. La arquitectura CLAIM resultante ofrece una solución interpretable, eficiente y adaptativa que avanza el campo de TSC con conjuntos de datos limitados.<br />DOCTORAT EN INTEL·LIGÈNCIA ARTIFICIAL (Pla 2012) – Name: TypeDocument Label: Document Type Group: TypDoc Data: Dissertation/Thesis – Name: Format Label: File Description Group: SrcInfo Data: application/pdf – Name: Language Label: Language Group: Lang Data: English – Name: DOI Label: DOI Group: ID Data: 10.5821/dissertation-2117-464422 – Name: URL Label: Access URL Group: URL Data: <link linkTarget="URL" linkTerm="https://hdl.handle.net/10803/697710" linkWindow="_blank">https://hdl.handle.net/10803/697710</link><br /><link linkTarget="URL" linkTerm="https://dx.doi.org/10.5821/dissertation-2117-464422" linkWindow="_blank">https://dx.doi.org/10.5821/dissertation-2117-464422</link> – Name: Copyright Label: Rights Group: Cpyrght Data: L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc/4.0/ – Name: AN Label: Accession Number Group: ID Data: edstdx.10803.697710 |
| PLink | https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edstdx&AN=edstdx.10803.697710 |
| RecordInfo | BibRecord: BibEntity: Identifiers: – Type: doi Value: 10.5821/dissertation-2117-464422 Languages: – Text: English PhysicalDescription: Pagination: PageCount: 376 Subjects: – SubjectFull: time series classification Type: general – SubjectFull: time series analysis Type: general – SubjectFull: feature engineering and selection Type: general – SubjectFull: temporal windowing and decay weighting Type: general – SubjectFull: machine learning Type: general – SubjectFull: deep learning Type: general – SubjectFull: hybrid deep learning architectures Type: general – SubjectFull: adaptive inductive biases Type: general – SubjectFull: CLAIM (Content-modulated Low-rank Adaptive Isotropic Mixer) Type: general – SubjectFull: temporal modelling Type: general – SubjectFull: Àrees temàtiques de la UPC::Informàtica Type: general – SubjectFull: Àrees temàtiques de la UPC::Matemàtiques i estadística Type: general – SubjectFull: 004 - Informàtica Type: general – SubjectFull: 51 - Matemàtiques Type: general Titles: – TitleFull: Generalizable time series classification models for complex real-world applications Type: main BibRelationships: HasContributorRelationships: – PersonEntity: Name: NameFull: Hernàndez Carnerero, Àlvar IsPartOfRelationships: – BibEntity: Dates: – D: 08 M: 06 Type: published Y: 2026 |
| ResultId | 1 |