Dissertation/ Thesis
Contributions to medical diagnosis using deep learning on retinal data
| Τίτλος: | Contributions to medical diagnosis using deep learning on retinal data |
|---|---|
| Συγγραφείς: | Ashtari-Majlan, Mona |
| Συνεισφορές: | University/Department: Universitat Oberta de Catalunya. Escola de Doctorat |
| Thesis Advisors: | Masip Rodó, David |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Oberta de Catalunya, 2026. |
| Έτος έκδοσης: | 2026 |
| Φυσική περιγραφή: | 122 p. |
| Θεματικοί όροι: | aprenentatge profund multimodal, aprendizaje profundo multimodal, multimodal deep learning, fusió basada en atenció, fusión basada en atención, attention-based fusion, tomografia de coherència òptica 3D, tomografía de coherencia óptica 3D, 3D optical coherence tomography, fotografia de fons d'ull en color, fotografía de fondo de ojo a color, color fundus photography, visió per computador, visión por computador, computer vision transformers, Tecnologies de la informació i de xarxes |
| Περιγραφή: | Glaucoma is a progressive optic neuropathy and the leading cause of irreversible blindness worldwide. The disease is associated with retinal structural damage as well as functional vision loss. Yet its asymptomatic onset and heterogeneous presentation make diagnosis inherently complex. Current clinical practice relies on a combination of structural imaging, such as Optical Coherence Tomography (OCT) and Color Fundus Photography (CFP), and functional assessment via Standard Automated Perimetry (SAP). These methods are resource-intensive, subjective, and poorly scalable, limiting their effectiveness in routine clinical use. This thesis proposes Artificial Intelligence (AI)-based frameworks that leverage ocular imaging to address these challenges by enabling automated, objective, and scalable approaches for glaucoma diagnosis and functional assessment. To advance automated glaucoma diagnosis from OCT volumes, this thesis introduces a deep learning-based framework for holistic analysis of the entire ocular structure. The proposed architecture integrates a pre-trained Vision Transformer (ViT) for feature extraction from individual B-scans with a Bidirectional Gated Recurrent Unit to capture inter-slice spatial dependencies. This design enables the comprehensive modeling of local retinal details and global structural integrity, both critical for accurate glaucoma diagnosis. Evaluation on a real-world 3D OCT dataset demonstrates superior performance and robustness compared to state-of-the-art slice-based and volumetric methods, underscoring the framework's potential as a clinical decision support tool in glaucoma management. The limitations of SAP for functional assessment have motivated growing interest in predicting Visual Field (VF) indices directly from structural imaging. To this end, this thesis extends the glaucoma classification framework into a multimodal deep learning model that maps complementary information from paired 3D OCT and CFP images to global VF indices, specifically Mean Deviation (MD) and Pattern Standard Deviation (PSD). The architecture comprises two modality-specific encoders for feature extraction and an attention-based fusion module that models cross-modal correlations. Evaluation on two structurally distinct datasets with optic disc and macular fixation points demonstrates improved predictive performance and generalization compared to state-of-the-art approaches. These findings underscore the potential of multimodal structural imaging to enhance functional assessment in glaucoma. In summary, these contributions advance the application of AI in glaucoma by addressing both automated disease diagnosis and functional assessment. Using volumetric OCT analysis and multimodal structure-function mapping, this thesis demonstrates that deep learning can capture subtle and spatially distributed patterns across ocular modalities that are often overlooked in conventional approaches. The proposed frameworks highlight the potential of AI to improve diagnostic accuracy, scalability, and accessibility, supporting clinical decision-making and more equitable glaucoma care. |
| Description (Translated): | El glaucoma es una neuropatía óptica progresiva y la principal causa de ceguera irreversible en todo el mundo. La enfermedad está asociada al daño estructural retiniano, así como con la pérdida de visión funcional. Sin embargo, su inicio asintomático y su distribución heterogénea hacen que el diagnóstico sea inherentemente complejo. La práctica clínica actual para su diagnóstico se basa en una combinación de imágenes estructurales, como la tomografía de coherencia óptica (OCT, Optical Coherence Tomography) y la fotografía de fondo de ojo a color (CFP, Color Fundus Photography), y la evaluación funcional mediante perimetría automatizada estándar (SAP, Standard Automated Perimetry). Estos métodos son intensivos en recursos, subjetivos y poco escalables, lo que limita su eficacia en el uso clínico rutinario. Esta tesis propone nuevos métodos basados en inteligencia artificial (IA) que aprovechan las imágenes oculares para abordar estos desafíos y permiten enfoques automatizados, objetivos y escalables para el diagnóstico y la evaluación funcional del glaucoma. Para avanzar en el diagnóstico automatizado del glaucoma a partir de volúmenes de OCT, esta tesis introduce un modelo basado en aprendizaje profundo para el análisis holístico de toda la estructura ocular. La arquitectura propuesta integra un transformador de visión (ViT) preentrenado para la extracción de características de escaneos B (B-scans) individuales con una red neuronal recurrente (Bidirectional Gated Recurrent Unit) para capturar dependencias espaciales entre secciones del OCT. Este diseño permite el modelado integral de detalles locales de la retina y la integridad estructural global, ambos críticos para un diagnóstico preciso del glaucoma. La evaluación en un conjunto de datos de OCT 3D del mundo real demuestra un rendimiento y una robustez superiores en comparación con los métodos volumétricos y basados en secciones de última generación, lo que subraya el potencial del modelo como herramienta de apoyo a la decisión clínica en el diagnóstico del glaucoma. Las limitaciones de la SAP para la evaluación funcional han motivado un creciente interés en predecir los índices de campo visual (VF, Visual Field) directamente a partir de imágenes estructurales. Con este fin, esta tesis extiende el marco de clasificación de glaucoma a un modelo de aprendizaje profundo multimodal que mapea información complementaria de imágenes pareadas de OCT 3D y CFP a índices VF globales, específicamente desviación media (MD, Mean Deviation) y desviación estándar del patrón (PSD, Pattern Standard Deviation). La arquitectura comprende dos codificadores específicos de modalidad para la extracción de características y un módulo de fusión basado en atención que modela correlaciones intermodales. La evaluación en dos conjuntos de datos estructuralmente distintos con puntos de fijación del disco óptico y la mácula demuestra un rendimiento predictivo y una generalización mejorados en comparación con los enfoques previos. Estos hallazgos subrayan el potencial de las imágenes estructurales multimodales para mejorar la evaluación funcional en el glaucoma. En resumen, estas contribuciones avanzan en la aplicación de la IA al diagnóstico del glaucoma al abordar tanto el diagnóstico automatizado de la enfermedad como la evaluación funcional. Utilizando el análisis volumétrico de OCT y el mapeo multimodal estructural y funcional, esta tesis demuestra que el aprendizaje profundo puede capturar patrones sutiles y espacialmente distribuidos en las modalidades oculares que a menudo se pasan por alto en los enfoques convencionales. Los modelos propuestos resaltan el potencial de la IA para mejorar la precisión diagnóstica, la escalabilidad y la accesibilidad, apoyando la toma de decisiones clínicas y una atención del glaucoma más equitativa. El glaucoma és una neuropatia òptica progressiva i la principal causa de ceguesa irreversible a tot el món. La malaltia està associada amb dany estructural retinià, així com amb pèrdua de visió funcional. No obstant això, l'inici asimptomàtic i la distribució heterogènia de la neuropatia fan que el diagnòstic sigui inherentment complex. La pràctica clínica actual es basa en una combinació d'imatges estructurals, com la tomografia de coherència òptica (OCT, Optical Coherence Tomography) i la totografia de fons d'ull en color (CFP, Color Fundus Photography), i l'avaluació funcional mitjançant perimetria automatitzada estàndard (SAP, Standard Automated Perimetry). Aquests mètodes són intensius en recursos, subjectius i poc escalables, cosa que en limita l'eficàcia en l'ús clínic rutinari. Aquesta tesi proposa models basats en intel·ligència artificial (IA) que aprofiten les imatges oculars per abordar aquests reptes i que permeten enfocaments automatitzats, objectius i escalables pel diagnòstic i l'avaluació funcional del glaucoma. Per avançar en el diagnòstic automatitzat del glaucoma a partir de volums d'OCT, aquesta tesi introdueix un model basat en l'aprenentatge profund per a l'anàlisi holística de tota l'estructura ocular. L'arquitectura proposada integra un transformador de visió (ViT) preentrenat per a l'extracció de característiques d'escanejos B (B-scans) individuals amb una xarxa neuronal recurrent (Bidirectional Gated Recurrent Unit) per capturar dependències espacials entre seccions. Aquest disseny permet el modelatge integral de detalls locals de la retina i la integritat estructural global, ambdós crítics per a un diagnòstic precís del glaucoma. L'avaluació en un conjunt de dades d'OCT 3D del món real demostra un rendiment i una robustesa superiors en comparació amb els mètodes volumètrics i processaments en seccions d'última generació, cosa que subratlla el potencial del model com a eina de suport a la decisió clínica en la diagnosi del glaucoma. Les limitacions de la SAP per a l'avaluació funcional han motivat un creixent interès a predir els índexs de camp visual (VF, Visual Field) directament a partir d'imatges estructurals. Amb aquesta finalitat, aquesta tesi estén el marc de classificació de glaucoma a un model d'aprenentatge profund multimodal que mapeja informació complementària d'imatges aparellades d'OCT 3D i CFP a índexs VF globals, específicament desviació mitjana (MD, Mean Deviation) i desviació estàndard del patró (PSD, Pattern Standard Deviation). L'arquitectura comprèn dos codificadors específics de modalitat per a l'extracció de característiques i un mòdul de fusió basat en atenció que modela correlacions intermodals. L'avaluació en dos conjunts de dades estructuralment diferents amb punts de fixació del disc òptic i la màcula demostra un rendiment predictiu i una generalització millorats en comparació amb els enfocaments previs. Aquests resultats destaquen el potencial de les imatges estructurals multimodals per millorar l'avaluació funcional en el glaucoma. En resum, aquestes contribucions avancen en l'aplicació de la IA a la diagnosi del glaucoma en abordar tant el diagnòstic automatitzat de la malaltia com l'avaluació funcional. Utilitzant l'anàlisi volumètrica d'OCT i el mapeig multimodal estructural i funcional, aquesta tesi demostra que l'aprenentatge profund pot capturar patrons subtils i espacialment distribuïts en les modalitats oculars que sovint es passen per alt en els enfocaments convencionals. Els models proposats ressalten el potencial de la IA per millorar la precisió diagnòstica, l'escalabilitat i l'accessibilitat, i dona suport a la presa de decisions clíniques i a una atenció del glaucoma més equitativa. Tecnologies de la informació i de xarxes |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | Catalan; Valencian |
| Σύνδεσμος πρόσβασης: | https://hdl.handle.net/10803/696882 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/ |
| Αριθμός Καταχώρησης: | edstdx.10803.696882 |
| Βάση Δεδομένων: | TDX |
| Η περιγραφή δεν είναι διαθέσιμη |