Single-Image based unsupervised joint segmentation and denoising
| Title: | Single-Image based unsupervised joint segmentation and denoising |
|---|---|
| Authors: | Nadja Gruber, Johannes Schwab, Noémie Debroux, Nicolas Papadakis, Markus Haltmeier |
| Publisher Information: | OpenAlex, 2023. |
| Publication Year: | 2023 |
| Subject Terms: | Advanced Techniques in Bioimage Analysis and Microscopy, Autofocusing in Microscopy and Photography, Artificial intelligence, Scale-space segmentation, Biomedical Engineering, Biophysics, Noise (video), Digital Imaging, FOS: Medical engineering, Pattern recognition (psychology), Unsupervised learning, Engineering, Segmentation, Functional Imaging, Segmentation-based object categorization, Biochemistry, Genetics and Molecular Biology, Media Technology, Image (mathematics), FOS: Mathematics, 14. Life underwater, Noise reduction, Image segmentation, Architectural engineering, Statistics, Life Sciences, Advances in Photoacoustic Imaging and Tomography, Autofocusing, 15. Life on land, Computer science, In Vivo Imaging, Joint (building), 13. Climate action, Physical Sciences, Bioimage Analysis, Computer vision, Energy (signal processing), Mathematics |
| Description: | Dans ce travail, nous développons une méthode non supervisée pour la segmentation conjointe et le débruitage d'une seule image. À cette fin, nous combinons les avantages d'une méthode de segmentation variationnelle avec la puissance d'une approche d'apprentissage en profondeur auto-supervisée et basée sur une seule image. L'une des principales forces de notre méthode réside dans le fait que, contrairement aux méthodes basées sur les données, où d'énormes quantités d'échantillons étiquetés sont nécessaires, notre modèle peut segmenter une image en plusieurs régions significatives sans aucune base de données de formation. En outre, nous introduisons une nouvelle fonction énergétique dans laquelle le débruitage et la segmentation sont couplés de manière à ce que les deux tâches bénéficient l'une de l'autre. Les limites des méthodes de segmentation variationnelle basées sur une seule image existantes, qui ne sont pas capables de traiter un bruit élevé ou une texture générique, sont abordées par cette combinaison spécifique avec le débruitage d'image autosupervisé. Nous proposons une stratégie d'optimisation unifiée et montrons que, notamment pour les images très bruyantes disponibles en microscopie, notre approche conjointe proposée surpasse son homologue séquentielle ainsi que les méthodes alternatives axées uniquement sur le débruitage ou la segmentation. Une autre comparaison est effectuée avec une approche d'apprentissage profond supervisé conçue pour la même application, soulignant la bonne performance de notre approche. En este trabajo, desarrollamos un método no supervisado para la segmentación y eliminación conjunta de una sola imagen. Con este fin, combinamos las ventajas de un método de segmentación variacional con el poder de un enfoque de aprendizaje profundo auto-supervisado y basado en una sola imagen. Una fortaleza importante de nuestro método radica en el hecho de que, en contraste con los métodos basados en datos, donde se necesitan grandes cantidades de muestras etiquetadas, nuestro modelo puede segmentar una imagen en múltiples regiones significativas sin ninguna base de datos de capacitación. Además, introducimos una nueva función de energía en la que la eliminación de ruido y la segmentación se acoplan de manera que ambas tareas se benefician mutuamente. Las limitaciones de los métodos de segmentación variacional basados en una sola imagen existentes, que no son capaces de lidiar con un alto nivel de ruido o una textura genérica, se abordan mediante esta combinación específica con el desenmascaramiento de imágenes auto-supervisado. Proponemos una estrategia de optimización unificada y mostramos que, especialmente para imágenes muy ruidosas disponibles en microscopía, nuestro enfoque conjunto propuesto supera a su contraparte secuencial, así como a métodos alternativos centrados exclusivamente en la eliminación de ruido o la segmentación. Otra comparación se realiza con un enfoque de aprendizaje profundo supervisado diseñado para la misma aplicación, destacando el buen desempeño de nuestro enfoque. In this work, we develop an unsupervised method for the joint segmentation and denoising of a single image. To this end, we combine the advantages of a variational segmentation method with the power of a self-supervised, single-image based deep learning approach. One major strength of our method lies in the fact, that in contrast to data-driven methods, where huge amounts of labeled samples are necessary, our model can segment an image into multiple meaningful regions without any training database. Further, we introduce a novel energy functional in which denoising and segmentation are coupled in a way that both tasks benefit from each other. The limitations of existing single-image based variational segmentation methods, which are not capable of dealing with high noise or generic texture, are tackled by this specific combination with self-supervised image denoising. We propose a unified optimisation strategy and show that, especially for very noisy images available in microscopy, our proposed joint approach outperforms its sequential counterpart as well as alternative methods focused purely on denoising or segmentation. Another comparison is conducted with a supervised deep learning approach designed for the same application, highlighting the good performance of our approach. في هذا العمل، نطور طريقة غير خاضعة للإشراف لتقسيم المفصل وإزالة الضوضاء من صورة واحدة. ولتحقيق هذه الغاية، نجمع بين مزايا طريقة التقسيم المتغير وقوة نهج التعلم العميق القائم على صورة واحدة والذي يخضع للإشراف الذاتي. تكمن إحدى نقاط القوة الرئيسية لطريقتنا في حقيقة أنه على النقيض من الطرق القائمة على البيانات، حيث تكون هناك حاجة إلى كميات هائلة من العينات المصنفة، يمكن لنموذجنا تقسيم صورة إلى مناطق متعددة ذات مغزى دون أي قاعدة بيانات تدريبية. علاوة على ذلك، نقدم وظيفة طاقة جديدة تقترن فيها إزالة الضوضاء والتجزئة بطريقة تستفيد فيها كلتا المهمتين من بعضهما البعض. يتم التعامل مع قيود طرق التقسيم المتغير القائمة على صورة واحدة، والتي لا يمكنها التعامل مع الضوضاء العالية أو الملمس العام، من خلال هذا المزيج المحدد مع الحد من ضوضاء الصورة الخاضعة للإشراف الذاتي. نقترح استراتيجية تحسين موحدة ونظهر أنه، خاصة بالنسبة للصور الصاخبة جدًا المتاحة في الفحص المجهري، يتفوق نهجنا المشترك المقترح على نظيره المتسلسل بالإضافة إلى الطرق البديلة التي تركز فقط على إزالة الضوضاء أو التجزئة. يتم إجراء مقارنة أخرى باستخدام نهج التعلم العميق الخاضع للإشراف والمصمم لنفس التطبيق، مما يسلط الضوء على الأداء الجيد لنهجنا. |
| Document Type: | Other literature type |
| Language: | English |
| DOI: | 10.60692/q0v8q-t9k88 |
| DOI: | 10.60692/eec7m-r7t24 |
| Accession Number: | edsair.doi.dedup.....73e3e6f682c3440e25da21a1be1dd6ee |
| Database: | OpenAIRE |
| DOI: | 10.60692/q0v8q-t9k88 |
|---|