Dissertation/ Thesis
Image processing algorithms as artistic tools in digital cinema
| Τίτλος: | Image processing algorithms as artistic tools in digital cinema |
|---|---|
| Συγγραφείς: | Zabaleta Razquin, Itziar |
| Συνεισφορές: | University/Department: Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions |
| Thesis Advisors: | Bertalmío, Marcelo |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Pompeu Fabra, 2021. |
| Έτος έκδοσης: | 2021 |
| Φυσική περιγραφή: | 162 p. |
| Θεματικοί όροι: | Image processing, Style transfer, Color grading, Retinal noise, Texture addition, Coding efficiency, Image quality assessment, Image quality metric, Procesamiento de imágenes, Ruido retiniano, Adición de textura, Codificación eficiente, Calidad de imagen, Métrica de calidad de imagen |
| Περιγραφή: | The industry of cinema has experienced a radical change in the last decades: the transition from film cinematography to its digital format. As a consequence, several challenges have appeared, but, at the same time, many possibilities are open now for cinematographers to explore with this new medium. In this thesis, we propose different tools that can be useful for cinematographers while doing their craft. First, we develop a tool for automatic color grading. It is a statistics-based method to automatically transfer the style from a graded image to unprocessed footage. Some advantages of the model are its simplicity and low computational cost, which make it amenable for real-time implementation, allowing cinematographers to experiment on-set with different styles and looks. Then, a method for adding texture to footage is created. In cinema, the most commonly used texture is film grain, either directly shooting on film, or adding synthetic grain later-on at post-production stage. We propose a model of "retinal noise" which is inspired by processes in the visual system, and produces results that look natural and visually pleasing. It has parameters that allow to vary widely the resulting texture appearance, which make it an artistic tool for cinematographers. Moreover, due to the "masking" phenomenon of the visual system, the addition of this texture improves the perceived visual quality of images, resulting in bit rate and bandwidth savings. The method has been validated through psychophysical experiments in which observers, including cinema professionals, prefer it over film grain emulation alternatives from academia and the industry. Finally, we introduce a physiology-based image quality metric, which can have several applications in the image processing field, and more specifically in the cinema and broadcasting context: video coding, image compression, etc. We study an optimization of the model parameters in order to be competitive with the state-of-the-art quality metrics. An advantage of the method is its reduced number of parameters, compared with some state-of-the-art methods based in deep-learning, which have a number of parameters several orders of magnitude larger. |
| Description (Translated): | La industria del cine ha experimentado un cambio radical en las últimas décadas: la transición de su soporte fílmico a la tecnología del cine digital. Como consecuencia, han aparecido algunos desafíos técnicos, pero, al mismo tiempo, infinitas nuevas posibilidades se han abierto con la utilización de este nuevo medio. En esta tesis, se proponen diferentes herramientas que pueden ser útiles en el contexto del cine. Primero, se ha desarrollado una herramienta para aplicar \textit{color grading} de manera automática. Es un método basado en estadísticas de imágenes, que transfiere el estilo de una imagen de referencia a metraje sin procesar. Las ventajas del método son su sencillez y bajo coste computacional, que lo hacen adecuado para ser implementado a tiempo real, permitiendo que se pueda experimentar con diferentes estilos y 'looks', directamente on-set. En segundo lugar, se ha creado un método para mejorar imágenes mediante la adición de textura. En cine, el grano de película es la textura más utilizada, ya sea porque la grabación se hace directamente sobre película, o porque ha sido añadido a posteriori en contenido grabado en formato digital. En esta tesis se propone un método de 'ruido retiniano' inspirado en procesos del sistema visual, que produce resultados naturales y visualmente agradables. El modelo cuenta con parámetros que permiten variar ampliamente la apariencia de la textura, y por tanto puede ser utilizado como una herramienta artística para cinematografía. Además, debido al fenómeno de enmascaramiento del sistema visual, al añadir esta textura se produce una mejora en la calidad percibida de las imágenes, lo que supone ahorros en ancho de banda y tasa de bits. El método ha sido validado mediante experimentos psicofísicos en los cuales ha sido elegido por encima de otros métodos que emulan grano de película, métodos procedentes de academia como de industria. Finalmente, se describe una métrica de calidad de imágenes, basada en fenómenos fisiológicos, con aplicaciones tanto en el campo del procesamiento de imágenes, como más concretamente en el contexto del cine y la transmisión de imágenes: codificación de vídeo, compresión de imágenes, etc. Se propone la optimización de los parámetros del modelo, de manera que sea competitivo con otros métodos del estado del arte . Una ventaja de este método es su reducido número de parámetros comparado con algunos métodos basados en deep learning, que cuentan con un número varios órdenes de magnitud mayor. Programa de doctorat en Tecnologies de la Informació i les Comunicacions |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | English |
| Σύνδεσμος πρόσβασης: | http://hdl.handle.net/10803/672840 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-sa/4.0/ |
| Αριθμός Καταχώρησης: | edstdx.10803.672840 |
| Βάση Δεδομένων: | TDX |
| FullText | Text: Availability: 0 CustomLinks: – Url: http://hdl.handle.net/10803/672840# Name: EDS - TDX (ns324271) Category: fullText Text: View record in TDX |
|---|---|
| Header | DbId: edstdx DbLabel: TDX An: edstdx.10803.672840 RelevancyScore: 1346 AccessLevel: 3 PubType: Dissertation/ Thesis PubTypeId: dissertation PreciseRelevancyScore: 1345.79650878906 |
| IllustrationInfo | |
| Items | – Name: Title Label: Title Group: Ti Data: Image processing algorithms as artistic tools in digital cinema – Name: Author Label: Authors Group: Au Data: <searchLink fieldCode="AR" term="%22Zabaleta+Razquin%2C+Itziar%22">Zabaleta Razquin, Itziar</searchLink> – Name: Author Label: Contributors Group: Au Data: University/Department: Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions – Name: Author Label: Thesis Advisors Group: Au Data: Bertalmío, Marcelo – Name: TitleSource Label: Source Group: Src Data: TDX (Tesis Doctorals en Xarxa) – Name: Publisher Label: Publisher Information Group: PubInfo Data: Universitat Pompeu Fabra, 2021. – Name: DatePubCY Label: Publication Year Group: Date Data: 2021 – Name: PhysDesc Label: Physical Description Group: PhysDesc Data: 162 p. – Name: Subject Label: Subject Terms Group: Su Data: <searchLink fieldCode="DE" term="%22Image+processing%22">Image processing</searchLink><br /><searchLink fieldCode="DE" term="%22Style+transfer%22">Style transfer</searchLink><br /><searchLink fieldCode="DE" term="%22Color+grading%22">Color grading</searchLink><br /><searchLink fieldCode="DE" term="%22Retinal+noise%22">Retinal noise</searchLink><br /><searchLink fieldCode="DE" term="%22Texture+addition%22">Texture addition</searchLink><br /><searchLink fieldCode="DE" term="%22Coding+efficiency%22">Coding efficiency</searchLink><br /><searchLink fieldCode="DE" term="%22Image+quality+assessment%22">Image quality assessment</searchLink><br /><searchLink fieldCode="DE" term="%22Image+quality+metric%22">Image quality metric</searchLink><br /><searchLink fieldCode="DE" term="%22Procesamiento+de+imágenes%22">Procesamiento de imágenes</searchLink><br /><searchLink fieldCode="DE" term="%22Ruido+retiniano%22">Ruido retiniano</searchLink><br /><searchLink fieldCode="DE" term="%22Adición+de+textura%22">Adición de textura</searchLink><br /><searchLink fieldCode="DE" term="%22Codificación+eficiente%22">Codificación eficiente</searchLink><br /><searchLink fieldCode="DE" term="%22Calidad+de+imagen%22">Calidad de imagen</searchLink><br /><searchLink fieldCode="DE" term="%22Métrica+de+calidad+de+imagen%22">Métrica de calidad de imagen</searchLink> – Name: Abstract Label: Description Group: Ab Data: The industry of cinema has experienced a radical change in the last decades: the transition from film cinematography to its digital format. As a consequence, several challenges have appeared, but, at the same time, many possibilities are open now for cinematographers to explore with this new medium. In this thesis, we propose different tools that can be useful for cinematographers while doing their craft. First, we develop a tool for automatic color grading. It is a statistics-based method to automatically transfer the style from a graded image to unprocessed footage. Some advantages of the model are its simplicity and low computational cost, which make it amenable for real-time implementation, allowing cinematographers to experiment on-set with different styles and looks. Then, a method for adding texture to footage is created. In cinema, the most commonly used texture is film grain, either directly shooting on film, or adding synthetic grain later-on at post-production stage. We propose a model of "retinal noise" which is inspired by processes in the visual system, and produces results that look natural and visually pleasing. It has parameters that allow to vary widely the resulting texture appearance, which make it an artistic tool for cinematographers. Moreover, due to the "masking" phenomenon of the visual system, the addition of this texture improves the perceived visual quality of images, resulting in bit rate and bandwidth savings. The method has been validated through psychophysical experiments in which observers, including cinema professionals, prefer it over film grain emulation alternatives from academia and the industry. Finally, we introduce a physiology-based image quality metric, which can have several applications in the image processing field, and more specifically in the cinema and broadcasting context: video coding, image compression, etc. We study an optimization of the model parameters in order to be competitive with the state-of-the-art quality metrics. An advantage of the method is its reduced number of parameters, compared with some state-of-the-art methods based in deep-learning, which have a number of parameters several orders of magnitude larger. – Name: Abstract Label: Description (Translated) Group: Ab Data: La industria del cine ha experimentado un cambio radical en las últimas décadas: la transición de su soporte fílmico a la tecnología del cine digital. Como consecuencia, han aparecido algunos desafíos técnicos, pero, al mismo tiempo, infinitas nuevas posibilidades se han abierto con la utilización de este nuevo medio. En esta tesis, se proponen diferentes herramientas que pueden ser útiles en el contexto del cine. Primero, se ha desarrollado una herramienta para aplicar \textit{color grading} de manera automática. Es un método basado en estadísticas de imágenes, que transfiere el estilo de una imagen de referencia a metraje sin procesar. Las ventajas del método son su sencillez y bajo coste computacional, que lo hacen adecuado para ser implementado a tiempo real, permitiendo que se pueda experimentar con diferentes estilos y 'looks', directamente on-set. En segundo lugar, se ha creado un método para mejorar imágenes mediante la adición de textura. En cine, el grano de película es la textura más utilizada, ya sea porque la grabación se hace directamente sobre película, o porque ha sido añadido a posteriori en contenido grabado en formato digital. En esta tesis se propone un método de 'ruido retiniano' inspirado en procesos del sistema visual, que produce resultados naturales y visualmente agradables. El modelo cuenta con parámetros que permiten variar ampliamente la apariencia de la textura, y por tanto puede ser utilizado como una herramienta artística para cinematografía. Además, debido al fenómeno de enmascaramiento del sistema visual, al añadir esta textura se produce una mejora en la calidad percibida de las imágenes, lo que supone ahorros en ancho de banda y tasa de bits. El método ha sido validado mediante experimentos psicofísicos en los cuales ha sido elegido por encima de otros métodos que emulan grano de película, métodos procedentes de academia como de industria. Finalmente, se describe una métrica de calidad de imágenes, basada en fenómenos fisiológicos, con aplicaciones tanto en el campo del procesamiento de imágenes, como más concretamente en el contexto del cine y la transmisión de imágenes: codificación de vídeo, compresión de imágenes, etc. Se propone la optimización de los parámetros del modelo, de manera que sea competitivo con otros métodos del estado del arte . Una ventaja de este método es su reducido número de parámetros comparado con algunos métodos basados en deep learning, que cuentan con un número varios órdenes de magnitud mayor.<br />Programa de doctorat en Tecnologies de la Informació i les Comunicacions – Name: TypeDocument Label: Document Type Group: TypDoc Data: Dissertation/Thesis – Name: Format Label: File Description Group: SrcInfo Data: application/pdf – Name: Language Label: Language Group: Lang Data: English – Name: URL Label: Access URL Group: URL Data: <link linkTarget="URL" linkTerm="http://hdl.handle.net/10803/672840" linkWindow="_blank">http://hdl.handle.net/10803/672840</link> – Name: Copyright Label: Rights Group: Cpyrght Data: L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-sa/4.0/ – Name: AN Label: Accession Number Group: ID Data: edstdx.10803.672840 |
| PLink | https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edstdx&AN=edstdx.10803.672840 |
| RecordInfo | BibRecord: BibEntity: Languages: – Text: English PhysicalDescription: Pagination: PageCount: 162 Subjects: – SubjectFull: Image processing Type: general – SubjectFull: Style transfer Type: general – SubjectFull: Color grading Type: general – SubjectFull: Retinal noise Type: general – SubjectFull: Texture addition Type: general – SubjectFull: Coding efficiency Type: general – SubjectFull: Image quality assessment Type: general – SubjectFull: Image quality metric Type: general – SubjectFull: Procesamiento de imágenes Type: general – SubjectFull: Ruido retiniano Type: general – SubjectFull: Adición de textura Type: general – SubjectFull: Codificación eficiente Type: general – SubjectFull: Calidad de imagen Type: general – SubjectFull: Métrica de calidad de imagen Type: general Titles: – TitleFull: Image processing algorithms as artistic tools in digital cinema Type: main BibRelationships: HasContributorRelationships: – PersonEntity: Name: NameFull: Zabaleta Razquin, Itziar IsPartOfRelationships: – BibEntity: Dates: – D: 01 M: 10 Type: published Y: 2021 |
| ResultId | 1 |