Dissertation/ Thesis
Piano Performance Analysis via Dynamics Estimation and Feedback Classification
| Τίτλος: | Piano Performance Analysis via Dynamics Estimation and Feedback Classification |
|---|---|
| Συγγραφείς: | Kim, Hyon |
| Thesis Advisors: | Serra, Xavier |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Pompeu Fabra, 2026. |
| Έτος έκδοσης: | 2026 |
| Φυσική περιγραφή: | 124 p. |
| Θεματικοί όροι: | Recuperació d'informació music, Music Information Retrieval, Recuperación de información mu, Anàlisi de la dinàmica musical, Music Dynamics Analysis, Análisis de la dinámica musica, Educació musical, Music Education, Educación musical |
| Περιγραφή: | Aquesta tesi investiga models computacionals per a la comprensió i l’avaluació de la interpretació pianística, amb especial èmfasi en tres tasques interrelacionades: l’estimació de la velocitat de notes MIDI a partir de l’àudio, predicció simbòlica de marques dinàmiques (DMs) a partir de velocitats MIDI, i finalment, l’avaluació automàtica del rendiment dels estudiants. Tot i que aquestes tasques tenen rellevància pedagògica, s’aborden principalment des de la perspectiva d’enriquir la comprensió de l’expressivitat interpretativa a través de processos computacionals, amb l’objectiu de donar suport a l’anàlisi de la interpretació musical. La primera part de la tesi presenta la recerca existent i més rellevant sobre l’anàlisi de la interpretació pianística, i posa èmfasis en dimensions expressives com la dinàmica i la tècnica. S’hi identifiquen les limitacions dels mètodes existents i es remarca la necessitat de models més detallats, robustos i que tinguin en compte el context. La segona part es centra en l’estimació de velocitats MIDI directament de gravacions d’àudio, un pas essencial per captar els matisos expressius de la interpretació. A diferència de la majoria de mètodes de transcripció, els quals prioritzen la detecció de notes i atacs, aquesta idea aborda una dimensió menys explorada de la intensitat expressiva. Es proposen i comparen diverses arquitectures d’aprenentatge profund, incloent models CNN-GRU amb condicionament FiLM, models de difusió i U-Nets amb mecanismes d’atenció. Aquests models s’avaluen en comparació als mètodes prèviament establerts, mostrant millores en precisió, generalització i robustesa. La tercera part presenta un marc per a la predicció simbòlica de DMs a partir de velocitats MIDI en la interpretació. Es proposa un mètode de tokenització que integra l’estructura de la partitura amb els perfils de velocitat, i es desenvolupa un model basat en RoBERTa per inferir marques expressives com \textit{pp}, \textit{mf} o \textit{dim.}. Aquest és el primer intent d’abordar aquesta tasca com un problema de modelatge seqüencial contextual. Finalment, es presenta un prototip per a l’avaluació automàtica de la interpretació musical. Mitjançant representacions simbòliques extretes per transcripció, es desenvolupen classificadors neuronals per detectar problemes comuns en la interpretació —com problemes de dinàmica, irregularitats rítmiques o manca de fluïdesa— i s’assignen puntuacions a dimensions com la fluïdesa o la tècnica. El sistema demostra el potencial dels mètodes automàtics per generar una avaluació útil i comprensible. En conjunt, aquests tres components formen un marc per a la comprensió detallada de la interpretació pianística, des de la predicció de dinàmiques fins a la interpretació simbòlica i finalment, l’avaluació. Els mètodes proposats aporten noves eines i perspectives, amb aplicacions que abasten des de l’educació musical fins a l’anàlisi expressiva i la interacció home-màquina en entorns musicals. |
| Description (Translated): | Esta tesis investiga enfoques computacionales para la comprensión y evaluación de la interpretación pianística, con un enfoque en tres tareas interrelacionadas: estimación de la velocidad MIDI a nivel de nota a partir de audio, predicción simbólica de matices dinámicos (DMs) a partir de velocidades estimadas, y etiquetado automático de retroalimentación junto con clasificación de calificaciones. Aunque estas tareas tienen aplicaciones pedagógicas evidentes, el trabajo se orienta principalmente hacia la comprensión computacional de la expresividad musical en la interpretación, con el objetivo de enriquecer tanto el análisis automatizado como la interacción con el contenido musical. La primera parte de la tesis se centra en la estimación de velocidades MIDI a nivel de nota desde grabaciones de audio, un aspecto fundamental para captar los matices dinámicos de la interpretación. Mientras que la transcripción automática tradicional se ha centrado en la detección de alturas y ataques, esta investigación aborda la dimensión poco explorada de la intensidad. Se proponen y comparan arquitecturas basadas en redes neuronales profundas, incluyendo modelos \gls{cnn}-\gls{gru} condicionados con FiLM, modelos de difusión y U-Nets con mecanismos de atención. Estos modelos se comparan con métodos tradicionales como la factorización no negativa (NMF), demostrando mejoras en precisión y generalización. Sobre la base de las velocidades MIDI estimadas, la segunda parte introduce un sistema para predecir marcas dinámicas simbólicas. Mediante un método de tokenización que combina la estructura de la partitura con la información dinámica, se entrena un modelo de lenguaje enmascarado basado en RoBERTa para mapear secuencias de velocidades a marcas expresivas como \textit{p}, \textit{f}, o \textit{dim.}. Este enfoque representa el primer intento de modelar dinámicas simbólicas desde patrones de ejecución a través de modelado contextual secuencial. La tercera contribución se centra en la generación de retroalimentación y la estimación automática de calificaciones de interpretación. A partir de representaciones simbólicas extraídas mediante transcripción, se entrenan clasificadores para identificar etiquetas pedagógicas —problemas de dinámica, irregularidades rítmicas, etc.— y calificar dimensiones como fluidez, técnica y comunicación. Este sistema demuestra el potencial de las técnicas de aprendizaje profundo para conectar análisis de señales con retroalimentación comprensible y útil para el estudiante. En conjunto, estos tres componentes forman un pipeline modular para la comprensión profunda de la interpretación pianística, desde niveles bajos de dinámica hasta interpretación simbólica y evaluación significativa. El trabajo contribuye tanto con innovaciones metodológicas como con herramientas prácticas para la comunidad de recuperación de información musical y el análisis automatizado del rendimiento musical. This thesis investigates computational approaches for understanding and evaluating piano performance, with a focus on three interrelated tasks: note-level MIDI velocity estimation from audio, symbolic \gls{dm} prediction from aggregated performance MIDI velocities, and automatic feedback tagging and scoring of student performance. While these tasks have pedagogical relevance, they are approached primarily from the perspective of enhancing computational understanding of expressive piano performance, with the goal of supporting both performance analysis and intuitive visualization. The first part of the thesis introduces relevant research in \gls{mir} related to piano performance analysis, with an emphasis on expressive dimensions such as dynamics, timing, and technique. It outlines existing methods and their limitations, highlighting the need for robust, detailed, and context-aware performance modeling. The second part focuses on the estimation of note-level MIDI velocities from raw audio recordings—a critical step for understanding expressive nuances in performance. Unlike most transcription methods that prioritize pitch and onset detection, this work addresses the less explored dimension of loudness at the note level. Several deep learning architectures are proposed and compared, including FiLM-conditioned \gls{cnn}-\gls{gru} models, diffusion-based networks, and U-Net models with attention mechanisms. These models are evaluated against established baselines such as score-informed \gls{nmf}, demonstrating improvements in accuracy, generalization, and robustness. The third part of the thesis introduces a novel framework for symbolic \gls{dm} prediction from aggregated performance MIDI velocities. We propose a tokenization method that combines score structure with velocity profiles, and train a RoBERTa-based masked language model to infer expressive markings such as \textit{pp}, \textit{mf}, or \textit{dim}. This constitutes the first known attempt to model \gls{dm} prediction as a contextual sequence learning task, enabling symbolic and hybrid symbolic-audio systems to provide interpretive feedback on expressive intent. Finally, the thesis presents a prototype system for automatic feedback tagging and performance scoring. Using symbolic representations extracted through transcription, deep neural classifiers are trained to detect common performance issues—such as dynamics inconsistency, timing irregularities, or fluency breakdowns—and to assign performance-level scores in categories such as fluency, technique, and communication. This system demonstrates how automated analysis can produce meaningful, interpretable feedback in alignment with pedagogical models. Together, these three components form a modular pipeline for expressive performance understanding, from low-level acoustic estimation to symbolic interpretation and evaluative feedback. The proposed methods contribute new tools and insights to the field of MIR, with broader applications in music pedagogy, performance analysis, and interactive music systems. Universitat Pompeu Fabra. Doctorat en Tecnologies de la Informació i les Comunicacions |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | English |
| Σύνδεσμος πρόσβασης: | https://hdl.handle.net/10803/697070 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-sa/4.0/ |
| Αριθμός Καταχώρησης: | edstdx.10803.697070 |
| Βάση Δεδομένων: | TDX |
καταχωρήστε σχόλιο πρώτοι!