QAP: A Quantum-Inspired Adaptive-Priority-Learning Model for Multimodal Emotion Recognition

Bibliographic Details
Title:	QAP: A Quantum-Inspired Adaptive-Priority-Learning Model for Multimodal Emotion Recognition
Authors:	Ziming Li, Yan Zhou, Yaxin Liu, Fuqing Zhu, Chuanpeng Yang, Songlin Hu
Source:	Findings of the Association for Computational Linguistics: ACL 2023. :12191-12204
Publisher Information:	Association for Computational Linguistics (ACL), 2023.
Publication Year:	2023
Subject Terms:	Artificial intelligence, Photonic Reservoir Computing for Neural Computation, Cognitive Neuroscience, Social Sciences, Experimental and Cognitive Psychology, Modality (human–computer interaction), Modalities, Sociology, Artificial Intelligence, Machine learning, Psychology, Polymer chemistry, 10. No inequality, 4. Education, Life Sciences, Brain-Computer Interfaces in Neuroscience and Medicine, Social science, Computer science, FOS: Sociology, FOS: Psychology, Chemistry, Emotion Recognition, Computer Science, Physical Sciences, Affective Computing, Emotion recognition, Modal, Multimodal Data, Speech Emotion, Emotion Recognition and Analysis in Multimodal Data, Neuroscience
Description:	La reconnaissance multimodale des émotions pour la vidéo a attiré une attention considérable ces dernières années, dans laquelle trois modalités (c'est-à-dire textuelles, visuelles et acoustiques) sont impliquées. En raison des divers niveaux de contenu informationnel lié à l'émotion, trois modalités possèdent généralement différents degrés de contribution à la reconnaissance des émotions. Plus sérieusement, il pourrait y avoir des incohérences entre l'émotion de la modalité individuelle et la vidéo. Les défis mentionnés ci-dessus sont causés par l'incertitude inhérente de l'émotion. Inspirés par les progrès récents de la théorie quantique dans la modélisation de l'incertitude, nous faisons une première tentative pour concevoir un modèle d'apprentissage adaptatif et prioritaire (QAP) d'inspiration quantique pour relever les défis. Spécifiquement, l'état quantique est introduit aux caractéristiques modales du modèle, ce qui permet à chaque modalité de conserver toutes les tendances émotionnelles jusqu'à la classification finale. En outre, nous concevons Q-attention d'intégrer de manière ordonnée trois modalités, puis QAP apprend la priorité modale de manière adaptative afin que les modalités puissent fournir différentes quantités d'informations en fonction de la priorité. Les résultats expérimentaux sur les ensembles de données IEMO-CAP et MOSEI montrent que QAP établit de nouveaux résultats de pointe. El reconocimiento multimodal de emociones para video ha ganado considerable atención en los últimos años, en los que están involucradas tres modalidades (es decir, textual, visual y acústica). Debido a los diversos niveles de contenido informativo relacionado con la emoción, tres modalidades generalmente poseen diversos grados de contribución al reconocimiento de emociones. Más en serio, puede haber inconsistencias entre la emoción de la modalidad individual y el video. Los desafíos mencionados anteriormente son causados por la incertidumbre inherente de la emoción. Inspirados por los recientes avances de la teoría cuántica en el modelado de la incertidumbre, hacemos un intento inicial de diseñar un modelo de aprendizaje de prioridad adaptativa (QAP) inspirado en la cuántica para abordar los desafíos. Específicamente, el estado cuántico se introduce en las características modales del modelo, lo que permite que cada modalidad retenga todas las tendencias emocionales hasta la clasificación final. Además, diseñamos la atención Q para integrar ordenadamente tres modalidades, y luego la prioridad modal de aprendizaje QAP puede proporcionar diferentes cantidades de información en función de la prioridad. Los resultados experimentales en los conjuntos de datos IEMO-CAP y MOSEI muestran que QAP establece nuevos resultados de vanguardia. Multimodal emotion recognition for video has gained considerable attention in recent years, in which three modalities (i.e., textual, visual and acoustic) are involved.Due to the diverse levels of informational content related to emotion, three modalities typically possess varying degrees of contribution to emotion recognition.More seriously, there might be inconsistencies between the emotion of individual modality and the video.The challenges mentioned above are caused by the inherent uncertainty of emotion.Inspired by the recent advances of quantum theory in modeling uncertainty, we make an initial attempt to design a quantum-inspired adaptive-priority-learning model (QAP) to address the challenges.Specifically, the quantum state is introduced to model modal features, which allows each modality to retain all emotional tendencies until the final classification.Additionally, we design Q-attention to orderly integrate three modalities, and then QAP learns modal priority adaptively so that modalities can provide different amounts of information based on priority.Experimental results on the IEMO-CAP and MOSEI datasets show that QAP establishes new state-of-the-art results. اكتسب التعرف على العاطفة متعددة الوسائط للفيديو اهتمامًا كبيرًا في السنوات الأخيرة، حيث تشارك ثلاث طرائق (أي النصية والبصرية والصوتية). نظرًا للمستويات المتنوعة من المحتوى المعلوماتي المتعلق بالعاطفة، تمتلك ثلاث طرائق عادةً درجات متفاوتة من المساهمة في التعرف على العاطفة. والأهم من ذلك، قد تكون هناك تناقضات بين عاطفة الطريقة الفردية والفيديو. إن التحديات المذكورة أعلاه ناتجة عن عدم اليقين المتأصل في العاطفة. بالإضافة إلى ذلك، نقوم بتصميم Q - Attention لدمج ثلاث طرائق بشكل منظم، ثم نتعلم QAP أولوية نموذجية بشكل تكيفي بحيث يمكن للطرائق توفير كميات مختلفة من المعلومات بناءً على التحديات. على وجه التحديد، يتم إدخال الحالة الكمومية إلى ميزات نموذجية، والتي تسمح لكل طريقة بالاحتفاظ بجميع الميول العاطفية حتى التصنيف النهائي. بالإضافة إلى ذلك، نقوم بتصميم Q - Attention لدمج ثلاث طرائق بشكل منظم، ثم تتعلم QAP أولوية نموذجية بشكل تكيفي بحيث يمكن للطرائق توفير كميات مختلفة من المعلومات بناءً على الأولوية. نتائج تجريبية على MEMO - CAP و MEMO - CO - COSI تظهر نتائج QAP التي تثبت نتائج جديدة.
Document Type:	Article Other literature type
DOI:	10.18653/v1/2023.findings-acl.772
DOI:	10.60692/gn79e-q5e76
DOI:	10.60692/wnv1h-q6z72
Accession Number:	edsair.doi.dedup.....b606b077f8d8194aa22ed2ba6fcba8e7
Database:	OpenAIRE

Description
DOI:	10.18653/v1/2023.findings-acl.772