Dissertation/ Thesis
Enhancing word and document embeddings for natural language processing tasks
| Τίτλος: | Enhancing word and document embeddings for natural language processing tasks |
|---|---|
| Συγγραφείς: | Rafieian, Bardia |
| Συνεισφορές: | University/Department: Universitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions |
| Thesis Advisors: | Vázquez Alcocer, Pere Pau, Rodríguez Fonollosa, José Adrián |
| Πηγή: | TDX (Tesis Doctorals en Xarxa) |
| Στοιχεία εκδότη: | Universitat Politècnica de Catalunya, 2025. |
| Έτος έκδοσης: | 2025 |
| Φυσική περιγραφή: | 210 p. |
| Θεματικοί όροι: | Natural Language Processing, Word Embeddings, Document Embeddings, Neural Machine Translation, Biomedical Machine Translation, Recommender Systems, Content-Based Recommender Systems, Collaborative Filtering, Document Classification, Long Document Classification, Hierarchical Classification, Multi-label Classification, Patent Classification, Semantic Specialization, Large Language Models (LLMs), Transformers, LoRA, Quantization, Word2Vec, GloVe, Doc2Vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B, BabelNet, Wasserstein GANs, Subword Optimization, Data Augmentation, Forward Translation, Domain Adaptation, Low-Resource NMT, Lexical Knowledge Integration, Computational Efficiency, Scalability, Spanish-English Machine Translation., Àrees temàtiques de la UPC::Enginyeria de la telecomunicació, Àrees temàtiques de la UPC::Enginyeria biomèdica, Àrees temàtiques de la UPC::Informàtica, 621.3 - Enginyeria elèctrica. Electrotècnia. Telecomunicacions, 004 - Informàtica |
| Περιγραφή: | (English) This thesis delves into various aspects of natural language processing, focusing on domain-specific neural machine translation, specialized word embeddings, data augmentation, recommender systems, document embedding techniques, and hierarchical classification with large language models. The work is structured around a couple of key contributions. Chapter 4 introduces a novel data preparation and tokenization method (Hybrid-BTS) for biomedical neural machine translation, alongside a post-specialization technique leveraging Wasserstein GANs to enhance word embeddings with multilingual constraints. Chapter 5 proposes a domain adaptation strategy for biomedical translation involving forward translation, BPE optimization, and term frequency manipulation. It also details the development of two fashion e-commerce recommender systems: one content-based and one collaborative, both integrating practical style rules. Finally, Chapter 6 presents an evaluation of document embedding models (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) for long document classification, and a modular pipeline designed for multi-label hierarchical patent classification using transformer-based models, optimized for efficiency with LoRA and quantization. Collectively, these contributions push the state-of-the-art in both applied and theoretical NLP by providing new methods to boost performance, adaptability, and efficiency in domain-specific and large-scale applications. |
| Description (Translated): | (Català) Aquesta tesi aprofundeix en diversos aspectes del processament del llenguatge natural, centrant-se en la traducció automàtica neuronal específica de domini, les incrustacions de paraules especialitzades, l'augment de dades, els sistemes de recomanació, les tècniques d'incrustació de documents i la classificació jeràrquica amb models de llenguatge grans. El treball s'estructura al voltant de contribucions clau. El Capítol 4 introdueix un nou enfocament de preparació de dades i tokenització (Hybrid-BTS) per a la Tècnica de Traducció Automàtica Neuronal (NMT) biomèdica, juntament amb una tècnica de post-especialització que aprofita les GANs de Wasserstein per millorar les incrustacions de paraules amb restriccions multilingües. El Capítol 5 proposa una estratègia d'adaptació de domini per a la traducció biomèdica que implica la traducció directa, l'optimització de BPE i la manipulació de la freqüència de termes. També detalla el desenvolupament de dos sistemes de recomanació de comerç electrònic de moda: un basat en el contingut i un altre col·laboratiu, ambdós integrant regles d'estil pràctiques. Finalment, el Capítol 6 presenta una avaluació dels models d'incrustació de documents (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) per a la classificació de documents llargs, i una pipeline modular dissenyada per a la classificació jeràrquica de patents de múltiples etiquetes utilitzant models basats en transformers, optimitzada per a l'eficiència amb LoRA i quantificació. Col·lectivament, aquestes contribucions impulsen l'estat de l'art tant en aspectes aplicats com teòrics del PNL, proporcionant nous mètodes per augmentar el rendiment, l'adaptabilitat i l'eficiència en tasques a gran escala i específiques de domini. (Español) Esta tesis profundiza en varios aspectos del procesamiento del lenguaje natural (PLN), centrándose en la traducción automática neuronal específica de dominio, los embeddings de palabras especializados, el aumento de datos, los sistemas de recomendación, las técnicas de embedding de documentos y la clasificación jerárquica con modelos de lenguaje grandes (LLMs). El trabajo se estructura en torno a contribuciones clave. El Capítulo 4 introduce un método novedoso de preparación de datos y tokenización (Hybrid-BTS) para la traducción automática neuronal (NMT) biomédica, junto con una técnica de post-especialización que aprovecha las GAN de Wasserstein para mejorar los embeddings de palabras con restricciones multilingües. El Capítulo 5 propone una estrategia de adaptación de dominio para la traducción biomédica que implica la traducción directa, la optimización de BPE y la manipulación de la frecuencia de términos. También detalla el desarrollo de dos sistemas de recomendación para el comercio electrónico de moda: uno basado en el contenido y otro colaborativo, ambos integrando reglas de estilo prácticas. Finalmente, el Capítulo 6 presenta una evaluación de modelos de embedding de documentos (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) para la clasificación de documentos largos, y una pipeline modular diseñada para la clasificación jerárquica de patentes con múltiples etiquetas utilizando modelos basados en transformers, optimizada para la eficiencia con LoRA y cuantificación. Colectivamente, estas contribuciones impulsan el estado del arte tanto en los aspectos aplicados como teóricos del PLN, proporcionando nuevos métodos para mejorar el rendimiento, la adaptabilidad y la eficiencia en aplicaciones a gran escala y específicas de dominio. DOCTORAT EN TEORIA DEL SENYAL I COMUNICACIONS (Pla 2013) |
| Τύπος εγγράφου: | Dissertation/Thesis |
| Περιγραφή αρχείου: | application/pdf |
| Γλώσσα: | English |
| DOI: | 10.5821/dissertation-2117-449267 |
| Σύνδεσμος πρόσβασης: | http://hdl.handle.net/10803/696190 https://dx.doi.org/10.5821/dissertation-2117-449267 |
| Rights: | ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs. |
| Αριθμός Καταχώρησης: | edstdx.10803.696190 |
| Βάση Δεδομένων: | TDX |
| DOI: | 10.5821/dissertation-2117-449267 |
|---|