Dissertation/ Thesis
View in EDS

Enhancing word and document embeddings for natural language processing tasks

Bibliographic Details
Title: Enhancing word and document embeddings for natural language processing tasks
Authors: Rafieian, Bardia
Contributors: University/Department: Universitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions
Thesis Advisors: Vázquez Alcocer, Pere Pau, Rodríguez Fonollosa, José Adrián
Source: TDX (Tesis Doctorals en Xarxa)
Publisher Information: Universitat Politècnica de Catalunya, 2025.
Publication Year: 2025
Physical Description: 210 p.
Subject Terms: Natural Language Processing, Word Embeddings, Document Embeddings, Neural Machine Translation, Biomedical Machine Translation, Recommender Systems, Content-Based Recommender Systems, Collaborative Filtering, Document Classification, Long Document Classification, Hierarchical Classification, Multi-label Classification, Patent Classification, Semantic Specialization, Large Language Models (LLMs), Transformers, LoRA, Quantization, Word2Vec, GloVe, Doc2Vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B, BabelNet, Wasserstein GANs, Subword Optimization, Data Augmentation, Forward Translation, Domain Adaptation, Low-Resource NMT, Lexical Knowledge Integration, Computational Efficiency, Scalability, Spanish-English Machine Translation., Àrees temàtiques de la UPC::Enginyeria de la telecomunicació, Àrees temàtiques de la UPC::Enginyeria biomèdica, Àrees temàtiques de la UPC::Informàtica, 621.3 - Enginyeria elèctrica. Electrotècnia. Telecomunicacions, 004 - Informàtica
Description: (English) This thesis delves into various aspects of natural language processing, focusing on domain-specific neural machine translation, specialized word embeddings, data augmentation, recommender systems, document embedding techniques, and hierarchical classification with large language models. The work is structured around a couple of key contributions. Chapter 4 introduces a novel data preparation and tokenization method (Hybrid-BTS) for biomedical neural machine translation, alongside a post-specialization technique leveraging Wasserstein GANs to enhance word embeddings with multilingual constraints. Chapter 5 proposes a domain adaptation strategy for biomedical translation involving forward translation, BPE optimization, and term frequency manipulation. It also details the development of two fashion e-commerce recommender systems: one content-based and one collaborative, both integrating practical style rules. Finally, Chapter 6 presents an evaluation of document embedding models (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) for long document classification, and a modular pipeline designed for multi-label hierarchical patent classification using transformer-based models, optimized for efficiency with LoRA and quantization. Collectively, these contributions push the state-of-the-art in both applied and theoretical NLP by providing new methods to boost performance, adaptability, and efficiency in domain-specific and large-scale applications.
Description (Translated): (Català) Aquesta tesi aprofundeix en diversos aspectes del processament del llenguatge natural, centrant-se en la traducció automàtica neuronal específica de domini, les incrustacions de paraules especialitzades, l'augment de dades, els sistemes de recomanació, les tècniques d'incrustació de documents i la classificació jeràrquica amb models de llenguatge grans. El treball s'estructura al voltant de contribucions clau. El Capítol 4 introdueix un nou enfocament de preparació de dades i tokenització (Hybrid-BTS) per a la Tècnica de Traducció Automàtica Neuronal (NMT) biomèdica, juntament amb una tècnica de post-especialització que aprofita les GANs de Wasserstein per millorar les incrustacions de paraules amb restriccions multilingües. El Capítol 5 proposa una estratègia d'adaptació de domini per a la traducció biomèdica que implica la traducció directa, l'optimització de BPE i la manipulació de la freqüència de termes. També detalla el desenvolupament de dos sistemes de recomanació de comerç electrònic de moda: un basat en el contingut i un altre col·laboratiu, ambdós integrant regles d'estil pràctiques. Finalment, el Capítol 6 presenta una avaluació dels models d'incrustació de documents (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) per a la classificació de documents llargs, i una pipeline modular dissenyada per a la classificació jeràrquica de patents de múltiples etiquetes utilitzant models basats en transformers, optimitzada per a l'eficiència amb LoRA i quantificació. Col·lectivament, aquestes contribucions impulsen l'estat de l'art tant en aspectes aplicats com teòrics del PNL, proporcionant nous mètodes per augmentar el rendiment, l'adaptabilitat i l'eficiència en tasques a gran escala i específiques de domini.
(Español) Esta tesis profundiza en varios aspectos del procesamiento del lenguaje natural (PLN), centrándose en la traducción automática neuronal específica de dominio, los embeddings de palabras especializados, el aumento de datos, los sistemas de recomendación, las técnicas de embedding de documentos y la clasificación jerárquica con modelos de lenguaje grandes (LLMs). El trabajo se estructura en torno a contribuciones clave. El Capítulo 4 introduce un método novedoso de preparación de datos y tokenización (Hybrid-BTS) para la traducción automática neuronal (NMT) biomédica, junto con una técnica de post-especialización que aprovecha las GAN de Wasserstein para mejorar los embeddings de palabras con restricciones multilingües. El Capítulo 5 propone una estrategia de adaptación de dominio para la traducción biomédica que implica la traducción directa, la optimización de BPE y la manipulación de la frecuencia de términos. También detalla el desarrollo de dos sistemas de recomendación para el comercio electrónico de moda: uno basado en el contenido y otro colaborativo, ambos integrando reglas de estilo prácticas. Finalmente, el Capítulo 6 presenta una evaluación de modelos de embedding de documentos (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) para la clasificación de documentos largos, y una pipeline modular diseñada para la clasificación jerárquica de patentes con múltiples etiquetas utilizando modelos basados en transformers, optimizada para la eficiencia con LoRA y cuantificación. Colectivamente, estas contribuciones impulsan el estado del arte tanto en los aspectos aplicados como teóricos del PLN, proporcionando nuevos métodos para mejorar el rendimiento, la adaptabilidad y la eficiencia en aplicaciones a gran escala y específicas de dominio.
DOCTORAT EN TEORIA DEL SENYAL I COMUNICACIONS (Pla 2013)
Document Type: Dissertation/Thesis
File Description: application/pdf
Language: English
DOI: 10.5821/dissertation-2117-449267
Access URL: http://hdl.handle.net/10803/696190
https://dx.doi.org/10.5821/dissertation-2117-449267
Rights: ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.
Accession Number: edstdx.10803.696190
Database: TDX
FullText Text:
  Availability: 0
CustomLinks:
  – Url: http://hdl.handle.net/10803/696190#
    Name: EDS - TDX (ns324271)
    Category: fullText
    Text: View record in TDX
Header DbId: edstdx
DbLabel: TDX
An: edstdx.10803.696190
RelevancyScore: 1414
AccessLevel: 3
PubType: Dissertation/ Thesis
PubTypeId: dissertation
PreciseRelevancyScore: 1414.02270507813
IllustrationInfo
Items – Name: Title
  Label: Title
  Group: Ti
  Data: Enhancing word and document embeddings for natural language processing tasks
– Name: Author
  Label: Authors
  Group: Au
  Data: <searchLink fieldCode="AR" term="%22Rafieian%2C+Bardia%22">Rafieian, Bardia</searchLink>
– Name: Author
  Label: Contributors
  Group: Au
  Data: University/Department: Universitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions
– Name: Author
  Label: Thesis Advisors
  Group: Au
  Data: Vázquez Alcocer, Pere Pau<br />Rodríguez Fonollosa, José Adrián
– Name: TitleSource
  Label: Source
  Group: Src
  Data: TDX (Tesis Doctorals en Xarxa)
– Name: Publisher
  Label: Publisher Information
  Group: PubInfo
  Data: Universitat Politècnica de Catalunya, 2025.
– Name: DatePubCY
  Label: Publication Year
  Group: Date
  Data: 2025
– Name: PhysDesc
  Label: Physical Description
  Group: PhysDesc
  Data: 210 p.
– Name: Subject
  Label: Subject Terms
  Group: Su
  Data: <searchLink fieldCode="DE" term="%22Natural+Language+Processing%22">Natural Language Processing</searchLink><br /><searchLink fieldCode="DE" term="%22Word+Embeddings%22">Word Embeddings</searchLink><br /><searchLink fieldCode="DE" term="%22Document+Embeddings%22">Document Embeddings</searchLink><br /><searchLink fieldCode="DE" term="%22Neural+Machine+Translation%22">Neural Machine Translation</searchLink><br /><searchLink fieldCode="DE" term="%22Biomedical+Machine+Translation%22">Biomedical Machine Translation</searchLink><br /><searchLink fieldCode="DE" term="%22Recommender+Systems%22">Recommender Systems</searchLink><br /><searchLink fieldCode="DE" term="%22Content-Based+Recommender+Systems%22">Content-Based Recommender Systems</searchLink><br /><searchLink fieldCode="DE" term="%22Collaborative+Filtering%22">Collaborative Filtering</searchLink><br /><searchLink fieldCode="DE" term="%22Document+Classification%22">Document Classification</searchLink><br /><searchLink fieldCode="DE" term="%22Long+Document+Classification%22">Long Document Classification</searchLink><br /><searchLink fieldCode="DE" term="%22Hierarchical+Classification%22">Hierarchical Classification</searchLink><br /><searchLink fieldCode="DE" term="%22Multi-label+Classification%22">Multi-label Classification</searchLink><br /><searchLink fieldCode="DE" term="%22Patent+Classification%22">Patent Classification</searchLink><br /><searchLink fieldCode="DE" term="%22Semantic+Specialization%22">Semantic Specialization</searchLink><br /><searchLink fieldCode="DE" term="%22Large+Language+Models+%28LLMs%29%22">Large Language Models (LLMs)</searchLink><br /><searchLink fieldCode="DE" term="%22Transformers%22">Transformers</searchLink><br /><searchLink fieldCode="DE" term="%22LoRA%22">LoRA</searchLink><br /><searchLink fieldCode="DE" term="%22Quantization%22">Quantization</searchLink><br /><searchLink fieldCode="DE" term="%22Word2Vec%22">Word2Vec</searchLink><br /><searchLink fieldCode="DE" term="%22GloVe%22">GloVe</searchLink><br /><searchLink fieldCode="DE" term="%22Doc2Vec%22">Doc2Vec</searchLink><br /><searchLink fieldCode="DE" term="%22SciBERT%22">SciBERT</searchLink><br /><searchLink fieldCode="DE" term="%22Longformer%22">Longformer</searchLink><br /><searchLink fieldCode="DE" term="%22LLaMA-3%22">LLaMA-3</searchLink><br /><searchLink fieldCode="DE" term="%22GEMMA-2B%22">GEMMA-2B</searchLink><br /><searchLink fieldCode="DE" term="%22BabelNet%22">BabelNet</searchLink><br /><searchLink fieldCode="DE" term="%22Wasserstein+GANs%22">Wasserstein GANs</searchLink><br /><searchLink fieldCode="DE" term="%22Subword+Optimization%22">Subword Optimization</searchLink><br /><searchLink fieldCode="DE" term="%22Data+Augmentation%22">Data Augmentation</searchLink><br /><searchLink fieldCode="DE" term="%22Forward+Translation%22">Forward Translation</searchLink><br /><searchLink fieldCode="DE" term="%22Domain+Adaptation%22">Domain Adaptation</searchLink><br /><searchLink fieldCode="DE" term="%22Low-Resource+NMT%22">Low-Resource NMT</searchLink><br /><searchLink fieldCode="DE" term="%22Lexical+Knowledge+Integration%22">Lexical Knowledge Integration</searchLink><br /><searchLink fieldCode="DE" term="%22Computational+Efficiency%22">Computational Efficiency</searchLink><br /><searchLink fieldCode="DE" term="%22Scalability%22">Scalability</searchLink><br /><searchLink fieldCode="DE" term="%22Spanish-English+Machine+Translation%2E%22">Spanish-English Machine Translation.</searchLink><br /><searchLink fieldCode="DE" term="%22Àrees+temàtiques+de+la+UPC%3A%3AEnginyeria+de+la+telecomunicació%22">Àrees temàtiques de la UPC::Enginyeria de la telecomunicació</searchLink><br /><searchLink fieldCode="DE" term="%22Àrees+temàtiques+de+la+UPC%3A%3AEnginyeria+biomèdica%22">Àrees temàtiques de la UPC::Enginyeria biomèdica</searchLink><br /><searchLink fieldCode="DE" term="%22Àrees+temàtiques+de+la+UPC%3A%3AInformàtica%22">Àrees temàtiques de la UPC::Informàtica</searchLink><br /><searchLink fieldCode="DE" term="%22621%2E3+-+Enginyeria+elèctrica%2E+Electrotècnia%2E+Telecomunicacions%22">621.3 - Enginyeria elèctrica. Electrotècnia. Telecomunicacions</searchLink><br /><searchLink fieldCode="DE" term="%22004+-+Informàtica%22">004 - Informàtica</searchLink>
– Name: Abstract
  Label: Description
  Group: Ab
  Data: (English) This thesis delves into various aspects of natural language processing, focusing on domain-specific neural machine translation, specialized word embeddings, data augmentation, recommender systems, document embedding techniques, and hierarchical classification with large language models. The work is structured around a couple of key contributions. Chapter 4 introduces a novel data preparation and tokenization method (Hybrid-BTS) for biomedical neural machine translation, alongside a post-specialization technique leveraging Wasserstein GANs to enhance word embeddings with multilingual constraints. Chapter 5 proposes a domain adaptation strategy for biomedical translation involving forward translation, BPE optimization, and term frequency manipulation. It also details the development of two fashion e-commerce recommender systems: one content-based and one collaborative, both integrating practical style rules. Finally, Chapter 6 presents an evaluation of document embedding models (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) for long document classification, and a modular pipeline designed for multi-label hierarchical patent classification using transformer-based models, optimized for efficiency with LoRA and quantization. Collectively, these contributions push the state-of-the-art in both applied and theoretical NLP by providing new methods to boost performance, adaptability, and efficiency in domain-specific and large-scale applications.
– Name: Abstract
  Label: Description (Translated)
  Group: Ab
  Data: (Català) Aquesta tesi aprofundeix en diversos aspectes del processament del llenguatge natural, centrant-se en la traducció automàtica neuronal específica de domini, les incrustacions de paraules especialitzades, l'augment de dades, els sistemes de recomanació, les tècniques d'incrustació de documents i la classificació jeràrquica amb models de llenguatge grans. El treball s'estructura al voltant de contribucions clau. El Capítol 4 introdueix un nou enfocament de preparació de dades i tokenització (Hybrid-BTS) per a la Tècnica de Traducció Automàtica Neuronal (NMT) biomèdica, juntament amb una tècnica de post-especialització que aprofita les GANs de Wasserstein per millorar les incrustacions de paraules amb restriccions multilingües. El Capítol 5 proposa una estratègia d'adaptació de domini per a la traducció biomèdica que implica la traducció directa, l'optimització de BPE i la manipulació de la freqüència de termes. També detalla el desenvolupament de dos sistemes de recomanació de comerç electrònic de moda: un basat en el contingut i un altre col·laboratiu, ambdós integrant regles d'estil pràctiques. Finalment, el Capítol 6 presenta una avaluació dels models d'incrustació de documents (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) per a la classificació de documents llargs, i una pipeline modular dissenyada per a la classificació jeràrquica de patents de múltiples etiquetes utilitzant models basats en transformers, optimitzada per a l'eficiència amb LoRA i quantificació. Col·lectivament, aquestes contribucions impulsen l'estat de l'art tant en aspectes aplicats com teòrics del PNL, proporcionant nous mètodes per augmentar el rendiment, l'adaptabilitat i l'eficiència en tasques a gran escala i específiques de domini.<br />(Español) Esta tesis profundiza en varios aspectos del procesamiento del lenguaje natural (PLN), centrándose en la traducción automática neuronal específica de dominio, los embeddings de palabras especializados, el aumento de datos, los sistemas de recomendación, las técnicas de embedding de documentos y la clasificación jerárquica con modelos de lenguaje grandes (LLMs). El trabajo se estructura en torno a contribuciones clave. El Capítulo 4 introduce un método novedoso de preparación de datos y tokenización (Hybrid-BTS) para la traducción automática neuronal (NMT) biomédica, junto con una técnica de post-especialización que aprovecha las GAN de Wasserstein para mejorar los embeddings de palabras con restricciones multilingües. El Capítulo 5 propone una estrategia de adaptación de dominio para la traducción biomédica que implica la traducción directa, la optimización de BPE y la manipulación de la frecuencia de términos. También detalla el desarrollo de dos sistemas de recomendación para el comercio electrónico de moda: uno basado en el contenido y otro colaborativo, ambos integrando reglas de estilo prácticas. Finalmente, el Capítulo 6 presenta una evaluación de modelos de embedding de documentos (Doc2vec, SciBERT, Longformer, LLaMA-3, GEMMA-2B) para la clasificación de documentos largos, y una pipeline modular diseñada para la clasificación jerárquica de patentes con múltiples etiquetas utilizando modelos basados en transformers, optimizada para la eficiencia con LoRA y cuantificación. Colectivamente, estas contribuciones impulsan el estado del arte tanto en los aspectos aplicados como teóricos del PLN, proporcionando nuevos métodos para mejorar el rendimiento, la adaptabilidad y la eficiencia en aplicaciones a gran escala y específicas de dominio.<br />DOCTORAT EN TEORIA DEL SENYAL I COMUNICACIONS (Pla 2013)
– Name: TypeDocument
  Label: Document Type
  Group: TypDoc
  Data: Dissertation/Thesis
– Name: Format
  Label: File Description
  Group: SrcInfo
  Data: application/pdf
– Name: Language
  Label: Language
  Group: Lang
  Data: English
– Name: DOI
  Label: DOI
  Group: ID
  Data: 10.5821/dissertation-2117-449267
– Name: URL
  Label: Access URL
  Group: URL
  Data: <link linkTarget="URL" linkTerm="http://hdl.handle.net/10803/696190" linkWindow="_blank">http://hdl.handle.net/10803/696190</link><br /><link linkTarget="URL" linkTerm="https://dx.doi.org/10.5821/dissertation-2117-449267" linkWindow="_blank">https://dx.doi.org/10.5821/dissertation-2117-449267</link>
– Name: Copyright
  Label: Rights
  Group: Cpyrght
  Data: ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.
– Name: AN
  Label: Accession Number
  Group: ID
  Data: edstdx.10803.696190
PLink https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edstdx&AN=edstdx.10803.696190
RecordInfo BibRecord:
  BibEntity:
    Identifiers:
      – Type: doi
        Value: 10.5821/dissertation-2117-449267
    Languages:
      – Text: English
    PhysicalDescription:
      Pagination:
        PageCount: 210
    Subjects:
      – SubjectFull: Natural Language Processing
        Type: general
      – SubjectFull: Word Embeddings
        Type: general
      – SubjectFull: Document Embeddings
        Type: general
      – SubjectFull: Neural Machine Translation
        Type: general
      – SubjectFull: Biomedical Machine Translation
        Type: general
      – SubjectFull: Recommender Systems
        Type: general
      – SubjectFull: Content-Based Recommender Systems
        Type: general
      – SubjectFull: Collaborative Filtering
        Type: general
      – SubjectFull: Document Classification
        Type: general
      – SubjectFull: Long Document Classification
        Type: general
      – SubjectFull: Hierarchical Classification
        Type: general
      – SubjectFull: Multi-label Classification
        Type: general
      – SubjectFull: Patent Classification
        Type: general
      – SubjectFull: Semantic Specialization
        Type: general
      – SubjectFull: Large Language Models (LLMs)
        Type: general
      – SubjectFull: Transformers
        Type: general
      – SubjectFull: LoRA
        Type: general
      – SubjectFull: Quantization
        Type: general
      – SubjectFull: Word2Vec
        Type: general
      – SubjectFull: GloVe
        Type: general
      – SubjectFull: Doc2Vec
        Type: general
      – SubjectFull: SciBERT
        Type: general
      – SubjectFull: Longformer
        Type: general
      – SubjectFull: LLaMA-3
        Type: general
      – SubjectFull: GEMMA-2B
        Type: general
      – SubjectFull: BabelNet
        Type: general
      – SubjectFull: Wasserstein GANs
        Type: general
      – SubjectFull: Subword Optimization
        Type: general
      – SubjectFull: Data Augmentation
        Type: general
      – SubjectFull: Forward Translation
        Type: general
      – SubjectFull: Domain Adaptation
        Type: general
      – SubjectFull: Low-Resource NMT
        Type: general
      – SubjectFull: Lexical Knowledge Integration
        Type: general
      – SubjectFull: Computational Efficiency
        Type: general
      – SubjectFull: Scalability
        Type: general
      – SubjectFull: Spanish-English Machine Translation.
        Type: general
      – SubjectFull: Àrees temàtiques de la UPC::Enginyeria de la telecomunicació
        Type: general
      – SubjectFull: Àrees temàtiques de la UPC::Enginyeria biomèdica
        Type: general
      – SubjectFull: Àrees temàtiques de la UPC::Informàtica
        Type: general
      – SubjectFull: 621.3 - Enginyeria elèctrica. Electrotècnia. Telecomunicacions
        Type: general
      – SubjectFull: 004 - Informàtica
        Type: general
    Titles:
      – TitleFull: Enhancing word and document embeddings for natural language processing tasks
        Type: main
  BibRelationships:
    HasContributorRelationships:
      – PersonEntity:
          Name:
            NameFull: Rafieian, Bardia
    IsPartOfRelationships:
      – BibEntity:
          Dates:
            – D: 21
              M: 11
              Type: published
              Y: 2025
ResultId 1