Dissertation/ Thesis
Escritura con un robot colaborativo de Universal Robots mediante programación por demostración
| Τίτλος: | Escritura con un robot colaborativo de Universal Robots mediante programación por demostración |
|---|---|
| Συγγραφείς: | Robalino Torres, Fabian Ronaldo |
| Συνεισφορές: | Ruiz Vegas, Francisco Javier, Universitat Politècnica de Catalunya. Departament d'Enginyeria de Sistemes, Automàtica i Informàtica Industrial |
| Πηγή: | UPCommons. Portal del coneixement obert de la UPC Universitat Politècnica de Catalunya (UPC) |
| Στοιχεία εκδότη: | Universitat Politècnica de Catalunya, 2025. |
| Έτος έκδοσης: | 2025 |
| Θεματικοί όροι: | Sockets, Visión artificial, Robots -- Programació, Programación por demostración, Àrees temàtiques de la UPC::Informàtica::Robòtica, Tratamiento de datos, Robots -- Programming, Parámetros intrínsecos de una imagen, Red convolucional, Robótica, EMNIST Letters Dataset, URScript, Python |
| Περιγραφή: | El presente proyecto tiene como objetivo aplicar el concepto de programación por demostración en el robot colaborativo de Universal Robot del laboratorio de Robótica de la Escuela Politécnica Superior de Ingeniería de Vilanova i la Geltrú (EPSEVG). La programación por demostración es una técnica que permite a un robot aprender a realizar una tarea a través de la demostración de la misma tarea por parte de un ser humano. La tarea seleccionada es la escritura de palabras en letras mayúsculas. El sistema está basado en un subsistema de visión formado por dos cámaras que capturan el movimiento tridimensional de un objeto sujetado por el demostrador humano. Las imágenes capturadas son tratadas automáticamente con el objetivo de eliminar trazos de transición (como el levantamiento de la mano entre trazos continuos de letra) y así obtener una representación más cercana a la letra trazada. La imagen procesada se clasifica utilizando técnicas de machine learning a través de una red neuronal convolucional de múltiples capas que fue entrenada previamente utilizando el dataset EMNIST Letters. Una vez clasificadas por la red neuronal todas las letras que conforman la palabra, el sistema se comunica con el robot y le da las instrucciones necesarias para escribir esa palabra mediante un sistema de escritura asociado al brazo robótico. Dichas instrucciones están compuestas por scripts que definen los movimientos lineales, curvos y angulares necesarios para que el robot reproduzca físicamente las letras y escriba la palabra indicada. Las pruebas realizadas demostraron que, en condiciones de iluminación buenas, los sistemas de visión y de reconocimiento pudieron identificar las letras correctamente, alcanzando una precisión promedio del 92% en un conjunto formado por 20.800 muestras. También se pudo detectar que los errores son debidos principalmente a una iluminación deficiente, a una velocidad de escritura del demostrador demasiado rápida o a un trazado no claro de la letra por parte del demostrador. Los escasos errores que han existido han confundido letras con trazos similares o letras con trazos complejos. The objective of this project is to apply the concept of Programming by demonstration to the collaborative robot of Universal Robot from the Robotics Laboratory of the Polytechnic School of Engineering of Vilanova i la Geltrú (EPSEVG). Programming by demonstration is a technique that allows a robot to learn to perform a task through the demonstration of the same task by a human being. The selected task is the writing of words in capital letters. The system is based on a vision subsystem formed by two cameras that capture the three-dimensional movement of an object held by the human demonstrator. The captured images are automatically processed with the aim of eliminating transition strokes (such as the lifting of the hand between continuous strokes of a letter) and thus obtaining a representation closer to the letter drawn. The processed image is classified using machine learning techniques through a multi-layer convolutional neural network that was previously trained using the EMNIST Letters dataset. Once all the letters that make up the word have been classified by the neural network, the system communicates with the robot and gives it the necessary instructions to write that word using a writing system associated with the robotic arm. These instructions are composed of scripts that define the linear, curved and angular movements necessary for the robot to physically reproduce the letters and write the indicated word. The tests carried out showed that, in good lighting conditions, the vision and recognition systems were able to identify the letters correctly, reaching an average accuracy of 92% in a set made up of 20,800 samples. It was also possible to detect that the errors are mainly due to poor lighting, a writing speed that is too fast by the demonstrator or an unclear tracing of the letter by the demonstrator. The few errors that have existed have confused letters with similar strokes or letters with complex strokes. |
| Τύπος εγγράφου: | Master thesis |
| Περιγραφή αρχείου: | application/pdf; application/zip |
| Γλώσσα: | Spanish; Castilian |
| Σύνδεσμος πρόσβασης: | https://hdl.handle.net/2117/425042 |
| Αριθμός Καταχώρησης: | edsair.dedup.wf.002..c0615c406d267000bacdf65d966c98f0 |
| Βάση Δεδομένων: | OpenAIRE |
| FullText | Text: Availability: 0 CustomLinks: – Url: https://explore.openaire.eu/search/publication?articleId=dedup_wf_002%3A%3Ac0615c406d267000bacdf65d966c98f0 Name: EDS - OpenAIRE (ns324271) Category: fullText Text: View record at OpenAIRE |
|---|---|
| Header | DbId: edsair DbLabel: OpenAIRE An: edsair.dedup.wf.002..c0615c406d267000bacdf65d966c98f0 RelevancyScore: 887 AccessLevel: 3 PubType: Dissertation/ Thesis PubTypeId: dissertation PreciseRelevancyScore: 886.736389160156 |
| IllustrationInfo | |
| Items | – Name: Title Label: Title Group: Ti Data: Escritura con un robot colaborativo de Universal Robots mediante programación por demostración – Name: Author Label: Authors Group: Au Data: <searchLink fieldCode="AR" term="%22Robalino+Torres%2C+Fabian+Ronaldo%22">Robalino Torres, Fabian Ronaldo</searchLink> – Name: Author Label: Contributors Group: Au Data: Ruiz Vegas, Francisco Javier<br />Universitat Politècnica de Catalunya. Departament d'Enginyeria de Sistemes, Automàtica i Informàtica Industrial – Name: TitleSource Label: Source Group: Src Data: UPCommons. Portal del coneixement obert de la UPC<br />Universitat Politècnica de Catalunya (UPC) – Name: Publisher Label: Publisher Information Group: PubInfo Data: Universitat Politècnica de Catalunya, 2025. – Name: DatePubCY Label: Publication Year Group: Date Data: 2025 – Name: Subject Label: Subject Terms Group: Su Data: <searchLink fieldCode="DE" term="%22Sockets%22">Sockets</searchLink><br /><searchLink fieldCode="DE" term="%22Visión+artificial%22">Visión artificial</searchLink><br /><searchLink fieldCode="DE" term="%22Robots+--+Programació%22">Robots -- Programació</searchLink><br /><searchLink fieldCode="DE" term="%22Programación+por+demostración%22">Programación por demostración</searchLink><br /><searchLink fieldCode="DE" term="%22Àrees+temàtiques+de+la+UPC%3A%3AInformàtica%3A%3ARobòtica%22">Àrees temàtiques de la UPC::Informàtica::Robòtica</searchLink><br /><searchLink fieldCode="DE" term="%22Tratamiento+de+datos%22">Tratamiento de datos</searchLink><br /><searchLink fieldCode="DE" term="%22Robots+--+Programming%22">Robots -- Programming</searchLink><br /><searchLink fieldCode="DE" term="%22Parámetros+intrínsecos+de+una+imagen%22">Parámetros intrínsecos de una imagen</searchLink><br /><searchLink fieldCode="DE" term="%22Red+convolucional%22">Red convolucional</searchLink><br /><searchLink fieldCode="DE" term="%22Robótica%22">Robótica</searchLink><br /><searchLink fieldCode="DE" term="%22EMNIST+Letters+Dataset%22">EMNIST Letters Dataset</searchLink><br /><searchLink fieldCode="DE" term="%22URScript%22">URScript</searchLink><br /><searchLink fieldCode="DE" term="%22Python%22">Python</searchLink> – Name: Abstract Label: Description Group: Ab Data: El presente proyecto tiene como objetivo aplicar el concepto de programación por demostración en el robot colaborativo de Universal Robot del laboratorio de Robótica de la Escuela Politécnica Superior de Ingeniería de Vilanova i la Geltrú (EPSEVG). La programación por demostración es una técnica que permite a un robot aprender a realizar una tarea a través de la demostración de la misma tarea por parte de un ser humano. La tarea seleccionada es la escritura de palabras en letras mayúsculas. El sistema está basado en un subsistema de visión formado por dos cámaras que capturan el movimiento tridimensional de un objeto sujetado por el demostrador humano. Las imágenes capturadas son tratadas automáticamente con el objetivo de eliminar trazos de transición (como el levantamiento de la mano entre trazos continuos de letra) y así obtener una representación más cercana a la letra trazada. La imagen procesada se clasifica utilizando técnicas de machine learning a través de una red neuronal convolucional de múltiples capas que fue entrenada previamente utilizando el dataset EMNIST Letters. Una vez clasificadas por la red neuronal todas las letras que conforman la palabra, el sistema se comunica con el robot y le da las instrucciones necesarias para escribir esa palabra mediante un sistema de escritura asociado al brazo robótico. Dichas instrucciones están compuestas por scripts que definen los movimientos lineales, curvos y angulares necesarios para que el robot reproduzca físicamente las letras y escriba la palabra indicada. Las pruebas realizadas demostraron que, en condiciones de iluminación buenas, los sistemas de visión y de reconocimiento pudieron identificar las letras correctamente, alcanzando una precisión promedio del 92% en un conjunto formado por 20.800 muestras. También se pudo detectar que los errores son debidos principalmente a una iluminación deficiente, a una velocidad de escritura del demostrador demasiado rápida o a un trazado no claro de la letra por parte del demostrador. Los escasos errores que han existido han confundido letras con trazos similares o letras con trazos complejos.<br />The objective of this project is to apply the concept of Programming by demonstration to the collaborative robot of Universal Robot from the Robotics Laboratory of the Polytechnic School of Engineering of Vilanova i la Geltrú (EPSEVG). Programming by demonstration is a technique that allows a robot to learn to perform a task through the demonstration of the same task by a human being. The selected task is the writing of words in capital letters. The system is based on a vision subsystem formed by two cameras that capture the three-dimensional movement of an object held by the human demonstrator. The captured images are automatically processed with the aim of eliminating transition strokes (such as the lifting of the hand between continuous strokes of a letter) and thus obtaining a representation closer to the letter drawn. The processed image is classified using machine learning techniques through a multi-layer convolutional neural network that was previously trained using the EMNIST Letters dataset. Once all the letters that make up the word have been classified by the neural network, the system communicates with the robot and gives it the necessary instructions to write that word using a writing system associated with the robotic arm. These instructions are composed of scripts that define the linear, curved and angular movements necessary for the robot to physically reproduce the letters and write the indicated word. The tests carried out showed that, in good lighting conditions, the vision and recognition systems were able to identify the letters correctly, reaching an average accuracy of 92% in a set made up of 20,800 samples. It was also possible to detect that the errors are mainly due to poor lighting, a writing speed that is too fast by the demonstrator or an unclear tracing of the letter by the demonstrator. The few errors that have existed have confused letters with similar strokes or letters with complex strokes. – Name: TypeDocument Label: Document Type Group: TypDoc Data: Master thesis – Name: Format Label: File Description Group: SrcInfo Data: application/pdf; application/zip – Name: Language Label: Language Group: Lang Data: Spanish; Castilian – Name: URL Label: Access URL Group: URL Data: <link linkTarget="URL" linkTerm="https://hdl.handle.net/2117/425042" linkWindow="_blank">https://hdl.handle.net/2117/425042</link> – Name: AN Label: Accession Number Group: ID Data: edsair.dedup.wf.002..c0615c406d267000bacdf65d966c98f0 |
| PLink | https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsair&AN=edsair.dedup.wf.002..c0615c406d267000bacdf65d966c98f0 |
| RecordInfo | BibRecord: BibEntity: Languages: – Text: Spanish; Castilian Subjects: – SubjectFull: Sockets Type: general – SubjectFull: Visión artificial Type: general – SubjectFull: Robots -- Programació Type: general – SubjectFull: Programación por demostración Type: general – SubjectFull: Àrees temàtiques de la UPC::Informàtica::Robòtica Type: general – SubjectFull: Tratamiento de datos Type: general – SubjectFull: Robots -- Programming Type: general – SubjectFull: Parámetros intrínsecos de una imagen Type: general – SubjectFull: Red convolucional Type: general – SubjectFull: Robótica Type: general – SubjectFull: EMNIST Letters Dataset Type: general – SubjectFull: URScript Type: general – SubjectFull: Python Type: general Titles: – TitleFull: Escritura con un robot colaborativo de Universal Robots mediante programación por demostración Type: main BibRelationships: HasContributorRelationships: – PersonEntity: Name: NameFull: Robalino Torres, Fabian Ronaldo – PersonEntity: Name: NameFull: Ruiz Vegas, Francisco Javier – PersonEntity: Name: NameFull: Universitat Politècnica de Catalunya. Departament d'Enginyeria de Sistemes, Automàtica i Informàtica Industrial IsPartOfRelationships: – BibEntity: Dates: – D: 01 M: 01 Type: published Y: 2025 Identifiers: – Type: issn-locals Value: edsair – Type: issn-locals Value: edsairFT |
| ResultId | 1 |