Δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας Kinect

Σκοπός της διπλωματικής μου εργασίας ήταν η ανάπτυξη διαπροσωπειών αλληλεπίδρασης ανθρώπου μηχανής μέσα στο γραφικό περιβάλλον μίας πρωτότυπης διαδραστικής εφαρμογής, εγκατεστημένης σε ηλεκτρονικό υπολογιστή. Η συγκεκριμένη εφαρμογή, με την επωνυμία “Sign Like Me” αποτελεί ένα καινοτόμο πρόγραμμα το...

Full description

Saved in:
Bibliographic Details
Main Author: Καλούσου, Γεωργία
Other Authors: Μαραγκουδάκης, Εμμανουήλ
Language:Greek
Published: 2015
Subjects:
Online Access:https://vsmart.lib.aegean.gr/webopac/FullBB.csp?WebAction=ShowFullBB&EncodedRequest=*F2*05*AE*2A*DC*98*606*29*B9*F3*E7*E8*3A*0D0&Profile=Default&OpacLanguage=gre&NumberToRetrieve=50&StartValue=2&WebPageNr=1&SearchTerm1=2014%20.1.109414&SearchT1=&Index1=Keywordsbib&SearchMethod=Find_1&ItemNr=2
http://hdl.handle.net/11610/8824
Tags: Add Tag
No Tags, Be the first to tag this record!
_version_ 1828462497828438016
author Καλούσου, Γεωργία
author2 Μαραγκουδάκης, Εμμανουήλ
author_facet Μαραγκουδάκης, Εμμανουήλ
Καλούσου, Γεωργία
author_sort Καλούσου, Γεωργία
collection DSpace
description Σκοπός της διπλωματικής μου εργασίας ήταν η ανάπτυξη διαπροσωπειών αλληλεπίδρασης ανθρώπου μηχανής μέσα στο γραφικό περιβάλλον μίας πρωτότυπης διαδραστικής εφαρμογής, εγκατεστημένης σε ηλεκτρονικό υπολογιστή. Η συγκεκριμένη εφαρμογή, με την επωνυμία “Sign Like Me” αποτελεί ένα καινοτόμο πρόγραμμα το οποίο καταφέρνει να μεταφράζει λέξεις από τη νοηματική γλώσσα στη φυσική, μέσω της αναγνώριση των κινήσεων του χρήστη σε ένα περιβάλλον πολύ φιλικό προς αυτόν. Επίσης έχει τη δυνατότητα καταγραφής και προσθήκης νέων λέξεων από κάποιον που διαθέτει τις απαραίτητες γνώσεις πάνω στην συγκεκριμένη γλώσσα, χωρίς να απαιτείται τίποτα άλλο εκτός από την εκτέλεση της κίνησης. Με τον τρόπο αυτό γίνεται πιο ευέλικτη η επικοινωνία μεταξύ ανθρώπων που δεν γνωρίζουν την Νοηματική γλώσσα. Το λογισμικό αυτό πραγματοποιεί φυσική αλληλεπίδραση μεταξύ ενός ανθρώπου και ενός ηλεκτρονικού υπολογιστή. Συνεπώς θεωρήθηκε απαραίτητη η χρήση της συσκευής Microsoft Kinect, ενώ η εφαρμογή που αναπτύχθηκε στο Microsoft Visual Studio 12 είναι γραμμένη σε C#. Συγκεκριμένα μελετήθηκε το SDK του Kinect, που καθιστά δυνατή την πρόσβαση στον χειρισμό των τριών καμερών που διαθέτει η συσκευή, ώστε να αναγνωριστούν κινήσεις σε πραγματικό χρόνο. Κατόπιν, τα δεδομένα που λαμβάνονται από την επεξεργασία της βιντεοσκόπησης γίνονται είσοδοι που έπειτα από κάποια επεξεργασία οδηγούν σε μια αλληλεπίδραση μεταξύ του ανθρώπινου σώματος και του υπολογιστικού συστήματος. Η υλοποίηση αυτή οδήγησε στην κατασκευή ενός προγράμματος που καταγράφει κινήσεις εξ αποστάσεως και δέχεται εντολές, αποτελώντας με αυτό τον τρόπο ένα σύγχρονο παράδειγμα αλληλεπίδρασης ανθρώπου μηχανής με εκπαιδευτικό και κοινωνικό χαρακτήρα. Το “Sign Like Me” δίνει μία άλλη διάσταση στην χρήση των ηλεκτρονικών μηχανών, που υπερβαίνει την απλή ψυχαγωγία του χρήστη. Του προσφέρει τη δυνατότητα εύκολης και γρήγορης επικοινωνίας καθώς και μία βάση δεδομένων ενός συνόλου λέξεων της Ελληνικής Νοηματικής Γλώσσας, αποκτώντας με αυτό το τρόπο εκπαιδευτικό χαρακτήρα. Ο σχεδιασμός και η μεθοδολογία που ακολουθήθηκε μπορεί να γίνει οδηγός για την κατασκευή περισσότερων εφαρμογών που αφορούν τομείς όπως η εκπαίδευση μέσω σωματικής άσκησης, η φυσιοθεραπεία, η χειρουργική, η ρομποτική κ.α. Τέλος, δίνει το ερέθισμα για τη σχεδίαση νέων αισθητήρων και συσκευών οπτικής αναγνώρισης με σύγχρονους τρόπους λήψης πληροφορίας.
id oai:hellanicus.lib.aegean.gr:11610-8824
institution Hellanicus
language Greek
publishDate 2015
record_format dspace
spelling oai:hellanicus.lib.aegean.gr:11610-88242025-03-14T10:04:20Z Δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας Kinect Καλούσου, Γεωργία Μαραγκουδάκης, Εμμανουήλ Νοηματική γλώσσα Κινέκτ Εφαρμογή Kinect Greek sign language Application Sign like me Sign language--Computer programs Kinect (Programmable controller) Human-computer interaction Computer software--Development Σκοπός της διπλωματικής μου εργασίας ήταν η ανάπτυξη διαπροσωπειών αλληλεπίδρασης ανθρώπου μηχανής μέσα στο γραφικό περιβάλλον μίας πρωτότυπης διαδραστικής εφαρμογής, εγκατεστημένης σε ηλεκτρονικό υπολογιστή. Η συγκεκριμένη εφαρμογή, με την επωνυμία “Sign Like Me” αποτελεί ένα καινοτόμο πρόγραμμα το οποίο καταφέρνει να μεταφράζει λέξεις από τη νοηματική γλώσσα στη φυσική, μέσω της αναγνώριση των κινήσεων του χρήστη σε ένα περιβάλλον πολύ φιλικό προς αυτόν. Επίσης έχει τη δυνατότητα καταγραφής και προσθήκης νέων λέξεων από κάποιον που διαθέτει τις απαραίτητες γνώσεις πάνω στην συγκεκριμένη γλώσσα, χωρίς να απαιτείται τίποτα άλλο εκτός από την εκτέλεση της κίνησης. Με τον τρόπο αυτό γίνεται πιο ευέλικτη η επικοινωνία μεταξύ ανθρώπων που δεν γνωρίζουν την Νοηματική γλώσσα. Το λογισμικό αυτό πραγματοποιεί φυσική αλληλεπίδραση μεταξύ ενός ανθρώπου και ενός ηλεκτρονικού υπολογιστή. Συνεπώς θεωρήθηκε απαραίτητη η χρήση της συσκευής Microsoft Kinect, ενώ η εφαρμογή που αναπτύχθηκε στο Microsoft Visual Studio 12 είναι γραμμένη σε C#. Συγκεκριμένα μελετήθηκε το SDK του Kinect, που καθιστά δυνατή την πρόσβαση στον χειρισμό των τριών καμερών που διαθέτει η συσκευή, ώστε να αναγνωριστούν κινήσεις σε πραγματικό χρόνο. Κατόπιν, τα δεδομένα που λαμβάνονται από την επεξεργασία της βιντεοσκόπησης γίνονται είσοδοι που έπειτα από κάποια επεξεργασία οδηγούν σε μια αλληλεπίδραση μεταξύ του ανθρώπινου σώματος και του υπολογιστικού συστήματος. Η υλοποίηση αυτή οδήγησε στην κατασκευή ενός προγράμματος που καταγράφει κινήσεις εξ αποστάσεως και δέχεται εντολές, αποτελώντας με αυτό τον τρόπο ένα σύγχρονο παράδειγμα αλληλεπίδρασης ανθρώπου μηχανής με εκπαιδευτικό και κοινωνικό χαρακτήρα. Το “Sign Like Me” δίνει μία άλλη διάσταση στην χρήση των ηλεκτρονικών μηχανών, που υπερβαίνει την απλή ψυχαγωγία του χρήστη. Του προσφέρει τη δυνατότητα εύκολης και γρήγορης επικοινωνίας καθώς και μία βάση δεδομένων ενός συνόλου λέξεων της Ελληνικής Νοηματικής Γλώσσας, αποκτώντας με αυτό το τρόπο εκπαιδευτικό χαρακτήρα. Ο σχεδιασμός και η μεθοδολογία που ακολουθήθηκε μπορεί να γίνει οδηγός για την κατασκευή περισσότερων εφαρμογών που αφορούν τομείς όπως η εκπαίδευση μέσω σωματικής άσκησης, η φυσιοθεραπεία, η χειρουργική, η ρομποτική κ.α. Τέλος, δίνει το ερέθισμα για τη σχεδίαση νέων αισθητήρων και συσκευών οπτικής αναγνώρισης με σύγχρονους τρόπους λήψης πληροφορίας. The goal of my thesis was to succeed the development of interpersonal interaction man-machine in the picturesque surroundings of a novel interactive application, installed on a computer. This application, called "Sign Like Me" is an innovative program that manages to translate sign language words in natural language, by recognizing the user's movement in an very friendly environment. It also has the ability of recording and adding new words from someone who has knowledge on sign language, without requiring anything other than the execution of a movement. In this way the communication between people who do not know sign language becomes more flexible .This software performs physical interaction between a human and a computer. Therefore it was considered necessary to use the device Microsoft Kinect, while the application developed in Microsoft Visual Studio 12 is written in C #. Specifically It was studied in the SDK Kinect, which allows access to the handling of the three cameras of the device, therefore it's possible to recognize movements in real time. Then, the data obtained from the video recording processing becomes inputs that after some treatment leads to an interaction between the human body and computer system. This implementation led to the creation of a program that remotely records movements and receive commands, forming in this way a modern example of man-machine interaction with an educational and social nature. The "Sign Like Me" gives another dimension to the use of electronic machines, which goes beyond mere entertainment user. Offers the possibility of easy and fast communication and a lexical database providing some words of Greek Sign Language, obtaining an educational character. The design and methodology that was used can be a guidance in order to create more applications in areas such as education through physical exercise, physiotherapy, surgery, robotics etc . Finally, it gives the stimulus to design new sensors and Optical character recognition (OCR) devices with modern ways of receiving information. 2015-11-17T10:32:31Z 2015-11-17T10:32:31Z 2014 https://vsmart.lib.aegean.gr/webopac/FullBB.csp?WebAction=ShowFullBB&EncodedRequest=*F2*05*AE*2A*DC*98*606*29*B9*F3*E7*E8*3A*0D0&Profile=Default&OpacLanguage=gre&NumberToRetrieve=50&StartValue=2&WebPageNr=1&SearchTerm1=2014%20.1.109414&SearchT1=&Index1=Keywordsbib&SearchMethod=Find_1&ItemNr=2 http://hdl.handle.net/11610/8824 el application/pdf Σάμος
spellingShingle Νοηματική γλώσσα
Κινέκτ
Εφαρμογή
Kinect
Greek sign language
Application
Sign like me
Sign language--Computer programs
Kinect (Programmable controller)
Human-computer interaction
Computer software--Development
Καλούσου, Γεωργία
Δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας Kinect
title Δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας Kinect
title_full Δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας Kinect
title_fullStr Δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας Kinect
title_full_unstemmed Δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας Kinect
title_short Δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας Kinect
title_sort δημιουργία προγράμματος αναγνώρισης νοηματικής γλώσσας από τον ηλεκτρονικό υπολογιστή με χρήση της πλατφόρμας kinect
topic Νοηματική γλώσσα
Κινέκτ
Εφαρμογή
Kinect
Greek sign language
Application
Sign like me
Sign language--Computer programs
Kinect (Programmable controller)
Human-computer interaction
Computer software--Development
url https://vsmart.lib.aegean.gr/webopac/FullBB.csp?WebAction=ShowFullBB&EncodedRequest=*F2*05*AE*2A*DC*98*606*29*B9*F3*E7*E8*3A*0D0&Profile=Default&OpacLanguage=gre&NumberToRetrieve=50&StartValue=2&WebPageNr=1&SearchTerm1=2014%20.1.109414&SearchT1=&Index1=Keywordsbib&SearchMethod=Find_1&ItemNr=2
http://hdl.handle.net/11610/8824
work_keys_str_mv AT kalousougeōrgia dēmiourgiaprogrammatosanagnōrisēsnoēmatikēsglōssasapotonēlektronikoypologistēmechrēsētēsplatphormaskinect