Applications of convolutional neural networks in image and natural language processing
Σε αυτή την διπλωματική εξετάζουμε πειραματικά το ενδεχόμενο της αποτελεσματικής μεταφοράς ιδιοτήτων ενός Συνελικτικού Νευρωνικού Δικτύου (ΣΝΔ) σε ένα άλλο ΣΝΔ, όπου το τελευταίο επιλύει ένα πρόβλημα το οποίο διαφέρει από το πρόβλημα που επιλύει το πρώτο ΣΝΔ. Για την κατηγοριοποίηση εικόνας ή κειμέν...
Αποθηκεύτηκε σε:
| Κύριος συγγραφέας: | |
|---|---|
| Άλλοι συγγραφείς: | |
| Γλώσσα: | en_US |
| Δημοσίευση: |
2022
|
| Θέματα: | |
| Διαθέσιμο Online: | http://hdl.handle.net/11610/23105 |
| Ετικέτες: |
Προσθήκη ετικέτας
Δεν υπάρχουν, Καταχωρήστε ετικέτα πρώτοι!
|
| Περίληψη: | Σε αυτή την διπλωματική εξετάζουμε πειραματικά το ενδεχόμενο της αποτελεσματικής μεταφοράς ιδιοτήτων ενός Συνελικτικού Νευρωνικού Δικτύου (ΣΝΔ) σε ένα άλλο ΣΝΔ, όπου το τελευταίο επιλύει ένα πρόβλημα το οποίο διαφέρει από το πρόβλημα που επιλύει το πρώτο ΣΝΔ. Για την κατηγοριοποίηση εικόνας ή κειμένου, η προσαρμογή των υπερπαραμέτρων μίας αρχιτεκτονικής ενός βα-
θιού ΣΝΔ είναι συνήθως μία κουραστική και δύσκολη διαδικασία. Οπότε, εάν υπάρχει τρόπος μέσω του οποίου η υπόθεσή μας είναι έγκυρη, τότε υπάρχει η
δυνατότητα για την διευκόλυνση αυτής της διαδικασίας. Εξετάζουμε αν ένα ΣΝΔ το οποίο είναι αποδοτικό σε ένα από τα δύο αυτά πεδία, είναι εξίσου αποδοτικό στο άλλο πεδίο. Ελέγχουμε τις αποδόσεις στα αντίστοιχα προβλήματα και συζητάμε
για την αποτελεσματικότητα αυτών των μεταφορών. Δύο αρχιτεκτονικές ΣΝΔ επιλέχθηκαν, όπου η μία είναι προσαρμοσμένη σε ένα συγκεκριμένο σύνολο δεδομένων με εικόνες και σε ένα με κείμενα αντίστοιχα. Αρχικά, για κάθε περίπτωση, έχουμε μεταφέρει μόνο τις ιδιότητες της αρχιτεκτονικής χωρίς να λάβουμε υπόψη μας τις εκπαιδεύσιμες παραμέτρους. Συγκεκριμένα έχουμε μεταθέσει τα
προβλήματα που αντιστοιχίζονται στις δύο αρχιτεκτονικές, με τέτοιο τρόπο ώστε εάν η Αρχιτεκτονική Α αντιστοιχίζεται στο πρόβλημα κατηγοριοποίησης εικόνας και η Αρχιτεκτονική Β αντιστοιχίζεται στο πρόβλημα κατηγοριοποίησης κειμένου, μέσω αυτής της μετάθεσης καταλήγουμε να χρησιμοποιούμε την Αρχιτεκτονική Α για το πρόβλημα κατηγοριοποίησης κειμένου και την Αρχιτεκτονική Β για το πρόβλημα κατηγοριοποίησης εικόνας. Κατά την μετάθεση αυτή, αντικαθιστούμε τις στοιβάδες τύπου 1Δ (π.χ. 1Δ συνελικτική στοιβάδα) με τις αντίστοιχες στοιβάδες τύπου 2Δ για την εκπαίδευση του κατηγοριοποιητή εικόνας κα-
θώς επίσης κάνουμε και το αντίστροφο για την εκπαίδευση του κατηγοριοποιητήκειμένου. Τα αποτελέσματα των εκπαιδεύσεων των μοντέλων που βασίστηκαν σε αυτές τις τροποποιημένες αρχιτεκτονικές δείχνουν πως είναι υψηλής αποδοτικότητας όπως παρουσιάζουμε εκτενώς στα πειράματα.
Επιπρόσθετα, υπήρξε και μία δεύτερη προσέγγιση σε αυτό το πρόβλημα της μεταφοράς ιδιοτήτων από το ένα ΣΝΔ στο άλλο, ωστόσο αυτή την φορά επικαλεστήκαμε τεχνικές του transfer learning χρησιμοποιώντας εκπαιδευμένα ΣΝΔ τα οποία
βασίστηκαν στις ίδιες προσαρμοσμένες (tuned) αρχιτεκτονικές. Τα πειράματά μας, δείχνουν πως τα ΣΝΔ στόχοι (target CNNs) αποδίδουν όπως οι τυχαίοι κατηγοριοποιητές, οπότε η χρήση του transfer learning για αυτόν το σκοπό έχει αποτύχει.
Φαίνεται πως εν μέρει η κακή απόδοση σε περιπτώσεις τέτοιων μεταφορών, οφείλεται στις παραμέτρους που εκπαιδεύτηκαν στο σύνολο δεδομένων πηγή (source dataset) οι οποίες παράμετροι είναι αισθητά ακατάλληλες για την εκπαίδευση του ΣΝΔ στόχος (target CNN) στο σύνολο δεδομένων στόχο (target dataset).
Τέλος, η χρήση στοιβάδας 2Δ με μικρό scanning shape (π.χ. μικρό shape φίλτρου στη περίπτωση της 2Δ συνελικτικής στοιβάδας) σε δεδομένα κειμένου, πρέπει να συμβάλλει σε αυτή την προβληματική συμπεριφορά διότι κάθε embedded διάνυσμα
εκπροσωπεί ένα token ενός κειμένου και παράγοντας feature maps βασισμένα σε μικρά μέρη τέτοιων διανυσμάτων δεν έχει πολύ νόημα. |
|---|