| _version_ |
1828462301250846720
|
| author |
Βίλταρη, Καλλιόπη
|
| author2 |
Μίνης, Ιωάννης
|
| author_facet |
Μίνης, Ιωάννης
Βίλταρη, Καλλιόπη
|
| author_sort |
Βίλταρη, Καλλιόπη
|
| collection |
DSpace
|
| description |
Traffic lights recognition and classification play an important role in the realization of
autonomous vehicles. This automated process uses video (frames) to recognize and
classify traffic lights along the vehicle’s path in real time. In this thesis, we adapt a
proven deep learning model to recognize three classes (states) of traffic lights: green,
red and yellow. The model is YOLOv3, it includes Darknet-53 and combines object
detection and classification. The deep learning algorithms are implemented in Google
Colab (a cloud platform developed by Google). The resulting Convolutional Neural
Network (CNN) is trained using publicly available data sets that we modify to enhance
the available training data.
Firstly, the training and validation datasets are generated. Secondly, ground truth
bounding boxes -which define the class and the object in the images- are created and
uploaded to the Colab environment that runs the algorithm for object detection. The
algorithm preprocesses the images, creates bounding boxes that contain the object
and adjusts the weights of some model layers. To obtain the most appropriate
weights, we perform various training/validation experiments using combinations of
available datasets. The experiments indicate that the addition of very clear photos,
which contain only traffic lights in the training datasets, and in general photos in which
traffic lights are part of a general environment, significantly help the training process.
We use the best performing weights to conduct a large case study that uses as input
video footage taped from the streets of Thessaloniki, which contains numerous traffic
lights in all three states. We divide the predictions into 3 categories: True, False and
No predictions. Initially the study indicated a relatively low performance of the model
caused by a high percentage of No predictions. To address this issue, we used more
than one photographs of each traffic light-state combination and combined the
related predictions. As a result, the percent of No predictions was reduced
significantly, and the combined process yielded better results.
|
| id |
oai:hellanicus.lib.aegean.gr:11610-23103
|
| institution |
Hellanicus
|
| language |
English
|
| publishDate |
2022
|
| record_format |
dspace
|
| spelling |
oai:hellanicus.lib.aegean.gr:11610-231032022-02-25T18:14:36Z Classification of traffic signs based on object recognition Αυτοματοποιημένη ταξινόμηση των σημάτων κυκλοφορίας με βάση την αναγνώριση αντικειμένων Βίλταρη, Καλλιόπη Μίνης, Ιωάννης object recogniton image classification convolutional neural networks Classification Traffic signs and signals αναγνώριση αντικειμένου Συνδέσεις (Μαθηματικά) Neural networks (Computer science) Classification Traffic signs and signals Traffic Convolutions (Mathematics) Traffic lights recognition and classification play an important role in the realization of autonomous vehicles. This automated process uses video (frames) to recognize and classify traffic lights along the vehicle’s path in real time. In this thesis, we adapt a proven deep learning model to recognize three classes (states) of traffic lights: green, red and yellow. The model is YOLOv3, it includes Darknet-53 and combines object detection and classification. The deep learning algorithms are implemented in Google Colab (a cloud platform developed by Google). The resulting Convolutional Neural Network (CNN) is trained using publicly available data sets that we modify to enhance the available training data. Firstly, the training and validation datasets are generated. Secondly, ground truth bounding boxes -which define the class and the object in the images- are created and uploaded to the Colab environment that runs the algorithm for object detection. The algorithm preprocesses the images, creates bounding boxes that contain the object and adjusts the weights of some model layers. To obtain the most appropriate weights, we perform various training/validation experiments using combinations of available datasets. The experiments indicate that the addition of very clear photos, which contain only traffic lights in the training datasets, and in general photos in which traffic lights are part of a general environment, significantly help the training process. We use the best performing weights to conduct a large case study that uses as input video footage taped from the streets of Thessaloniki, which contains numerous traffic lights in all three states. We divide the predictions into 3 categories: True, False and No predictions. Initially the study indicated a relatively low performance of the model caused by a high percentage of No predictions. To address this issue, we used more than one photographs of each traffic light-state combination and combined the related predictions. As a result, the percent of No predictions was reduced significantly, and the combined process yielded better results. Η αναγνώριση και η ταξινόμηση των σημάτων κυκλοφορίας παίζουν σημαντικό ρόλο στην υλοποίηση των αυτόνομων οχημάτων. Αυτή η αυτοματοποιημένη διαδικασία χρησιμοποιεί σαν είσοδό της βίντεο (συγκεκριμένα μοναδικές συνεχόμενες εικόνες που παράχθηκαν από το βίντεο) για να αναγνωρίζει και να ταξινομεί την κατάσταση των φωτεινών σηματοδοτών(φαναριών) κατά μήκος της διαδρομής σε πραγματικό χρόνο. Σε αυτή την διπλωματική εργασία, προσαρμόζουμε ένα αποδεδειγμένο μοντέλο βαθιάς μάθησης για να αναγνωρίσουμε τρεις κατηγορίες (καταστάσεις) φαναριών: πράσινο, κόκκινο και κίτρινο. Το μοντέλο είναι το YOLOv3 και περιλαμβάνει το δίκτυο Darknet-53. Συνδυάζει την αναγνώριση και την ταξινόμηση των αντικειμένων. Οι μέθοδοι βαθιάς μάθησης εφαρμόζονται στο Google Colab (μια πλατφόρμα που αναπτύχθηκε από την Google). To νευρωνικό δίκτυο Convolutional Neural Network (CNN) εκπαιδεύεται χρησιμοποιώντας δημόσια διαθέσιμα σύνολα δεδομένων (public datasets) που τροποποιούμε για να βελτιώσουμε τα διαθέσιμα δεδομένα τα λεγόμενα training data. Πρώτον, δημιουργούμε σύνολα δεδομένων εκπαίδευσης και επικύρωσης, γνωστά ως training and validation data. Δεύτερον, δημιουργούμε χειροκίνητα ένα βασικό πλαίσιο οριοθέτησης των αντικειμένων κάθε φωτογραφίας, γνωστό ως ground truth bounding box, για να προσδιορίσουμε την κλάση (κατηγορία) και το αντικείμενο της εικόνας και στη συνέχεια ανεβάζουμε τις εικόνες στον κώδικα (σε περιβάλλον Colab) για να γίνει η διαδικασία αναγνώρισης. Ο αλγόριθμος προ-επεξεργάζεται τις εικόνες, δημιουργώντας ειδικά πλαίσια οριοθέτησης (bounding boxes) που περιέχουν το αντικείμενο και προσαρμόζει τα βάρη ορισμένων επιπέδων του μοντέλου, γνωστά ως model layers. Για να αποκτήσουμε τα πιο κατάλληλα βάρη, εκτελούμε διάφορα πειράματα εκπαίδευσης και επικύρωσης (training and validation) χρησιμοποιώντας συνδυασμούς των διαθέσιμων συνόλων δεδομένων. Τα πειράματα δείχνουν ότι η εισαγωγή πολύ καθαρών φωτογραφιών που περιέχουν μόνο σηματοδότες (και όχι άλλα αντικείμενα) στα σύνολα δεδομένων της εκπαίδευσης με φωτογραφίες στις οποίες τα φανάρια αποτελούν μέρος ενός γενικού περιβάλλοντος, βοηθά σημαντικά τη διαδικασία εκπαίδευσης. Χρησιμοποιούμε τα βάρη με τις καλύτερες επιδόσεις για να υλοποιήσουνε μια εκτεταμένη μελέτη περίπτωσης, η οποία χρησιμοποιεί ως είσοδο βίντεο που έχουν μαγνητοσκοπηθεί από τους δρόμους της Θεσσαλονίκης. Τo βίντεο αυτό περιέχει μεγάλο πλήθος σηματοδοτών και στις τρεις καταστάσεις τους. Χωρίζουμε τις προβλέψεις σε 3 κατηγορίες: Σωστή πρόβλεψη, Λάθος πρόβλεψη και Ουδεμία (μη) πρόβλεψη. Αρχικά, η μελέτη έδειξε μια σχετικά χαμηλή απόδοση του μοντέλου που προκλήθηκε από υψηλό ποσοστό της κατηγορίας των μη προβλέψεων (No prediction). Για την αντιμετώπιση αυτού του ζητήματος, χρησιμοποιήσαμε περισσότερες από μία φωτογραφίες κάθε συνδυασμού φωτεινού σηματοδότη και της κατάστασής του και συνδυάσαμε τις σχετικές προβλέψεις. Ως αποτέλεσμα, το ποσοστό των μη προβλέψεων μειώθηκε σημαντικά και η απόδοση της ολοκληρωμένης διαδικασίας βελτιώθηκε ανάλογα. 2022-02-22T13:21:18Z 2022-02-22T13:21:18Z 2021-09-27 http://hdl.handle.net/11610/23103 en Αναφορά Δημιουργού 4.0 Διεθνές http://creativecommons.org/licenses/by/4.0/ 117 σ. application/pdf Χίος
|
| spellingShingle |
object recogniton
image classification
convolutional neural networks
Classification
Traffic signs and signals
αναγνώριση αντικειμένου
Συνδέσεις (Μαθηματικά)
Neural networks (Computer science)
Classification
Traffic signs and signals
Traffic
Convolutions (Mathematics)
Βίλταρη, Καλλιόπη
Classification of traffic signs based on object recognition
|
| title |
Classification of traffic signs based on object recognition
|
| title_full |
Classification of traffic signs based on object recognition
|
| title_fullStr |
Classification of traffic signs based on object recognition
|
| title_full_unstemmed |
Classification of traffic signs based on object recognition
|
| title_short |
Classification of traffic signs based on object recognition
|
| title_sort |
classification of traffic signs based on object recognition
|
| topic |
object recogniton
image classification
convolutional neural networks
Classification
Traffic signs and signals
αναγνώριση αντικειμένου
Συνδέσεις (Μαθηματικά)
Neural networks (Computer science)
Classification
Traffic signs and signals
Traffic
Convolutions (Mathematics)
|
| url |
http://hdl.handle.net/11610/23103
|
| work_keys_str_mv |
AT biltarēkalliopē classificationoftrafficsignsbasedonobjectrecognition
AT biltarēkalliopē automatopoiēmenētaxinomēsētōnsēmatōnkyklophoriasmebasētēnanagnōrisēantikeimenōn
|