Απάντηση μαθηματικών ερωτήσεων με χρήση παραγωγικών γλωσσικών μοντέλων - Προκοπίου, Πέτρος-Μάριος (2024)
Αυτή η εργασία εξετάζει την αποτελεσματικότητα της χρήσης διάφορων παραγωγικών γλωσσικών μοντέλων για την δημιουργία απαντήσεων για ερωτήσεις μαθηματικού περιεχομένου. Τα τελευταία χρόνια υπάρχει αυξημένο ενδιαφέρον για ανάκτηση πληροφοριών μαθηματικού περιεχομένου στον κλάδο ανάκτησης πληροφοριών, και η χρήση αναδυόμενων τεχνολογιών, όπως τα παραγωγικά γλωσσικά μοντέλα, θα μπορούσε να βοηθήσει σημαντικά, δημιουργώντας εξατομικευμένες απαντήσεις σε περίπλοκα μαθηματικά ερωτήματα, έχοντας ως βάση μόνο την εκπαίδευση του μοντέλου. Για την εκπόνηση της εργασίας έγινε χρήση και εμπορικών αλλά και open source μοντέλων, και σε κάθε μοντέλο εφαρμόσθηκαν διάφορες κοινές προσεγγίσεις. Οι απαντήσεις που παρήχθησαν συγκρίθηκαν με τις απαντήσεις από τον διαγωνισμό ARQMath-3 που είχε ένα παρόμοιο θέμα, το οποίο αποτέλεσε και την έμπνευση για την εργασία αυτή. Επιπροσθέτως, έγιναν και προσπάθειες βελτίωσης των τρόπων αξιολόγησης των αποτελεσμάτων. Βρέθηκε ότι τα προεκπαιδευμένα μοντέλα που είναι διαθέσιμα στο κοινό επιτυγχάνουν παρόμοια αποτελέσματα, σύμφωνα με τις μετρικές που χρησιμοποιήθηκαν, με πιο εξειδικευμένες προσεγγίσεις, όπως αυτές που έγιναν για το ARQMath-3. Φάνηκε ότι η αποτελεσματικότητα επηρεάζεται τόσο από τον αριθμό των παραμέτρων και των άλλων τεχνικών χαρακτηριστικών των μοντέλων, όσο και από τον τρόπο που τίθενται τα ερωτήματα, τον τρόπο παραμετροποίησης και τον τρόπο προεκπαίδευσης του μοντέλου. Ταυτόχρονα υπήρξαν ενδείξεις ότι οι τωρινοί τρόποι αξιολόγησης δεν επαρκούν για την αξιολόγηση αποτελεσμάτων από παραγωγικά γλωσσικά μοντέλα, ότι υπάρχουν περιθώρια βελτίωσης τους, αλλά και ανάγκη εύρεσης επιπλέον τρόπων αξιολόγησης που θα ανταποκρίνονται στις ανάγκες της συγκεκριμένης προσέγγισης.