Ευφυής διάσχιση και εντοπισμός ιστοσελίδων με χρήση θεματικών ιεραρχιών - Φρέσκας, Δημήτριος (2015)
Παρατηρώντας την τεράστια και συγχρόνως γοργή αύξηση του παγκόσμιου ιστού καταλαβαίνουμε ότι η εύρεση κάποιας συγκεκριμένης πληροφορίας, πολλές φορές καθίσταται δύσκολη έως και αδύνατη.Εξετάζοντας και κάποια συστήματα που χρησιμοποιούνται ευρέως για αναζήτηση ιστοσελίδων καταβαίνουμε ότι τα αποτελέσματά τους δεν είναι τόσο αξιόπιστα.Σκοπός, λοιπόν αυτού του προγράμματος που υλοποιήθηκε είναι η αντιμετώπιση των παραπάνω προβλημάτων και η συγκέντρωση της πληροφορίας σε κατηγορίες που θα έχει ορίσει χρήστης του συστήματος.Στο κείμενο που ακολουθεί θα δούμε κάποιες έννοιες αρχικά για τα τμήματα που αποτελούν το πρόγραμμα. Για αυτό και αρχικά θα αναφερθούμε σε crawler και τα είδη αυτών. Στη συνέχεια σε οντολογίες που είναι και μία μορφή ταξινόμησης των πληροφοριών. Μετά θα περιγράψουμε την δομή και την αρχιτεκτονική του δικού μας intelligent crawler καθώς και τα επιμέρους χαρακτηριστικά του που του δίνουν την ικανότητα να αποκτάει και να αναπτύσσει, κατά την διάρκεια της αναζήτησης ιστοσελίδων, ευφυία.Στην συνέχεια θα αναφερθούμε στον μέθοδο tf/idf αλλά και στο εργαλείο wvtool που χρησιμοποιήσαμε για να μπορούμε να κάνουμε την ανάθεση βαρών σε λέξης που αποτελούν ο περιεχόμενο μίας ιστοσελίδας.Εν συνεχεία θα παρουσιάσουμε και τον συγκριτική μέθοδο cosine similarity που έχει αναλάβει να κάνει την σύγκριση μεταξύ των βαρών μίας ιστοσελίδας και των βαρών των κατηγοριών για να δούμε που θα ταξινομείτε μία σελίδα.Αμέσως μετά θα παρουσιαστούν και κάποιες δοκιμές για να φανεί πόσο αποδοτικό είναι το σύστημα μας αλλά και τα ιδιαίτερα χαρακτηριστικά του(π.χ ότι αυξάνοντας την έτοιμη γνώση σε μία κατηγορία άλλαζε ο αριθμός σελίδων που περνούσαν σε αυτή).Τέλος θα δούμε και τους προβληματισμούς μας πάνω σε κάποια θέματα που προκύψαν στην υλοποίηση αλλά και στις δοκιμές πάνω στο σύστημα καθώς και τις λύσεις τους. Βέβαια τελειώνοντας έχουμε και κάποια συμπεράσματα και τι πρέπει να γίνει στο μέλλον για τη ανάπτυξη των συγκεκριμένων μοντέλων.