Το μικρό κάστρο στην κορυφή του λόφου σχηματίζει πεντάγωνο με ορθογωνικούς σε κάτοψη πύργους στις ακμές. Το φρούριο αναπτύσσεται σε συμμετρική διάταξη ως προς τον νοητό άξονα Β-Ν, ο οποίος διέρχεται από τον κεντρικό πύργο του βόρειου τμήματος του κάστρου και από το μέσον του νότιου μεταπυργίου. Αντίθετα, ο άξονας Α-Δ χωρίζει το κάστρο σε δύο τμήματα με διαφορετική οργάνωση. Στο νότιο δύο ψηλοί πύργοι συγκλίνουν στα άκρα ενός βραχέος μεταπυργίου και στο βόρειο παρατάσσονται τρεις μικροί πύργοι υπό αμβλεία γωνία. Οι τρεις πύργοι της βόρειας πλευράς διατηρούνται σε κακή κατάσταση, με τον βορειοδυτικό κατεστραμμένο μέχρι τα θεμέλια. Από τους δύο μεγάλους μεσημβρινούς πύργους, ο δυτικός στέκει σχεδόν σε όλο του το ύψος, ενώ από τον ανατολικό λείπει ένας όροφος.
Το μνημείο αποτελεί προϊόν ενιαίου και ολοκληρωμένου σχεδιασμού που εφαρμόστηκε με την διαδικασία της σταδιακής οικοδόμησης, όπως μαρτυρούν οι αρμοί επαφής των μεταπυργίων με τους πύργους.
Πρώτοι κτίστηκαν οι δύο ψηλοί και ισχυροί πύργοι στα στην ευπρόσβλητη νότια πλαγιά. Χρησιμοποιήθηκαν άμεσα ως χώροι διαμονής και αποθήκευσης. Στην συνέχεια ολοκληρώθηκε ο αμυντικός περίβολος και οι 3 πύργοι στα βόρεια, συμπαγείς και ισοϋψείς, ελαφρώς υπερυψωμένοι σε σχέση με τα τείχη. Στην τελική φάση ανεγέρθηκαν τα κτήρια διοίκησης, κατοικίας και αποθηκών μέσα στην αυλή, τα οποία έχουν δικούς τους τοίχους που ακουμπούν πάνω στα τείχη.
Ο σχεδόν τετράγωνος νοτιοδυτικός πύργος επείχε θέση κύριου πύργου. Διέθετε τρεις ορόφους και διατηρείται σε όλο του σχεδόν το ύψος. Ο πρώτος όροφος, μπαζωμένος σήμερα, ήταν τυφλός και καλυπτόταν με ημισφαιρικό θόλο και χρησιμοποιείτο ως δεξαμενή ή αποθήκη. Στον επόμενο όροφο ανοιγόταν η είσοδος 2,5μ. περίπου ψηλότερα από το σημερινό επίπεδο της αυλής αλλά παλαιότερα θα ήταν ακόμη ψηλότερο. Στο ψηλότερο επίπεδο τα δάπεδο ήταν ξύλινο ενώ τα ανοίγματα σε όλες τις πλευρές, τρεις τοξοθυρίδες και δύο παράθυρα, επέτρεπαν την χρήση του ως χώρου διαμονής.
Από τον νοτιοανατολικό πύργο έχει καταρρεύσει ο τρίτος όροφος. Το υπόγειο αρχικά διέθετε τοξοθυρίδα που σε μεταγενέστερη φάση καταργήθηκε λόγω της διαμόρφωσής του σε καμαροσκέπαστη κινστέρνα. Η πρόσβαση γινόταν με άνοιγμα στον θόλο. Στον όροφο είχε διαμορφωθεί καμαροσκέπαστο παρεκκλήσι με την αψίδα εγγεγραμμένη στο στο πάχος του ανατολικού τοίχου. Η πρόσβαση εξασφαλιζόταν με μικρή πόρτα τοποθετημένη ψηλότερα από το επίπεδο της αυλής, στο ίδιο ύψος με τον νοτιοδυτικό πύργο. Στην δυτική πλευρά, τοξοθυρίδα πλαγιοβολής βλέπει προς το μεσημβρινό μεταπύργιο. Στην πρόσοψη ανοίγεται ορθογωνικό παράθυρο με λίθινο πλαίσιο. Καταπακτή στον θόλο οδηγεί στον δεύτερο όροφο, ενώ ο τρίτος όροφος θα καλυπτόταν με δώμα ή ξύλινη στέγη. Δύο πλίνθινοι αγωγοί κατέβαζαν τα όμβρια στην κινστέρνα.
Οι τρεις μικροί πύργοι της βόρειας πλευράς διαθέτουν έντονη σκάρπα, οι δύο μεγάλοι στα νότια πολύ μικρότερη και τα τείχη καθόλου.
Τα τείχη αρχικά υψώνονταν από το έδαφος σχεδόν ως 10μ. Το μέγιστο πάχος τους σημειακά φθάνει τα 2,10 μ. Σε ύψος 5 μ. περίπου από τα θεμέλια, στο εσωτερικό του κάστρου, το τείχος σχηματίζει τον περίδρομο όπου μπορούσε να κινηθεί περιμετρικά η φρουρά και τις επάλξεις, από τις οποίες διατηρείται μόνο το στηθαίο στα ΝΑ. Στις εξωτερικές όψεις των τειχών διακρίνονται στόμια αγωγών, για την παροχέτευση των ομβρίων από την αυλή. Ο περίδρομος στα τείχη διακόπτεται από τους δύο μεγάλους πύργους στα νότια.
Τα αμυντικά μέσα του κάστρου είναι πενιχρά και περιορίζονται στην ευρεία χρήση τοξοθυρίδων.
Η μοναδική πύλη του γουλά διευθετήθηκε κάτω από τον μεσαίο πύργο της βόρειας πλευράς, ο οποίος για το λόγο αυτό διευρύνθηκε. Στο πλέον δυσπρόσιτο σημείο της βορινής πλευράς, στο ψηλότερο βραχώδες σημείο του, κάτω από το βόρειο τείχος. Κατά αυτόν τον τρόπο, ο επίδοξος εισβολέας ερχόμενος από ανατολικά έπρεπε να διασχίσει εκτεθειμένος όλη την βόρεια πλευρά μέσα από ένα στενό πέρασμα ακριβώς κάτω από τα τείχη και τους τρεις πύργους πλαγιοβολής. Η άμυνα της πύλης ενισχύθηκε από ένα μικρό εξωτερικό οχυρωματικό περίβολο.
Στην αυλή κτίστηκαν αρχικά κτήρια εφαπτόμενα στα περιμετρικά τείχη. Δύο διακρίνονται στην βόρεια πλευρά. Το μεγαλύτερο εντοπίζεται να εφάπτεται στο ανατολικό μεταπύργιο. Πρόκειται για ένα επίμηκες κτήριο με υπόγεια δεξαμενή. Για την χωροθέτηση της υπόγειας κινστέρνας αξιοποιήθηκε η έντονη κατωφέρεια του εδάφους που επέτρεψε την δημιουργία υπογείου κάτω από το βραχώδες έξαρμα της κορυφής.
Για το κτίσιμο χρησιμοποιήθηκαν ντόπιες αδρολαξευμένες ασβεστόπετρες σε οριζόντιες στρώσεις, ασβεστοκονίαμα, και σποραδικά θραύσματα πλίνθων στους αρμούς. Πωρόλιθος αλλά και λαξευτοί ασβεστόλιθοι χρησιμοποιήθηκαν για τα λίθινα πλαίσια των ανοιγμάτων. Επίσης χρησιμοποιήθηκε σημαντική ποσότητα ξυλείας: ξυλοδεσιές στις τοιχοποιίες, δοκάρια στα οριζόντια ανώφλια των ανοιγμάτων, αμπάρες για να ασφαλίζουν τα θυρόφυλλα.
Εξωτερικά και γύρω από το φρούριο σε χαμηλότερα υψομετρικά επίπεδα σώζονται τα ερείπια του μεσαιωνικού οικισμού, από όπου διακρίνεται πλήθος μικρών υστεροβυζαντινών ναών. Σώζονται τα ερείπια από ένδεκα τουλάχιστον μικρές εκκλησίες, εκ των οποίων διατηρείται ακέραιη αυτή των Αγίων Αναργύρων (1325) όπου σώζεται ακέραιος τοιχογραφικός διάκοσμος. Τοιχογραφίες διατηρούνται επίσης στον επισκευασμένο κοιμητηριακό ναό του Αγίου Αθανασίου.
Στο κάστρο Αγιονορίου εντοπίζονται αρκετά κοινά στοιχεία με κάστρα της Γαλλίας, της Μέσης Ανατολής και του φραγκοκρατούμενου Μοριά. Το πριγκιπικό κάστρο Χλουμούτζι είναι το πρότυπό του ως προς τον γεωμετρικό σχεδιασμό. Η σταδιακή οικοδόμηση του οικοδομικού συνόλου, η αντικριστή διάταξη των δύο μεγάλων πύργων, η κατασκευή υπογείων με εκμετάλλευση της κλίσης του εδάφους, ο περίβολος έξω από την πύλη, η σκάρπα, οι τοξοθυρίδες, είναι χαρακτηριστικά που μοιράζεται επιλεκτικά με πελοποννησιακά κάστρα όπως του Χλουμουτζίου, της Καρύταινας, του Μίλα, του Σαφλαούρου και του Κιβερίου.
Ιδιαίτερα με το Κιβέρι, το Αγιονόρι μοιράζεται κατασκευαστικές και μορφολογικές ομοιότητες, στην τοιχοποιία, στους οικοδομικούς αρμούς των πύργων και των μεταπυργίων, στους ορθογωνικούς πύργους που συνεχίζουν την βυζαντινή παράδοση.
Το κάστρο του Αγιονορίου, με όλα τα απαραίτητα κτίσματα για επιβίωση και διαβίωση, όπως κινστέρνες, χώρους διαμονής στον περίβολο και στον μεγάλο πύργο, ενδεχομένως και αίθουσα υποδοχής, παρεκκλήσι στον νοτιοανατολικό πύργο, αποτελεί φεουδαρχικό κάστρο με σύνθετη λειτουργία: εκτός από αμυντική κατασκευή, ήταν κατοικία και σύμβολο επίδειξης εξουσίας που δέσποζε πάνω από τον περιβάλλοντα οικισμό. Ήταν επίσης διοικητικό κέντρο που ήλεγχε τον στρατηγικής σημασίας δρόμο της Κοντοπορείας αλλά και την αγροκτηνοτροφική παραγωγή της ευρύτερης περιοχής.