Η εκκλησία της Παναγίας του Κάστρου βρίσκεται στο Κολλάκιο της μεσαιωνικής πόλης, στο ανατολικό άκρο της μεγαλύτερης και αρχαιότερης σωζόμενης οδού Ιπποτών, στη σημερινή πλατεία Μουσών.
Ο αρχικός πυρήνας του υφιστάμενου ναού οικοδομήθηκε πιθανότατα τον 11ο αι. επ’ ονόματι της Παναγίας, στον αρχιτεκτονικό τύπο του σταυροειδούς εγγεγραμμένου με τρούλο και αποτέλεσε τη μητρόπολη του ορθόδοξου δόγματος.
Μετά την κατάληψη της Ρόδου από τους Ιωαννίτες ιππότες, η βυζαντινή εκκλησία καθιερώθηκε ως καθεδρικός αρχιεπισκοπικός ναός των Λατίνων, αφιερωμένος επίσης στη Θεοτόκο, με το όνομα Sancta Maria Castelli Rodi. Η μετατροπή της ορθόδοξης μητρόπολης σε καθολική, επιβεβαιώνει τον κυρίαρχο ρόλο του δυτικού δόγματος και των κατακτητών ιπποτών επί του γηγενούς ορθόδοξου πληθυσμού.
Ο βυζαντινός ναός μετασκευάστηκε κάποια στιγμή μέσα στο α΄ μισό του 14ου αι. και πήρε τη μορφή τρίκλιτης βασιλικής με υπερυψωμένο το κεντρικό κλίτος και τριμερές ιερό, στεγασμένης με γοτθικά σταυροθόλια. Η μετατροπή αυτή οφείλεται σε επισκευή λόγω πιθανής κατάρρευσης του μεσαίου κλίτους με τον τρούλο κατά το σεισμό του 1303. Η παλιά αρχιτεκτονική αυτή φάση παραμένει εμφανής έως τη γένεση περίπου των τόξων, τα οποία άλλοτε μεταβίβαζαν το βάρος των ωθήσεων του τρούλου.
Όπως προκύπτει από τις πηγές, η αρχιεπισκοπή της Ρόδου την περίοδο αυτή βρισκόταν σε μεγάλη ένδεια και δεν μπορούσε να αντέξει οικονομικά την ανοικοδόμηση του ναού. Για το λόγο αυτό, ζήτησε την βοήθεια του πάπα Ιωάννη XXII, ο οποίος φαίνεται να της την παρείχε. Για αυτή του την συνεισφορά προφανώς, και για να τον τιμήσουν, τοποθέτησαν το οικόσημό του δίπλα σε αυτό του Μεγάλου Μαγίστρου Helion de Villeneuve (1319-1346), τα οποία διατηρούνται εντοιχισμένα στο άνω τμήμα της κόγχης του ιερού. Η συνολική μελέτη του μνημείου σε συνδυασμό με τις γραπτές πηγές, συνηγορεί στη χρονολόγηση της αρχικής ιπποτικής αυτής επέμβασης μεταξύ των ετών 1319 και 1334.
Ο ναός φαίνεται να δέχθηκε ακόμη μία ιπποτική επέμβαση που τοποθετείται στο β΄ μισό του 15ου αι και πιθανόν συνδέεται με την πολιορκία του 1480, κατά την οποία η εκκλησία υπέστη εκτεταμένες φθορές. Προς επίρρωση αυτής χρονολόγησης, το οικόσημο του Μεγάλου Μαγίστρου Pierre d’ Aubusson (1476-1503) εντός υαλοστασίου, συνοδεία των οικοσήμων των προγενέστερων Μεγάλων Μαγίστρων Antoni de Fluvian (1421-1437) και Jean Bonpart de Lastic (1437-1454) ως απόδοση τιμής, πιθανόν γιατί είχαν συμβάλλει σε αντίστοιχες επιδιορθώσεις.
Κατά την περίοδο της τουρκοκρατίας, ο καθολικός ναός της Παναγίας, κατά τα ειωθότα, μετατράπηκε σε μουσουλμανικό τέμενος με το όνομα Εντερούμ τζαμί, το οποίο διατηρήθηκε μέχρι τις αρχές του Β΄ Παγκοσμίου Πολέμου. Η απόδοση του ναού στη νέα θρησκεία επέβαλλε την προσθήκη συγκεκριμένων κατασκευών απαραίτητων για τη διεξαγωγή της λατρείας, μεταξύ των οποίων και ο μιναρές που υψώθηκε στη νότια πλευρά του κτηρίου, τα οικοδομικά κατάλοιπα του οποίου αφαιρέθηκαν κατά τις εργασίες αποκατάστασης του μνημείου που εκτελέστηκαν στην περίοδο της ιταλικής κατοχής του νησιού. Ανάμνηση της απόδοσης του ναού στη νέα θρησκεία είναι η κρήνη που εξυπηρετούσε το τζαμί στην παρακείμενη πλατεία και έφερε χρονολογία 1881.
Από τον εντοίχιο ζωγραφικό διάκοσμο της εκκλησίας των ιπποτικών χρόνων διατηρούνται ελάχιστα σπαράγματα, μεταξύ των οποίων η παράσταση της Παναγίας Βρεφοκρατούσας και ζεύγη αγίων στο βορειοδυτικό πεσσό χρονολογημένα στο β΄ τέταρτο 14ου αι., καθώς και η μορφή της Αγίας Λουκίας στο νότιο τοίχο, έργο πιθανότατα δυτικοευρωπαίου ζωγράφου του β΄ μισό 14ου αι.
Ενδιαφέρον παρουσιάζει και η ορθογώνια υπέρθυρη κόγχη με το εξέχον πλαίσιο στη δυτική όψη του ναού. Παρότι δεν διατηρούνται στοιχεία για το θέμα της τοιχογραφίας που πλαισίωνε, θεωρείται πιθανόν να φιλοξενούσε ζωγραφική σύνθεση με θέμα την Παναγία συνοδεία αγίων και ιπποτών. Αξιοσημείωτη είναι επίσης η ύπαρξη υπόγειας πηγής ύδατος στη βορειοανατολική γωνία του ναού, η οποία φαίνεται να βρισκόταν σε χρήση τουλάχιστον από τον 11ο αι. και πιθανόν να θεωρούνταν αγίασμα.
Σήμερα, έπειτα από τη διαχρονική χρήση της Παναγίας του Κάστρου ως ναού από το σύνολο των δογμάτων και των θρησκειών που πέρασαν από το νησί, αποτελεί κηρυγμένο μνημείο και υπάγεται στον έλεγχο της Εφορείας Αρχαιοτήτων Δωδεκανήσου. Κατά καιρούς στους χώρους της έχει φιλοξενήσει εκθέσεις και διάφορες εκδηλώσεις, ενώ μέχρι πρότινος στέγαζε το βυζαντινό μουσείο της Ρόδου, το οποίο παραμένει κλειστό στο πλαίσιο συντήρησης και επανέκθεσης των κειμηλίων του