Στην τοπική παράδοση εθεωρείτο ότι η Καπέλλα Καζάτζα (που σημαίνει «εκκλησία-σπίτι») ήταν το παρεκκλήσιο του Μάρκου Σανούδου –του Ενετού κατακτητή των Κυκλάδων τον 13ο αιώνα, είναι όμως κατασκευή του 14ου αιώνα.

Μέσα στο κάστρο, κοντά στο Πίσω Παραπόρτι, βρίσκεται η Μονή Καπουκίνων. Αποτελείται από την εκκλησία που είναι αφιερωμένη στον Άγιο Αντώνιο της Πάδουας. Ο ναός είναι μονόκλιτος, με ωραίες εικόνες και το μαρμαρένιο δάπεδό του στολίζεται από τάφους αρχόντων με τα οικόσημά τους, όπως των Κορονέλλων-Κάστρι και των Λορεντάνων-Κρίσπι.Οι Καπουτσίνοι έφθασαν στη Νάξο το 1628. Ο ναός λειτούργησε και ως σχολείο. Ο «Κώδικας της Μονής των Καπουκίνων» που διασώθηκε, αποτελεί σημαντική μαρτυρία για τη ζωή και την ιστορία της Μονής αλλά και για την ιστορία, τη ζωή και τις περιπέτειες ολόκληρου του Κάστρου το μεγαλύτερο διάστημα της Τουρκοκρατίας.

Ακριβώς πίσω από την Καθολική Μητρόπολη και δίπλα στο Καθολικό Επισκοπικό Μέγαρο, βρίσκεται ο μοναδικός ορθόδοξος ναός του Κάστρου, η Παναγία η Θεοσκέπαστη. Η εκκλησία είναι ναός δίκλιτος. Το ένα κλίτος (δεξιά) ανήκει στην Παναγία και το άλλο στην Αγία Αναστασία τη Φαρμακολύτρια. Πρόκειται πιθανότατα για το παλαιότερο μνημείο απ’ όσα σώζονται στο Κάστρο, που μας «κληροδότησε» τον «Κώδικα της Θεοσκέπαστης» και αμφιπρόσωπες φορητές εικόνες.

Η Εμπορική Σχολή ήταν το μοναστήρι του τάγματος των Ιησουϊτών μοναχών που εγκαταστάθηκαν στη Νάξο αρχές του 17ου αι. κάτω από την επιρροή της Γαλλικής διπλωματίας και πολιτικής στην Ανατολή. Οι Ιησουΐτες ανέλαβαν την υποχρέωση να ιδρύσουν σχολείο για τη θρησκευτική και κοινωνική μόρφωση των καθολικών νέων της Νάξου. Από το 1628 μέχρι το 1773 το σχολείο λειτούργησε συνεχώς υπό την διεύθυνση των Ιησουιτών. Από το 1782 η διεύθυνση μεταβιβάστηκε στους μοναχούς του τάγματος του Αγίου Λαζάρου (Λαζαρισταί), μέχρι το 1887, οπότε αυτοί εγκατέλειψαν τη Νάξο. Μετά την αναχώρησή τους, το 1891, τη λειτουργία του σχολείου ανάλαβαν οι Σαλεσιανοί μοναχοί. Αυτοί οργάνωσαν το σχολείο πάνω σε σύγχρονες βάσεις και το μετέτρεψαν σε Εμπορική Σχολή. Σ’ αυτήν φοίτησε ο Νίκος Καζαντζάκης. Η Σχολή, που απέκτησε τεράστια φήμη, επέζησε μέχρι το 1927, οπότε έκλεισε οριστικά, μετά από τριακόσια χρόνια από την ίδρυση της. Τώρα στεγάζει το Αρχαιολογικό Μουσείο.

Η κανονική λειτουργία της Σχολής Ουρσουλινών ανάγεται στο 1739. Αλλά οι προσπάθειες για τη δημιουργία σχολείου για κορίτσια είχαν ξεκινήσει έναν αιώνα νωρίτερα από τον Ιησουΐτη ηγούμενο και ιστορικό της Νάξου Ροβέρτο Σωζέ. Το 1986 το οίκημα αγοράσθηκε από το Ελληνικό Δημόσιο και έκτοτε χρησιμοποιείται για πολιτιστικούς σκοπούς.