Μεγάλη γιορτή για την Ιερά Μονή Κουδουμά κάθε χρόνο στις 2 Σεπτεμβρίου οπότε τιμάται η μνήμη του Οσίου Κοσμά του Ερημίτη, ενός μεγάλου ασκητή που ασκήτεψε στην περιοχή των Αστερουσίων, και που προς τιμήν του κατασκευάστηκε Ιερό Βήμα και Αγία Τράπεζα στο σπήλαιο δυτικά του Μοναστηριού, το περίφημο Αββακόσπηλιο.
Το όνομα του σπηλαίου απηχεί την παλαιά χριστιανική περίοδο, από τον 4ο αιώνα μ.Χ κι έπειτα, όταν τους μεγάλους ερημίτες ασκητές της Νιτρίας και του Σινά στην Αίγυπτο τους ονόμαζαν αββάδες.
Η δράση του Οσίου Κοσμά του Ερημίτη στην Κρήτη τοποθετείται κάπου στον 7ο αιώνα, χωρίς να ξέρουμε επακριβώς το σπήλαιο όπου ασκήτεψε, παρά μόνο ότι βρισκόταν στα Αστερούσια.
Αυτό ωστόσο ήταν αρκετό ώστε ο νυν ηγούμενος της Μονής Κουδουμά να μετατρέψει το μεγάλο σπήλαιο, δυτικά του Μοναστηριού, σε χώρο λατρείας του.
Το Αββακόσπηλιο απέχει λίγες εκατοντάδες μέτρα από τη Μονή και σε αυτό οδηγεί ένα καλοδιαμορφωμένο μονοπάτι με θέα προς τη θάλασσα. Εντυπωσιάζει με το μεγάλο του άνοιγμα αλλά και το πλούσιο σταλαγμιτικό και σταλακτιτικό διάκοσμο του, παρά το περιορισμένο του μεγέθους του.
Ο Όσιος Κοσμάς γεννήθηκε, κατά το δεύτερο μισό του 6ου αιώνα μ.Χ. στην Κρήτη, άγνωστο σε ποια περιοχή. Στα νεανικά του χρόνια έλαβε μία ικανοποιητική παιδεία ώστε να μπορέσει να ασχοληθεί και να αντιταχθεί στην αίρεση των μονοθελητών.
Στην αρχή μόνασε σε κάποιο κοινόβιο. Η αντίδρασή του στον μονοθελητισμό και οι πιέσεις των μονοθελητών επισκόπων και οι αντιδράσεις τους τον οδήγησαν στο να εγκαταλείψει το κοινόβιο και να καταφύγει στην έρημο.
Το σώμα του παρέμεινε μέσα στο σπήλαιό του για ένα χρονικό διάστημα, ώσπου έγινε αντιληπτό από πιστούς οι οποίοι άρχισαν να το τιμούν. Οι άνθρωποι όμως δεν μπορούσαν εύκολα να προσεγγίσουν την απομονωμένη αυτή περιοχή και έτσι μετέφεραν το σκήνωμα του από το σπήλαιο και το τοποθέτησαν σε έναν μεγάλο ναό, πιθανόν στην Γόρτυνα.
Μια μεγάλη ανομβρία έπληξε τότε την περιοχή. Για αρκετό καιρό δεν έβρεξε και όλα τα καρποφόρα δέντρα και τα σιτηρά καταστράφηκαν από τον δυνατό ήλιο. Οι άνθρωποι σαστισμένοι κατέφυγαν στον Θεό και παρακαλούσαν για βροχή.
Τότε ο Άγιος εμφανίστηκε σε κάποιον και ζήτησε πολύ αυστηρά να βγάλουν από το σκήνωμα του όλα τα πολύτιμα κοσμήματα, και να το επιστρέψουν στο σπήλαιό του. Οι άνθρωποι φοβισμένοι παρέλαβαν το λείψανο του Αγίου και το επέστρεψαν εκεί που το βρήκαν.
Χώρισαν ένα μικρό κομμάτι στο βάθος του σπηλαίου και αφού το τοποθέτησαν εκεί το έκτισαν εξωτερικά. Από εκείνη την στιγμή άνοιξε ο ουρανός. Τόσο πολύ έβρεξε που το νερό έμεινε για μέρες λιμνάζον πάνω στην καμένη γη.
Πέρασαν τετρακόσια χρόνια και οι περισσότεροι τον ξέχασαν, μοναχά οι ασκητές της περιοχής πήγαιναν στο σπήλαιό για να προσκυνήσουν, ώσπου το έτος 1058 μ.Χ. ενετοί έμποροι παραβίασαν την κρύπτη του Αγίου και έκλεψαν το λείψανο, που παρέμενε όπως την ημέρα που ο Άγιος είχε κοιμηθεί, άφθαρτο και ευωδιάζον.
Το μετέφεραν στην Βενετία και το κατέθεσαν στην Ιερά Μονή του Αγίου Γεωργίου του Μείζονος.