Το εκκλησάκι εκτιμάται ότι χτίστηκε το 1300 και εκεί επέλεξαν ερημίτες μοναχοί να ασκητέψουν, ενώ μέχρι και σήμερα αποτελεί ένα σημείο απόλυτης ησυχίας και μοναδικής αισθητικής. Η πρόσβαση στο ναό γίνεται μέσω ενός μονοπατιού που οδηγεί στην κορυφή του βουνού Κάκαβου. Σε 15 λεπτά οι επισκέπτες διανύουν 1300 μ., απολαμβάνοντας το υπέροχο τοπίο και την εντυπωσιακή θέα προς τον κόλπο του Μούδρου.
Όπως μάς ενημερώνει ο διαδικτυακός τόπος TRAVELSTYLE στο εξωκλήσι γίνεται μόνο μία Θεία Λειτουργία τον χρόνο, κάθε Τρίτη μετά τη Λαμπρή και φυσικά μεταφέρεται και η εικόνα της Παναγίας Κακαβιώτισσας. Τις υπόλοιπες μέρες το ξωκλήσι της «Παναγιάς της Κακαβιώτισσας» αποτελεί ησυχαστήριο για εκείνους που θέλουν να απομονωθούν και να προσευχηθούν.