Στον λόφο των Καρυών, επάνω από τη λουτρόπολη της Θερμής, μέσα στους ελαιώνες προβάλλει η ιερά μονή του Αγίου Ραφαήλ, σημαντικό σύγχρονο προσκύνημα της Λέσβου, που προσελκύει πλήθη επισκεπτών κάθε χρόνο. Η μονή εορτάζει την Τρίτη της Διακαινησίμου, ημέρα της καταστροφής από τους Τούρκους και μαρτυρίου των αγίων.
Σύμφωνα με την παράδοση, ιδρύθηκε στη βυζαντινή εποχή και ήταν αφιερωμένη στο Γενέσιο της Θεοτόκου. Το 1235 καταστράφηκε από πειρατές, οι μοναχές της σφαγιάσθηκαν και η ηγουμένη της Ολυμπία θανατώθηκε μαρτυρικά. Το 1433 επανιδρύθηκε και το 1454 αναζωογονήθηκε όταν εγκαταστάθηκαν εδώ ο ιερομόναχος Ραφαήλ και ο διάκονος Νικόλαος. Το 1463 η μονή καταστράφηκε ολοσχερώς από τους Τούρκους, με αφορμή μία εξέγερση των κατοίκων. Οι μοναχοί και οι πιστοί σφαγιάσθηκαν, και βρήκαν μαρτυρικό θάνατο ο ηγούμενος Ραφαήλ, ο Νικόλαος, και η μικρή Ειρήνη, κόρη του τοπικού άρχοντα. Η μονή ερειπώθηκε και στα χρόνια της Τουρκοκρατίας υπήρχε μόνο ένα εξωκκλήσι της Παναγίας.
Μετά την Τουρκοκρατία, τα κτήματα της περιοχής περιήλθαν σε ιδιώτες και κατά τις εργασίες οικοδόμησης νέου ναΐσκου, το 1959, αποκαλύφθηκαν και ταυτίστηκαν από τους κατοίκους τα ερείπια της μονής και οι τάφοι με τα λείψανα των τριών αγίων και της οσίας Ολυμπίας. Η σημερινή, γυναικεία μονή ιδρύθηκε το 1963 και εγκαινιάσθηκε το 1969.
Το συγκρότημα είναι κτισμένο στη δεκαετία του 1960 και διαθέτει ευρύχωρες εγκαταστάσεις και ξενώνες για τη φιλοξενία των προσκυνητών. Το καθολικό, λόγω της διαμόρφωσης του εδάφους, αποτελείται από δύο ναούς, που έχουν κτιστεί ο ένας επάνω στον άλλο προκειμένου να περιλάβουν τους τάφους των νεοφανών αγίων. Στον επάνω ναό, που είναι αφιερωμένος στον Άγιο Ραφαήλ, βρίσκεται ο τάφος του, ενώ στον κάτω, που είναι αφιερωμένος στην Κοίμηση της Θεοτόκου βρίσκονται οι τάφοι του αγίου Νικολάου, της αγίας Ειρήνης και του πατέρα της. Στη μονή υπάρχουν, επίσης, μεγάλος ναός της αγίας Μαγδαληνής, παρεκκλήσια και πινακοθήκη.
17 Σεπτεμβρίου 1462 η Λέσβος πέφτει στα χέρια των Οθωμανών κατακτητών. Εννέα χρόνια πριν ο Γεώργιος Λάσκαρης (Ραφαήλ)από την Ιθάκη, γόνος εύπορης οικογένειας και με σπουδές στην Ευρώπη, έρχεται από την Αλεξανδρούπολη στη Λέσβο, όπου αναζητεί ένα μέρος για να μονάσει.
Έξι μήνες μετά την κατάληψη του νησιού και συγκεκριμένα Τρίτη της Δικαινήσιμου, 9 Απριλίου έρχεται η μεγάλη καταστροφή.
Το βράδυ Τούρκοι μπαίνουν στο μοναστήρι. Καίνε ότι βρουν μπροστά τους. Αρπάζουν τον Άγιο Ραφαήλ, κόβουν την κάτω γνάθο και τον κρεμούν ανάποδα στην καρυδιά της αυλής. Θανατώνουν δια της λόγχης τον Άγιο Νικόλαο, καθώς και όλους τους μοναχούς. Τέλος βάζουν την 12χρονη τότε κόρη του προεστού σε ένα πιθάρι,αφού πρώτα της έκοψαν το χέρι, και την καίνε ζωντανή μπροστά στα μάτια των γονέων της. Μαζί τους θανατώθηκαν και αρκετοί κάτοικοι της ιστορικής κωμόπολης Θερμής. Τα οστά των Αγίων θάφτηκαναπό τον ιερέα της Θερμής Σάββα με τα χρόνια η ιστορία αυτή λησμονήθηκε.
Για πολλά χρόνια η περιοχή αυτή έμενε έρημη. Κάθε χρόνο την Τρίτη ημέρα του Πάσχα, έβλεπαν ένα καλόγερο να ανάβει το καντήλι στο εικονοστάσι της Θεοτόκου. Κάποια χρονιά ο Αγάς ενοχλήθηκε ο Αγάς που κάποιος μπαίνει στα χωράφια του. Αναζήτησαν τον γέρο καλόγερο, μα δεν το βρήκαν ποτέ.
Ακριβώς πέντε αιώνες, μετά από οράματα της ηγουμένης Ευγενίας Κλειδαράς, όπου κάθε βράδυ έβλεπε τον Άγιο Ραφαήλ, ξεκίνησαν στην αγροτική τότε περιοχή Καρύες, ξεκινούν ανασκαφές.
Οι τοποθεσίες ήταν όλες ακριβείς, όπως της οραματίστηκε. Στην αρχή βρέθηκε μία πηγή νερού. Το σημερινό αγίασμα. Στις ρίζες μια παλιάς καρυδιάς, όπου σήμερα βρίσκεται νεότερο δέντρο, βρέθηκαν να μυρίζουν μύρο τα οστά του Αγίου Ραφαήλ. Ποιο πέρα βρέθηκε και η γνάθος του. Στη συνέχεια βρέθηκαν τα οστά του Νικολάου, της Αγίας Ολυμπίας και των υπολοίπων μαρτύρων. Τέλος βρέθηκε και το πιθάρι όπου κάηκε η Αγία Ειρήνη.
Έως το 1964 είχε χτιστεί το μοναστήρι όπως σήμερα το γνωρίζουμε. Η Χάρη των Αγίων νεομαρτύρων εορτάζεται κάθε χρόνο την Τρίτη ημέρα του Πάσχα. Την ημέρα αυτή πλήθος κόσμο, καταφθάνει στο μοναστήρι. Η σημερινή ηγουμένη της Μονής Ταβιθά περιφέρει την κάρα του Αγίου παρουσία στρατιωτικού αγήματος.
Ακολουθεί απόσπασμα από τα λόγια του Αγίου Ραφαήλ στην ηγουμένη Ευγενεία Κλειδαρά:
“Οι Τούρκοι μου έκαναν πολλά μαρτύρια. Πρώτα με χτύπησαν με τα ρόπαλα τους και με έριξαν κάτω παράλυτο. Έπειτα με κεντούσαν με τα κοντάρια τους, με τραβούσαν από τα γένια και με έσερναν καταγής. Ύστερα με έδεσαν σε μια καρυδιά και με χτυπούσαν απάνθρωπα επί ένα εικοσιτετράωρο. Όταν με βασάνιζαν, είπα «θα αντέξω τα πάντα για το θέλημα του Κυρίου, μέχρι την τελευταία μου πνοή».Κρεμασμένος έβλεπα που κλωτσούσαν και κτυπούσαν τους άλλους καλόγηρους, αλλά έλεγα: «Εδώ, στον αγώνα μέχρι την τελευταία μου πνοή». Γι’ αυτό είχα και έχω αυτές τις δυνάμεις». Με κατέβαζαν έως κάτω και πάλι με ανέβαζαν επάνω και με ξανακατέβαζαν, σέρνοντάς με στις πέτρες που είχαν βαφεί κόκκινες από το αίμα μου. Έπειτα με κρέμασαν ανάποδα εικοσιτέσσερις ώρες σε αυτήν την καρυδιά. Στο τέλος με πριόνισαν μέσα στο στόμα και με αποκεφάλισαν». Ήμουν τότε πενηντατριών ετών».