Η μονή Βαρλαάμ οφείλει το όνομά της στον ασκητή-αναχωρητή Βαρλαάμ, ο οποίος πρώτος κατοίκησε τον βράχο το 14ο αι. Η ιστορία της μονής αρχίζει ουσιαστικά από τις αρχές του 16ου αι., όταν στο βράχο εγκαταστάθηκαν και οργάνωσαν το κοινόβιό τους οι Γιαννιώτες αδελφοί Νεκτάριος και Θεοφάνης οι Αψαράδες, γόνοι παλιάς βυζαντινής οικογένειας της Ηπείρου.
Οι Αψαράδες το 1518 ανακαίνισαν εκ βάθρων το παρεκκλήσιο των Τριών Ιεραρχών, το οποίο ήταν κτισμένο στη θέση του αρχικού καθολικού της μονής που είχε κτίσει ο Βαρλαάμ, το 1536 κατασκεύασαν τον πύργο βριζονίου και το 1541 έκτισαν το σημερινό καθολικό που είναι αφιερωμένο στους Αγίους Πάντες. Το 1627 το παρεκκλήσιο των Τριών Ιεραρχών ξαναχτίστηκε στη θέση του παλαιού καθολικού που είχαν κτίσει οι Αψαράδες και το 1637 αγιογραφήθηκε από το καλλιτεχνικό συνεργείο του ιερέα Ιωάννη και των παιδιών του, οι οποίοι κατάγονταν από την Καλαμπάκα.
Η αγιογράφηση του καθολικού της μονής έγινε σε τρείς φάσεις. Στην πρώτη φάση φιλοτεχνήθηκαν, τo 1548, από τον περίφημο αγιογράφο Φράγγο Κατελάνο οι τοιχογραφίες του ιερού βήματος και του κυρίως ναού. Στη δεύτερη φάση, το 1566, αγιογραφήθηκε η λιτή από τους Θηβαίους αγιογράφους Γεώργιο Κονταρή και τον αδελφό του Φράγγο με χορηγία του Αντωνίου Αψαρά, επισκόπου Βελλάς Ιωαννίνων. Η τελευταία φάση του διακόσμου (1780 και 1782) που μαρτυρείται από την κτητορική επιγραφή στο βορειοδυτικό πεσσό, πάνω από την παράσταση της Παναγίας, αναφέρεται πιθανότατα σε μικρής έκτασης επέμβαση της οποίας εμφανή στοιχεία δεν διακρίνονται. Η τελευταία αυτή φάση εντάσσεται στην περίοδο κατά την οποία το μοναστήρι εξακολούθησε να ακμάζει, οργανώθηκε βιβλιογραφικό εργαστήριο και δέχτηκε πλούσιες δωρεές από ηγεμόνες της Βλαχίας.
Σημαντική για την ιστορική διαδρομή της μονής υπήρξε η συμβολή του μοναχού Χριστοφόρου, ο οποίος κατά τη διάρκεια του 18ου αι. ταξινόμησε το πολύτιμο αρχείο της και αντέγραψε πλήθος ιστορικών κειμένων. Το μοναστήρι χάρη στην οικονομική ευρωστία του διακρίθηκε τόσο στην πνευματική προκοπή, όσο και στη συμμετοχή στους εθνικούς αγώνες ως τα τελευταία χρόνια.
O επισκέπτης της μονής μετά την άνοδο της κλίμακας, συναντά αριστερά το νοσοκομείο, το οποίο αναστηλώνεται τα τελευταία χρόνια και προσκολλημένο στη βόρεια πλευρά του το παρεκκλήσιο των Αγίων Αναργύρων. Ακολουθεί, δεξιά, το καθολικό, και ο πύργος βριζονίου. Το καθολικό της μονής είναι ένας δικιόνιος σταυροειδής εγγεγραμμένος, αθωνίτικου τύπου, ναός. Του κυρίως ναού προηγείται ευρύχωρη λιτή, ένας τετράστυλος χώρος με τρούλο. Βορειοδυτικά του καθολικού βρίσκεται η τράπεζα, η οποία έχει διαμορφωθεί σε μουσείο κειμηλίων της μονής, ο ναΐσκος των Τριών Ιεραρχών, η εστία, τα κελλιά και ο ξενώνας. Το παρεκκλήσιο των Τριών Ιεραρχών, το οποίο μπορεί να επισκεφθεί κανείς μόνο με την άδεια των μοναχών, είναι ένας μονόχωρος δρομικός ξυλόστεγος ναός.
