A partir de 1378, frère Paoluccio Trinci de Foligno, initiateur du “mouvement de l’Observance” (un mouvement qui partait d’une accentuation e la vie érémitique), demanda et obtint pour lui et son mouvement l’Ermitage des Carceri … il y fit construire un étroit dortoir adossé à la montagne, composé de “huit petites cellules, assez étroites pour qu’un homme quelque peu grand puisse y entrer”.  Pour vivre en cet ermitage, frère Paoluccio appelle des frères vertueux, amants de la solitude, de la pauvreté, de la vie contemplative, qui maintiennent vivant le souvenir su Séraphique Père et de ses compagnons, en égalant leurs vertus.

Saint Bernardin de Sienne, premier Vicaire général du mouvement de l’Observance, aimait tous ces ermitages où avait vécu Saint François ; il aima tout particulièrement cet Ermitage au point que, selon une ancienne tradition, une partie du couvent XV° siècle lui est dédiée. (en donne témoignage la rosace qui domine l’entrée du petit couvent, portant en son centre “symbole du Nom de Jésus” JHS, signe caractéristique de la dévotion répandue par Saint Bernardin).

Depuis cette époque et jusqu’à aujourd’hui, les frères qui s’y sont succédés à travers les siècles, ont agrandi la construction selon les besoins jusqu’à lui donner la forme actuelle, mais tout en conservant le style et l’esprit de sainte Pauvreté et de sa sœur la pure et sainte Simplicité.