De 1338 à 1342, on démolit et rebâtit les différentes ailes de l'ancien palais épiscopal autour d'un cloître flanqué de deux tours puissantes, donnant à ce palais l'allure d'une austère et puissante forteresse.
Après la construction en 1342 de la Tour de la Garde-Robe, contre la face méridionale de la Tour des Anges, Clément VI entreprit en 1344 "l'Opus Novum" par la salle de la Grande Audience, surmontée de la Grande Chapelle.