Nach Abschluss der Umbauarbeiten zur Landvilla unter dem Nachfolger von Bernardo Clesio, Cristoforo Madruzzo, wurde das Schloss zur Freizeitresidenz für die Hauptakteure des Konzils der Gegenreformation.
Am 13. September 1545 traf beispielsweise eine Delegation bestehend aus den päpstlichen Gesandten – Marcello Cervini, Kardinal von Santa Croce, und Reginald Pole, Kardinal von England – auf dem Schloss ein, das in einem Bericht folgendermaßen beschrieben wird: „Es ist ein wohlgeschmückter Ort mit wunderschönen, ganz in Gold bemalten Gemächern, erbaut und ausgestattet vom verstorbenen, hochwürdigen Kardinal Bernardo Clesio. Es hat drei sehr komfortable Wohneinheiten mit Öfen, Zimmern und Vorzimmern…“
Aus der Festung war somit eine vornehme Residenz geworden. Doch genau dieser Funktionswandel wurde dem Schloss zum Verhängnis, als die Finanzen und die repräsentative Politik des fürstbischöflichen Hofes allmählich verfielen.
Castel Selva verlor seine Rolle als kostspieliger Ferienort – und gewann nie wieder seine frühere Bedeutung als physisches Zentrum bischöflicher Macht zurück. Von diesem Bedeutungsverlust zum endgültigen Verfall war es nur ein kleiner Schritt, und zwei Jahrhunderte Geschichte als Machtsymbol mündeten in einen unaufhaltsamen Niedergang.
