Terminati i lavori di adeguamento a villa di campagna sotto il successore di Bernardo Clesio, Cristoforo Madruzzo, il castello divenne dimora di svago dei protagonisti del concilio della Controriforma.
Il 13 settembre 1545 ad esempio una delegazione costituita dai rappresentanti papali, Marcello Cervini, cardinale di Santa Croce, e Reginald Pole, Cardinale d'Inghilterra arrivò al castello, che così viene descritto: «è un loco bene ornato di bellissime stanze tutte dipinte a oro fabricate et acconcie dal cardinale passato ben. memor. Bernardo Clesio. Ha tre appartamenti assai comodi con sue stuffe [stufe], camere et anticamere...»
Non più un fortilizio quindi, ma una dimora signorile. Questo cambio di destinazione fu poi fatale nel momento in cui le finanze e la politica di prestigio della corte principesca-vescovile andarono declinando.
Castel Selva perse il proprio ruolo di costoso luogo di vacanza ma non riacquistò più il compito di centro fisico di emanazione del potere centrale. Da questa perdita di importanza all'abbandono il passo fu breve e i due secoli di storia come simbolo di potere del castello segnarono un inesorabile declino.
