Nel corso del Sei e Settecento i capitani vescovili che amministravano Levico preferirono risiedere in comode ville in paese piuttosto che nel vecchio maniero, lasciandolo andare in rovina. Quando, nella seconda metà del Settecento, la curia di Trento cominciò a liberarsi degli ultimi beni feudali che le appartenevano per fare cassa, uno dei manufatti da mettere in vendita fu proprio il castello di Selva. Il 18 aprile del 1779 una delegazione del comune venne mandata a Trento a discutere dell'acquisto del castello, che all’epoca era in stato di abbandono e col tetto semicrollato; poco più di una cava di materiale pregiato con cui venivano abbelliti gli edifici del paese.
Per i levicensi il suo valore però non risiedeva tanto nella struttura, bensì nelle pertinenze, vale a dire i terreni e soprattutto gli obblighi feudali che esso rappresentava. Possedere il castello significava, per il diritto comune, controllare i diritti sugli antichi obblighi che si potevano imporre all’intera comunità. Fu così che, con l’acquisto del castello, la comunità di Levico annullò quasi ottocento anni di servitù feudale, “comprandosi”, di fatto, la libertà.