Con il crollo dell'Impero Romano (V-VI sec. d.C.) l'alta valle del Brenta, proprio a causa della via di comunicazione che le aveva dato secoli di prosperità, divenne luogo di passaggio per le popolazioni barbariche che da nord entravano nella Penisola.
È in questo lungo periodo di profonda insicurezza che vanno ricercate le origini del castello di Selva: il colle su cui ora sorge il fortilizio tornò come in epoca preistorica ad essere luogo di rifugio. Venuta meno la protezione di una solida compagine statale, le popolazioni del luogo costruirono di propria iniziativa opere di difesa: dapprima semplici palizzate provvisorie che si svilupparono e ampliarono fino a divenire un vero e proprio sistema fortificato, antenato dell’attuale castello.
A differenza di altre strutture fortificate presenti in zona, come le cosiddette «Tor Quadra» a Novaledo, e la «Tor Tonda» a Marter di Roncegno, entrambe non sopraelevate ma costeggianti l’antico tracciato della Via Claudia Augusta, la scelta del luogo di costruzione di Castel Selva sembra privilegiare più l'inaccessibilità che la dominanza delle vie di comunicazione.
