Mit dem Zusammenbruch des Römischen Reiches (5.–6. Jh. n. Chr.) wurde das obere Brentatal – gerade wegen der Verkehrswege, die ihm über Jahrhunderte Wohlstand gebracht hatten – zu einer Durchgangsroute für barbarische Völker, die aus dem Norden in die italienische Halbinsel eindrangen.
In dieser langen Zeit tiefer Unsicherheit sind die Ursprünge der Burg Selva zu suchen: der Hügel, auf dem heute die Festung steht, wurde – wie bereits in prähistorischer Zeit – erneut zu einem Zufluchtsort. Ohne den Schutz einer stabilen Staatsordnung begannen die lokalen Gemeinschaften auf eigene Initiative Verteidigungsanlagen zu errichten: zunächst einfache, provisorische Palisaden, die sich nach und nach zu einem regelrechten befestigten System entwickelten – dem Vorläufer der heutigen Burg.
Im Gegensatz zu anderen Wehranlagen der Region, wie der sogenannten „Tor Quadra“ in Novaledo oder der „Tor Tonda“ in Marter di Roncegno – beide nicht erhöht, sondern entlang der alten Trasse der Via Claudia Augusta gelegen –, scheint die Wahl des Standortes von Castel Selva eher auf Unzugänglichkeit als auf die Kontrolle der Verkehrswege gesetzt zu haben.
