Les premiers souverains s’appelèrent comme le château fort: de Wasigenstein. Déjà vers 1300 la famille se sépara et le château fort fut aménagé en une partie vieille et une nouvelle. Entre 1350 et 1370, les deux familles disparurent et la propriété revint aux seigneurs de Fleckentstein et de Hohenburg. D’autres divisions de propriété menèrent à des querelles et à de fréquents sièges. Au XVIième siècle au plus tard le château fort fut tellement endommagé, qu’il resta inhabitable. En 1878, la ruine fut déclarée comme monument protégé.
Dans le Waltharlied (= Chanson de Walthar) Wasigenstein fut le lieu du combat de Walther d’Aquitaine – en fuite avec sa fiancée Hildegund de Bourgogne – contre le roi Gunther de Worms et Hagen de Tronje.