Wazowie rozbudowali warownię. Zamek stał się siedzibą królewskiego rodu, skoligaconego silnie i z polskimi monarchami. Stąd w tutejszym muzeum mnóstwo pamiątek naszej wspólnej, i pokojowej, i wojennej historii.
W tym to właśnie zamczysku król Eryk XIV zwany Szalonym więził swego przyrodniego brata Jana i jego żonę Katarzynę Jagiellonkę. Podejrzewał ich, że spiskują z Rzeczpospolitą. Pewnie słusznie, jak wskazują późniejsze wypadki.