Zamek został zniszczony podczas powstania Chmielnickiego w 1648 roku. Nie odbudowano jej już i powoli popadała w ruinę, z czasem stając się rezerwuarem budulca dla mieszkańców miasta.
Najcenniejsze zabytki tutejszej starówki koncentrują się w trzech jej miejscach. Na cyplu w widłach Niemna i Wilii, czyli koło zamku, wokół placu Ratuszowego i w jego najbliższym sąsiedztwie, oraz na południe od niego, w pobliżu bulwaru Króla Mendoga.
W 1408 r. Witold, nazywany przez Litwinów Wielkim (Vytautas Didysis, 1350-1430), nadał osadzie miejskie prawo magdeburskie. Potwierdzone później przez króla Kazimierza Jagiellończyka w 1440 i 1463, który nadał Kownu także nowe tereny nad Niemnem.
Historia zamku sięga daleko, bo początków XV wieku. Wtedy właścicielami dóbr byli Kmitowie z Wiśnicza. Jan Kmita zbudował tu dwór obronny w 1473 roku. Budowę zamku murowanego przypisuje się Piotrowi Kmicie.
Zamek jest jedną z atrakcji turystycznych tej części Łotwy. Droga do niego prowadzi obok najstarszego drewnianego kościółka w kraju. Niedaleko, wśród starych lip, znajduje się Grób Mai nazywanej Różą z Turaidy...
Są tu ruiny dawnego gotyckiego zamku Zakonu Kawalerów Mieczowych i siedziby ich Wielkiego Mistrza, później zaś polskich starostów. W średniowieczu była to druga pod względem wielkości i znaczenia forteca w Inflantach.
W czasach, gdy do Rzeczypospolitej należało także województwo inflanckie, Siguldę (Zygwold) otrzymał, wraz ze starostwem znany awanturnik i warchoł Stanisław Stadnicki nazywany Diabłem Łańcuckim. Był to jednak tylko epizod w dziejach miasta.
Zamek wybudował tu margrabia Otto z Miśniz dynastii Wettynów, w 1168 roku. Jego zadaniem była ochrona kopalni, górników i związanych z produkcją srebra interesów saksońskich władców.
Miejsce to było jednym z miejsc chwały polskiego oręża. 30 września 1602 roku, podczas wojny polsko-szwedzkiej, zamek Biały Kamień zdobyły polskie wojska dowodzone przez hetmana Jana Zamoyskiego. Polacy panowali w nim do roku 1608.
Do tutejszych atrakcji zaliczany jest ponad 21-metrowej wysokości klif Panga nad Bałtykiem i rezerwat geologiczny koło wioski Kaali. Głównym celem przyjazdu turystów na wyspę jest miasto Kureessare.
