Miejsce to było jednym z miejsc chwały polskiego oręża. 30 września 1602 roku, podczas wojny polsko-szwedzkiej, zamek Biały Kamień zdobyły polskie wojska dowodzone przez hetmana Jana Zamoyskiego. Polacy panowali w nim do roku 1608.
Obecną łotewską nazwę miasta, oznaczającą twierdzę na wyspie, otrzymało ono zresztą dopiero w 1917 roku od pobliskiego zamku. Przez ponad 7 wieków miejscowość ta nazywała się bowiem po niemiecku – były to przecież Inflanty – Kirchholm.