Zamek został zniszczony podczas powstania Chmielnickiego w 1648 roku. Nie odbudowano jej już i powoli popadała w ruinę, z czasem stając się rezerwuarem budulca dla mieszkańców miasta.
Pierzeje placu Ratuszowego wytyczone niezupełnie zgodnie ze stronami świata zajmują dawne domy mieszczańskie z XV-XVII wieków. Ale także kościoły i klasztory oraz inne zabytkowe gmachy. Najbardziej jednolite są jednopiętrowe domy na pierzei północnej.
Pierwsza wzmianka o istnieniu cerkwi św. Onufrego zawarta jest w dokumencie Kazimierza Wielkiego z 1367 roku. Cerkiew była wielokrotnie niszczona przez najazdy. Pełniła funkcję obronną. Całość otaczał mur ze strzelnicami.
Wysoka wieża, zanim wybudowano wspomnianą latarnię w sąsiedniej wsi Gąski, stanowiła punkt orientacyjny dla żeglujących na Bałtyku. Wieś leży bowiem zaledwie trzy kilometry od brzegu morza.
W piwnicach jest kawiarnia a na piętrze sala balowa i małe salki konsumpcyjne. W sali balowej umieszczono portret Ignacego Krasickiego. Pałac można oglądać, a po parku pospacerować.
Na osiemnastowieczny zespół pałacowo-parkowy składają się pałac książęcy, oficyna dworska, pałac letni, dworek myśliwski, domek ogrodnika, spichlerz, rządcówka, stajnia z wozownią, strażnice (czerwona i żółta kordegarda).
Jest to jedyna trójnawowa gotycka bazylika na Litwie, a zarazem największa budowla w tym stylu w kraju. Masywna, ale skromna z zewnątrz, z zachowaną tylko z jedną 42-metrową wieżą, zbudowaną na planie kwadratu i ładnymi gotyckimi oknami.
Budynek Starego Ratusza i stojące obok sukiennice opanował drobny handel wszystkim i inne usługi. Ale największe moje zainteresowanie wzbudziły mięsne jatki...
Cała tutejsza starówka, o ile można tak nazwać centrum zbudowane głównie w XIX i XX wieku, jest niewielka. Centralny plac – Ratuszowy – opada łagodnie w kierunku rzeki i nadrzecznego bulwaru.
Fundatorem tutejszego klasztoru kamedułów był jeden z najpotężniejszych ówczesnych magnatów, kanclerz wielki litewski, Krzysztof Zygmunt Pac. Kościół w tym klasztorze miał stać się rodową nekropolią, a zarazem symbolem bogactwa i potęgi Paców.
