Korzenie miasta sięgają średniowiecza. Założyli je Krzyżacy po tym jak w połowie XIII wieku podbili tutejsze tereny, zamieszkane przez pruskie plemię Galindów. Powstał „Zamek nad Łyną” Allenstein, nasz Olsztyn.
Tutaj Napoleon Bonaparte przyjął defiladę wojskową i odebrał meldunki od zwiadowców. Jedynym godnym cesarza budynkiem był zamek olsztyński, na którym zjadł obiad i spędził kilka godzin.
Ruiny zamku wznoszą się na odkrytym wapiennym wzgórzu, wtopione w wystające ponad niską trawą skały. Nie bardzo wiadomo, co zbudowała natura, co człowiek. Teraz zostały fragmenty murów, cysterna na wodę i dwie wieże.