Tradycja żydowska przypisuje fundację pierwszej bożnicy Esterce, żydowskiej kochance Kazimierza Wielkiego. Jednak budowla, jaką oglądamy dziś, powstała najpewniej w latach 1534-64, najpóźniej do końca XVI w.
Okres największej świetności Szydłowa przypada na wiek XIV, kiedy to Kazimierz Wielki otoczył je murami i zbudował zamek. Pierwotna długość murów wynosiła 1080 m, dziś oglądamy ok. 700 m, ale co istotne – w „jednym kawałku”.