Do 1939 roku cmentarzem opiekowali się mieszkańcy i władze miasta. Po upadku II Rzeczpospolitej cmentarz zaczął popadać w ruinę. Władze litewskie prowadzące politykę zacierania śladów polskości nie troszczyły się o nekropolie.
Cmentarz na Rossie założono prawdopodobnie w 1769 roku. Umiejscowiono go poza miastem, bo był to czas, gdy zaczęto doceniać sanitarne znaczenie lokowania nekropolii z dala od miejskiej zabudowy.