Zamek jest stary i owiany tajemnicami. Powstał prawdopodobnie w połowie XIII w. Jak głosi legenda, Andras uwięził w zamkowej wieży słynącą z urody żonę swojego sąsiada. Nieszczęsnej brance dopomogła czarownica.
W Hollókő żyją Połowcy, tajemniczy lud ze stepów azjatyckich, który osiedlił się w północnych Węgrzech w XIII w. Połowcy zachowali tożsamość i silne poczucie odrębności. Kultywują własne obyczaje, mówią gwarą i uprawiają tradycyjne rzemiosło.