Příběh o Panně a Babě, věčně znesvářených příbuzných, je všeobecně známý. Další pověst vypráví o tom, že obě skály jsou zkamenělé děti, chlapec a děvčátko, které proklela zlá macecha.
Prakticky nedobytný hrad, postavený ve 14. století, byl jeden čas i loupežnickým sídlem, od roku 1648 je ve zříceninách. Z hradu se otvírá nádherná vyhlídka, v areálu je i možnost občerstvení. Pod hradem vede červeně značená Zlatá stezka Českého ráje - po ní se dostanete do malebného Želejovského údolí, k rybníku Vidláku s oblíbenou restaurací a tábořištěm, modře značená trasa směřuje k někdejšímu mlýnu a rybníku Nebákov.