Hrad Holštejn byl postaven na vápencovém ostrohu, ve kterém se nachází jeskyně Hladomorna, ve středověku zazděná a sloužila jako vězení. Nejvíce se patrně uplatnila v době markraběcích válek, kdy se Vok III. a Vok IV. zapojovali nejen do válečnické činnosti, ale i do loupežení.
Rozsáhlý hrad byl postaven na vrcholu přibližně obdélné vápencové skály o maximálních rozměrech 85 x 52 metrů. Na všech stranách kromě západní spadaly boky skály strmě až svisle dolů. V nitru skály je skryta rozsáhlá jeskyně zvaná Hladomorna (někdy také Lidomorna), propojena s hradem skalním komínem, jehož dutina je dnes zavalena zborceným zdivem.
Na dně Hladomorny byly nalezeny lidské kosti a části oděvů (přezky, knoflíky, kování atd.) obětí tohoto strašného vězení. Vchod do jeskyně byl prý ještě v polovině 19. století zazděn. Dnes je jeskyně jako zimoviště státem chráněných netopýrů nepřístupná, nahlédnout lze pouze od vchodu.
Hrad se nachází na vápencové skále, asi 300 m jihozápadně od stejnojmenné vesnice. Z ní také vede červená značka i ukazatele k rozcestníku pod hradem. Ale i bez nich nemůžete místo minout.