Působivé pozůstatky hradu Berků z Dubé se nacházejí 8 km severovýchodním směrem od Nového Boru nedaleko obce Svor na skalnatém hřebeni v Lužických horách. Od středověku se v okolí hradu těžil pískovec pro mlýnská kola.
V knihách pražského arcibiskupství z let 1362-1379 je jmenován jako majitel panství zahrnující i Milštejn Jindřich Berka z Dubé. V Milštejně byla posádka
12-16 zbrojnošů, kteří
doprovázeli kupecké vozy na cestě z Žitavy do Prahy a také zde vybírali clo, mýtné. Přesto však byl hrad roku 1456 dobyt Lužickým vojskem, nicméně v 15. století zažil hrad období svého největšího rozkvětu.
V okolí hradu se těžil křemenný
pískovec pro výrobu mlýnských kamenů (odtud název hradu) už od středověku, po opuštění hradu se pak zájem přesunul i na podloží vlastního hradu. Většího rozsahu dosáhla těžba v letech 1665-1689, v té době byla částečně zbourána velká hradní věž, aby padající zdivo neohrožovalo lamače. Druhá menší věž se zřítila roku 1726 a definitivní zánik velké věže přišel v roce 1793.
Další nárůst těžby přišel s rozmachem průmyslu po roce 1873. V té době tu již pracovalo na 100 dělníků. Kámen se lámal ručně železnými klíny a nahrubo opracovával přímo v lomu, pak se teprve dopravoval do továrny v nedaleké Naději kde dostával konečnou úpravu.
Ročně se zde vyrábělo na
600 kamenů, které putovaly například
do Ruska, Německa, Skandinávie a jinam. Těžba skončila v roce 1910 kdy již došla surovina. Několik nedokončených mlýnských kamenů lze najít v okolí dodnes.
Původní
vzhled hradu dnes již není možné rekonstruovat. Pravděpodobně stál na dvou souběžných skalních hřebenech, z nichž ten východnější byl po opuštění hradu z větší části vytěžen. Vlastní hrad obepínala
2 m silná hradba s ochozem a 60 cm širokou parapetní zdí s úzkými střílnami. Ještě koncem 19. století byla v této hradbě asi 3 m vysoká a 4 m široká vstupní brána, vedle níž byl malý okenní otvor. Hlavní válcová věž stála s největší pravděpodobností na jihozápadním okraji hradu. Údajně byla asi 40 m vysoká a za jasného počasí z ní bylo vidět až na návrší před Prahou.
K Milštejnu se vztahuje
mnoho romantických pověstí o zlých rytířích, nešťastných dívkách, čertově kuchyni, tajných chodbách a pokladech, které jsou na hradě ukryty. Z roku 1596 údajně pochází dopis, v němž vlašský magistr
Benedictus Chirocensis uvádí
podrobný návod, jak lze na Milštejně nalézt
veliký poklad. Pověsti o
tajných chodbách, z nichž jedna měla vést
až na Tolštejn, byly podpořeny existencí četných podzemních dutin, převisů a jeskyní na jihovýchodní straně skalního masivu. Dnes jsou na Milštejně známé
tři větší jeskyně, jejichž ohlazené stěny naznačují, že vznikly erozním působením vody. Největší a nejznámější z nich je asi 45 m dlouhá
Kovárna, jejíž ústí se nachází na východním úpatí skalního masivu.V jižní části skalnatého hřbetu Milštejna je třetí jeskyně, nazývaná někdy
Nová Kovárna. Tvoří ji tři navzájem propojené komory, jejichž celková délka je asi 17 m. První z nich, přístupná širokým vchodem, je přes 2 m vysoká, 3,5 m široká a téměř 8 m dlouhá a leží v ní
nedokončený mlýnský kámen. Ve zdejších jeskyních zimují
některé druhy netopýrů, například netopýr ušatý, velký, řasnatý nebo černý.