Málokteré město v Čechách se může pyšnit dvěma plně zachovanými tvrzemi, které stojí vedle sebe v přímém sousedství, tak jako v Kestřanech. Dolní tvrz je z obou kestřanských tvrzí menší a pochází z konce 14. století,
První přímá zmínka o ní je z roku 1416. Pochází z konce 14. století, vystavěli ji synové
Mikoláše Barocha, který byl vnukem Alberta z Kestřan (prvního známého držitele Horní tvrze). Mikuláš Baroch, syn Ctibora Barocha, prodal roku 1475 Dolní tvrz majiteli
Horní tvrze Bohuslavu z Kestřan. To se málem stalo méně výstavné Dolní tvrzi osudným. Již roku 1491, kdy obě tvrze kupoval Jindřich ze Švamberka, se Dolní tvrz uvádí jako zpustlá. Posléze byla roku 1553 přestavěna a využívána jako pivovar, sýpky a dokonce i jako kravín.
V období 18. – 19. století byly obě tvrze přeměněny v hospodářské budovy a tím začala jejich postupná devastace, která pokračovala i ve 20. století, kdy se obě tvrze po první pozemkové reformě staly majetkem Státních statků. Do dnešní doby se dochovala gotická obytná věž, sklepy a hradba s baštou.