Stavba nedávno zbouraného pivovaru stála v těsné blízkosti kostela sv. Vavřince. Byla až do roku 1994 nejstarší budovou v Olešnici vůbec. Byla postavena kolem roku 1500. Na jeho stavbu si olešničtí měšťané vypůjčili od vrchnosti.
Ta jim splácení dluhu později odpustila. Jmenovitě
Jan z Pernštejna a na Helfenštejně v roce 1540. Za jeho života vznikla podoba
hradu Pernštejna, jak ho známe dnes. Ne náhodou kamenné veřeje vstupních dveří do patrové budovy připomínaly ty na hradě. Pivovar také poničil požár v roce 1827. Vyhořely provozní budovy a střecha s horním patrem. Škody se daly napravit, a tak se v Olešnici vařilo pivo až do roku 1882.
Po tomto roce měl v provozních budovách umístěnu svoji výzbroj hasičský sbor, až do doby, kdy dostavěl hasičskou zbrojnici (1957). V
podzemí náměstí byla prý
v průběhu třicetileté války vybudována síť prostor a chodeb, kam byl ukrýván majetek měšťanů. Klenuté kamenné sklepy pivovaru byly prý součástí tohoto olešnického podzemí.
O
zbourání pivovaru se v průběhu minulého století již jednalo. V roce 1913 tomu zabránili právovárečníci, v roce 1943 památkový úřad v Brně. O definitivním konci této budovy bylo rozhodnuto v roce 1993 a v roce 1994 byla zbourána, aby zde byla vystavěna budova spořitelny. Z tohoto záměru sešlo, a tak je po odtěžení terénu v místech budovy pivovaru od roku 1998
parčík s lavičkami a kašnou, novou dominantou náměstí.
Bývalá ledárna pivovaru dnes slouží jako expozice
„Muzea strašidel a postav pověstí Olešnicka“.