Podobně jako většina domů na litomyšlském náměstí je i dům U Rytířů zasazen do dlouhé a úzké, ještě gotické parcely. Renesanční dům, který je domovem městské galerie, projde modernizací, jež zahrnuje i zpřístupnění dosud nevyužívaných prostor.
Tvoří součást řadové zástavby domů. Situován je
uprostřed náměstí, téměř naproti radniční věži. Patří mezi
nejstarší a nejhodnotnější domy města a díky zachovalé původní výzdobě
fasády a části interiéru i mezi skvosty
renesanční městské architektury v Čechách. Svým stylovým pojetím odkazuje na umělecký okruh
Pernštejnského dvora v Pardubicích. A právě díky svému uměleckému významu byl již v roce 1958 prohlášen za kulturní památku.
V objektu, jenž je v majetku města, sídlí
Městská galerie Litomyšl, která zde pořádá krátkodobé výstavy výtvarného umění.
Od roku 2025 prochází dům rekonstrukcí. Rozšířeny budou výstavní prostory galerie, vznikne zde kavárna, dům získá novou střechu a navrácena mu bude původní dispozice. Opravy by měly skončit v roce 2027.
Městská galerie – Dům U Rytířů 
Instituce byla oceněna v
Národní soutěži muzeí Gloria musaealis:
2018 – III. místo v kategorii Muzejní výstava roku – za výstavu „Já jsem... Zdeněk Nejedlý“