Ve středu Poběžovic, na mírném návrší, se nachází areál zámku. Původní gotický hrad z druhé poloviny 15. století nechal postavit Dobrohost z Ronšperka. V té době byl hrad opevněn hlubokými příkopy a obehnán hradbami předhradí. Renesanční přestavby se dočkal za Švamberků a barokní úpravy proběhly za Matyáše Bohumíra Wunschwitze.
Za posledního majitele, hraběte Jana Evangelisty Coudenhova (+1965), byla roku 1923 vystavěna spojovací brána mezi zámkem a objektem bývalého předhradí a v roce 1937 dostavěna horní část zámecké věže. Po roce 1945 zámek krátce využívá útvar Pohraniční stráže a později pustl. Od roku 1989 probíhala rozsáhlá rekonstrukce.
Po opravách, které zámku navrátí důstojnou podobu významného šlechtického sídla, bude objekt využíván městem. Svoje prostory zde získá také muzejní expozice Panevropského hnutí, které dál šíří ušlechtilé myšlenky svého zakladatele Richarda Mikuláše Coudenhove Calergi.
V interiéru zámku si zaslouží mimo jiné pozornost i zrestaurované fragmenty nástěnných renesančních fresek. O jejich záchranu mají zásluhu i japonští návštěvníci, kteří do Poběžovic přijíždějí, aby si připomněli pobyt Micku Aoyamy, manželky předposledního majitele zdejšího zámku.