Pivoňští mniši si nechali postavit ve Ždánově barokní dvůr se zámečkem. Původně se jednalo o rozsáhlejší komplex s hospodářskými budovami. Dodnes zůstal jen vlastní zámek (patrová stavba s nádvorními arkádami) s hospodářskou budovou a zahradou. Nad vchodem do zámku je znak řádu (planoucí srdce) a rok stavby 1730. Krátce po dokončení dvora byl klášter zrušen, zámek byl využíván jako manufaktura. V novějších dějinách patřil obci. V roce 2008 bylo provedeno základní zabezpečení, v roce 2011 proběhly opravy z dotace MK ČR z Programu záchrany architektonického dědictví. Realizováno bylo statické zajištění a byly obnoveny střechy a krovy na hlavní budově. Roku 2013 byl v inzerátech realitních kanceláří nabízen k prodeji jako stavba určená k rekonstrukci. Podle stavebního povolení by v zámku mělo vzniknout ubytovací zařízení hotelového typu.
