Na vrchu Žďár prý již v 10. století stávala kaplička připomínající řezenského biskupa Wolfganga, který tudy procházel poté, co vysvětil prvního pražského biskupa Dětmara. Počátkem 18. století si toto místo pro stavbu barokního areálu vybral tehdejší majitel zdejšího panství František Josef Černín. Stavba byla dokončena v roce 1729 dle návrhu Františka Maxmiliána Kaňky. Kaple však nesloužila věřícím příliš dlouho, již v roce 1785 totiž byla uzavřena a chátrala až do počátku 19. století, kdy byla stržena. Jedinou památkou je věž, jež byla v roce 1845 mírně zvýšena a upravena na rozhlednu po vzoru klatovské Černé věže. Dnešní objekt, kterému se příznačně říká Bolfánek, má 45 metrů a 138 schodů, u jeho paty stojí kaplička, skrze níž lze sestoupit až ke skále, na které byla původní kaple sv. Wolfganga vystavěna.
