Dvorec v Horšově byl používán jako tvrz, na které sídlil nápravník. Nápravníkem byl zpravidla příslušník nižší šlechty, který byl povinen vykonávat pro vrchnost (zde biskupy) různé služby, např. ve vojenské oblasti. Z tvrze se dnes nedochovalo nic. Její zdivo bylo použito při stavbě zdi obory, kterou v Horšově v 16. století založili Lobkovicové. Je možné, že z tvrze pochází gotický hrotitý portál zabudovaný do zdiva jednoho z domů v Horšově.
Vilém Popel z Lobkovic nechal u vsi zřídit oboru pro chov vysoké zvěře, vznikla zde i soustava rybníků. Oboru měli v oblibě i Trauttmansdorffové. Na uměle vytvořeném pahorku v oboře vznikl po roce 1744 panstvem oblíbený gloriet Annaburg.
